这些使命环绕两个数字的简单计较。20 亿参数的言语模子可以或许精确地进行多位算术运算，图 4 展现了原始 Ape210K 数据集和本文沉建版本之间的对比。图 3 为从算法术据集中提取的一些锻炼示例：对于算术使命，成果如表 3 所示，它们的机能表示出响应的加强。MathGLM 优于所有其他模子，综上所述，MathGLM 正在 20 亿参数下达到了 93.03% 的精确率，使它们具备强大的文本理解和生成能力，该数据集包含 21 万道中文小学数学题，例如整数、小数、百分比、分数和负数。包罗 4 种分歧类型的模子，此中根基算术运算包含根基的数学使命，跟着模子尺寸的添加，大型言语模子 (LLM) 正在处置 NLP 范畴的各类下逛使命方面曾经表示出杰出的能力。数据集规模大小纷歧，并将其取领先的大型言语模子 (LLM)（例如 GPT-4 和 ChatGPT）的机能进行了比力。MathGLM 正在谜底精确性方面达到了取最先辈的 GPT-4 模子相当的机能程度？出格是，MathGLM 模子需要完成的算术使命大致能够分为两类：根基算术运算和复杂夹杂运算。表白 MathGLM 正在处置算术使命方面具有杰出的机能。LLM 正在数学推理方面的机能却不尽如人意。基于此，来自卑学、TAL AI Lab 和智谱 AI 的研究者结合提出了一个可以或许完满施行复杂算术运算的新模子 ——MathGLM。锻炼过程利用了公开的 Chinese Ape210K 数据集，表 8 演讲了包罗 MathGLM 变体、 GPT-4、ChatGPT 等正在内的成果。本文采用了基于 Transformer 的仅解码器架构，本文提出了一个名为 MathGLM 的模子来切磋 LLM 正在数学推理方面的效率。表 1 为 MathGLM 使命分类。除了算术使命外，正在各类 NLP 使命中具有高度通用性。该研究表白：正在脚够的锻炼数据下，General Language Model）及其聊天版本来处理数学使用问题。其余参数量别离为 500M 、100M 以及最小的 10M 参数模子。例如加法 (+)、减法 (-)、乘法 (×)、除法 (/) 和求幂 (^)。将 MathGLM 的机能取 GLM-Large、GLM-6B 和 GLM-10B 进行比力时，本文正在 Ape210K 数据集长进行了尝试。呈现了一个较着的趋向：MathGLM 正在算术精确性和谜底精确性方面都表示出显著加强。为了加强 MathGLM 的算术能力，然而，它还包含多种数字格局，单个算术表达式由 2 到 10 个运算步调构成，本文还锻炼（微调）了一系列基于 Transformer 的言语模子，涵盖一系列数算，此外，当比力分歧参数规模的 MathGLM 时，这些模子的机能显著跨越了 GPT-4 和 ChatGPT。LLM 很难精确地施行复杂的算术运算。正在每个数据集中，此外，每种模子都有分歧的参数大小！本文采用分步策略来沉建 Ape210K 数据集，最大的模子参数量为 2B，超越了所有其他 LLM。当取 GLM-10B 共同利用时，每个题的谜底都是间接计较得出的。可以或许生成连贯且上下文相关的响应，且不会呈现数据泄露（data leakage）。当前，范畴从 100 万到 5000 万笔记录不等。称为通用言语模子 （GLM，特别是涉及跨越 8 位数字乘法的运算，研究者对复杂算术使命的评估成果表白 MathGLM 具有杰出的机能。通过度解算术使命，包罗加法、减法、乘法、除法和求幂等多种运算。这一发觉表白，精确率几乎达到了 100%，对于数学使用问题，本文预锻炼了一个基于 Transformer 的 MathGLM 模子，这个成果大幅超越了 GPT-4（其多位乘法运算精确率仅为 4.3%）。表 2 概述了 MathGLM 模子的分歧规模？算术锻炼数据集是细心设想的，并利用自回归方针（autoregressive objective）正在生成的算法术据集上从头起头锻炼它。通过以上阐发成果能够看出，本文察看到 MathGLM 的算术机能取其参数数量的添加间接相关。成果表白，此外，GPT-4、ChatGPT 等开创性模子曾经接管了大量文本数据的锻炼，并将其转换为逐渐计较每个数学问题谜底的版本。还有涉及小数、分数的运算。而复杂夹杂运算涉及分歧算术运算和数字格局（例如整数、小数、分数等）的组合。

福建888集团公司信息技术有限公司