Scaling Law 不仅在放缓，而且不一定老是适用！

尤其在文分内类任务中，扩大西席集的数据量可能会带来更严重的数据突破和数据冗余。

若是类别边界不够了了，数据突破征象就更明显了。

而文分内类又在厚谊分析、识别用户意图等任务中极为伏击，继而对 AI Agent 的性能也有很大影响。

最近，vivo AI Lab 询查团队残忍了一种数据质料普及（DQE）的按次，奏效普及了 LLM 在文分内类任务中的准确性和服从。

现实中，DQE 按次以更少的数据取得更高的准确率，而况只用了近一半的数据量，就能灵验普及西席集的西席服从。

作家还对全量数据微调的模子和 DQE 遴荐的数据微调的模子在测试集上的杀青进行了显贵性分析。

杀青发现 DQE 遴荐的数据在大无数测试集上齐比全量数据发挥出显贵的性能普及。

目下，此项服从已被当然话语处理顶会 COLING 2025 主会收受。

数据质料普及按次长啥样？

在当然话语处理中，文分内类是一项格外伏击的任务，比如厚谊分析、意图识别等，尤其目下企业齐在推出各自的 AI Agent，其中最伏击的智力之一，就是识别用户的意图。

不同于传统的 BERT 模子，基于自追思的假话语模子的输出不时是不行控的，而分类任务对输出的形势条件较高。

通过在辅导词中加入 few-shot 不错灵验地改善这一征象，但是基于辅导词的按次带来的普及不时有限。指示微调不错灵验地改善模子的性能。

在文分内类任务中，缺少一种灵验的时间来获取高质料的数据集。OpenAI 残忍了缩放定律（Scaling Law），觉得假话语模子的最终性能主要取决于三个成分的缩放：缱绻智力、模子参数和西席数据量。

然则这一定律并不老是适用，尤其在文分内类任务中，扩大西席集的数据量会可能会带来愈加严重的数据突破征象和数据冗余问题。尤其类别的边界不够了了的时分，数据突破的征象愈加明显。

底下是 vivo AI Lab 团队残忍的数据质料普及（DQE）按次的具体按次瞎想。

率先，作家对西席集进行了初步的数据清洗使命，包含处理具有缺失值的数据、query 和标签叠加的数据以及标签不一致数据（统一条 query 对应多个不同的标签）。

然后，使用文本镶嵌模子，将文本调遣为语义向量。再通过缱绻采样的按次，立地运行化一条数据行为运行向量，然后每次遴荐距离向量中心最远的数据加入到新的鸠合中，以普及数据的千般性。

接着，更新这个鸠合的向量中心，不时的叠加这个进程，直到采集了 50% 的数据行为 sampled，剩下未被选中的 50% 的数据集行为 unsampled，然后使用 sampled 数据集微调假话语模子揣测 unsampled。

通过鸠合向量检索的方式，将 unsampled 中揣测杀青造作的数据分为 Uncovered、Difficult 和 Noisy 三种类型。

底下是三种类型的数据的识别旨趣：

Uncovered：主要指 sampled 中未隐秘的数据，如果揣测造作的数据与最雷同的数据具有疏通的标签，而况最雷同的数据位于 unsampled 中，则觉得该数据关联的特征可能莫得参与 sampled 模子的微调，从而导致 unsampled 中的该条揣测杀青造作。

Difficult：主要指 sampled 中难以学会的贫窭样本，如果揣测造作的数据与最雷同的数据具有疏通的标签，而况最雷同的数据位于 sampled，则觉得该数据关联的特征一经在 sampled 中参与过模子的微调，揣测造作可能是因为这条数据很难学会。

Noisy：主若是标签不一致导致的噪声数据，如果揣测造作的数据与最雷同的数据具有不同的标签。则怀疑这两条数据是噪声数据。大无数文分内类任务的数据集齐是共同手工标注概况模子标注取得，齐可能存在一定的主不雅性，尤其在类别边界不了了的时分，标注造作的征象无法幸免。这种情况下，作家通过辅导词，使用 GPT-4o 进一步扶植判断。

效果奈何？

作家基于多机多卡的 L40s 管事器上通过 swift 框架进行了全参数微调，遴荐开源的 Qwen2.5-7B-Instruct 模子行为本次现实的基础模子。

作家与 PaperWithCode 中收录的最佳的杀青以及全量数据微调的按次进行了对比，作家分别在 MR、CR、IMDb、SST-2、SST-5、AG News 数据集合进行了对比现实。

从现实杀青不错看出，DQE 按次以更少的数据取得更高的准确率，而况只用了近乎一半的数据量，不错灵验地普及西席集的西席服从。

同期，作家页进一步对全量数据微调的模子和 DQE 遴荐的数据微调的模子在测试集上的杀青进行了显贵性分析。将揣测杀青正确的数据赋值为 1，将揣测杀青造作的数据赋值为 0，通过 t 教训来评估模子之间性能各异的统计显贵性。

从表中不错发现DQE 遴荐的数据在大无数测试集上齐比全量数据发挥出显贵的性能普及。

与传统的 BERT 模子不同的是，生成式的模子不时是不行控的，作家进一步分析了指示跟班杀青。

杀青标明，无论是全量数据微调照旧 DQE 按次微调，齐不错灵验地普及假话语模子的指示跟班智力，按照预期的杀青和形势输出。

对于分类任务来讲，当数据量弥散大时，很难幸免标签噪声征象。即就是被各大顶级学术期刊默契议世俗使用的数据集，也无法幸免标签噪声征象。

作家分析了一部分通过现实找出的噪声数据，而况给出了开源数据集合的标签噪声的示例。

值得矜重的是，在数据采样进程中，本询查使用贪默算法将数据集别离为 sampled 和 unsampled。此外，作家字据文本雷同度将 unsampled 分类为 uncovered、difficult 和 noisy 数据。

接下来，分析 sampled 中的这三种类型：

由于该数据将用于最终的西席集，因此它不包含 uncovered。

对于 difficult，明天自 unsampled 中识别为 difficult 的样本会加入到最终的西席集，这 uncovered 中的 difficult 和 sampled 是成对存在的，从而部分松开了采样数据中的 difficult 问题。

对于 noisy 数据，使用 DQE 不错在 sampled 和 unsampled 之间识别出大无数成对的噪声实例。

由于使用 sampled 缱绻采样政策，在 sampled 内遭受成对的雷同噪声数据的概率会相对较低。从表面上阐发了本决议的灵验性。

论文地址：https://arxiv.org/abs/2412.06575

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本体‍

附上论文 / 口头主页流畅，以及联系方式哦

咱们会（尽量）实时修起你

点这里� � 存眷我，难忘标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日重逢 ~