机器之心报说念

机器之心剪辑部

刚刚，NeurIPS 官方公布了 2024 年度的本领测验奖，破天荒的颁给了两篇论文。

一篇是 Ian Goodfellow 的（GAN），一篇是 Ilya Sutskever 的 Seq2Seq。

但 10 年前的这两篇论文得回本领测验奖，也不错说是实至名归。

「本年，咱们破例颁发了两篇本领测验论文奖，因为这两篇论文对总共限制的影响不消置疑。」

Jeff Dean 也发来祝福：

论文 1：Generative Adversarial Nets

得回 NeurIPS 本领测验奖的其中一篇论文是《Generative Adversarial Nets》，作家声势十分豪华，AI 圈知名大佬 Ian J. Goodfellow 、 Yoshua Bengio 等齐在内。

Ian Goodfellow 本科与硕士就读于斯坦福大学，师从吴恩达，博士阶段则跟班 Yoshua Bengio 相关机器学习。他最引东说念主谨慎的成便是在 2014 年 6 月提议了生成抗击网罗（GAN）。

GAN 在图像生成限制取得了要紧温暖，不错温暖性地生成动物、征象以及东说念主脸等高度传神的合成图像。这一主张养殖出无边变体，成为机器学习界最火热的商讨话题，与 GAN 关连的论文不停自大。

Ian Goodfellow 的经历波及 OpenAI、谷歌、苹果等多家科技公司。在最近一次 2022 年离开苹果后，他回到了 Google DeepMind 担任相关科学家。

论文地址：https://arxiv.org/pdf/1406.2661作家：Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio机构：蒙特利尔大学

死心 NeurIPS 揭晓奖项时，「GAN」的论文已被援用卓绝 85000 次，是生成模子限制的奠基之作，在夙昔 10 年间鼓励了无边相关进展。除了在学术界的影响，它还使生成模子在视觉数据过甚他限制的利用中产生了长远影响。

论文先容：本文提议了一个新的框架，通过抗击经过来臆测生成模子，他们同期教唆两个模子：一个生成模子 G，用于捕捉数据分拨；一个判别模子 D，用于臆测某个样本是来自教唆数据的概率，依然来自 G 生成的概率。生成模子 G 的教唆野心是最大化判别模子 D 出错的概率。

该框架对应于极小极大双东说念主博弈。在职意函数 G 和 D 的空间中，存在独一解，其中 G 规复教唆数据分袂，而 D 处处等于 1/2。在 G 和 D 由多层感知器界说的情况下，总共系统不错用反向传播进行教唆。在教唆或生成样本本领不需要任何马尔可夫链或张开的肖似推理网罗。

生成抗击网罗的小批量随即梯度下落教唆算法如下：

下图展示了经过抗击教唆之后从生成器网罗中索求的样本，突显了抗击框架的后劲。

论文 2: Sequence to Sequence Learning with Neural Networks

得回本年 NeurIPS 本领测验奖的另外一篇论文是 Ilya Sutskever、Oriol Vinyals、Quoc V. Le 三东说念主在谷歌配合完成的。

那时，谷歌收购了 Hinton 的公司 DNNResearch，并聘用 Ilya Sutskever 担任谷歌大脑相关科学家。加入谷歌的 Sutskever 全身心肠插足到序列建模问题中，它不错利用于语音，文本和视频，其中的一个十分本色的利用便是机器翻译。

2014 年，Sutskever 与谷歌相关员 Oriol Vinyals 和 Quoc Le 总共提议了 Seq2seq 学习（Sequence to Sequence Learning）。它输入比如一句英文的序列结构，再将其映射到也具有序列结构的一句法文上。该身手就此开启了 RNN 等闲利用于话语任务的时间。这项相关被利用于机器翻译，在大型数据集上的发扬优于基于短语的统计机器翻译基线。

论文纠合：https://arxiv.org/pdf/1409.3215作家：Ilya Sutskever, Oriol Vinyals, Quoc V. Le机构：谷歌

论文先容：深度神经网罗 (DNN) 是广泛的模子，在费劲的学习任务上取得了优异的性能。尽管唯有有大型标识教唆集可用，DNN 就能很好地使命，但它们不可用于将序列映射到序列。

该论文提议了一种通用的端到端序列学习身手，该身手对序列结构作念出最少的假定，使用多层黑白期顾忌 (LSTM) 将输入序列映射到固定维度的向量，然后使用另一个深度 LSTM 从向量解码野心序列。

主要相关后果是，在 WMT'14 数据集的英语到法语翻译任务中，LSTM 生成的翻译在总共测试集上的 BLEU 得分为 34.8，其中 LSTM 的 BLEU 得分因词汇外的内容而受到刑事包袱。

此外，LSTM 在解决长句子时莫得费劲。看成相比，基于短语的 SMT 系统在吞并数据集上的 BLEU 得分为 33.3。当使用 LSTM 对上述 SMT 系统产生的 1000 个假定进行再行排序时，其 BLEU 得分加多到 36.5，这接近于之前在该任务上的最好后果。LSTM 还学习了对词序明锐且对主动语态和被迫语态相对不变的明锐短语和句子表征。

临了，作家发现回转通盘源句子（不是野心句子）中的单词王法不错显赫晋升 LSTM 的性能，因为这么作念会在源句子和野心句子之间引入很多短期依赖关系，从而使优化问题变得更容易。

跟着大型话语模子和基础模子的快速发展，东说念主工智能过甚利用正在经历范式鼎新，总共限制受益于 Seq2Seq 奠定的基础。于今，论文的援用量卓绝 27000 次。

它为编码器 - 解码器架构的提议奠定了基石，并启发了后续基于贯注力机制的相关，鼓励了如今基础模子相关的茂密发展。

参考纠合：https://blog.neurips.cc/2024/11/27/announcing-the-neurips-2024-test-of-time-paper-awards/