Is Scaling is All you Need？

在 Ilya 探讨完「预实际行将完了」之后，对于 Scaling Law 的计划再次激励热议。

这届 NeurIPS 将被铭刻成预实际完了的一届会议

在最新研讨会上，OpenAI 大神，o1 中枢成员 Noam Brown 默示，o1 代表的是一种全新的，以推理贪图为代表的 Scaling。

网友们默示：好好好，Scaling Law 还莫得死！Scaling Law 还在不绝。

演讲实录：Is Scaling is All you Need？

Noam Brown，OpenAI 大神一枚，客岁 7 月从 Meta 辞职，曾开导首个在政策游戏中达到东谈主类水平的 AI，此前在游戏 AI 领域联系计划着力曾登上 Science 封面。

如今在 OpenAI 死力于多步推理、自我博弈以及多智能体 AI 联系的计划。

此前在 o1 发布的直播技术露过面。

据网友 @swyx 共享，Noam Brown 领先谈到 Scaling Law 的畴昔演进。

AI 从 2019 年到目下，GPT-2 演进到 GPT-4，这难以置信的建立齐来自于数据和算力领域的扩大。

但大讲话模子仍然无法处置像井字棋这么的简短问题，

那么随之而来的一个问题是，Is Scaling is All you Need？咱们竟然还需要再铺张更高的资原来实际更好的 AI 吗？

这当中被低估的其实是推理的资本，它在畴昔的膨大（Scaling）要少得多。o1 带来了 Scaling 的新的维度。

随后，他讲究了畴昔模子展现出来的访佛国法。

比如在 2012 年 -2015 年间扑克模子的膨大。模子领域每年膨大 5 倍，但顺利不大。但依照「东谈主类需要更万古分念念考更难问题」这一见地，增多了模子 20 秒的搜索时分，效果约莫相配于将模子领域扩大了 100000 倍。

还有在棋牌中膨大推理的历史，backgammon- 国外象棋 - 围棋。AlphaGo Zero 在原始 NN 基础上杀青了从 3000 到 5200 Elo 增长，齐是因为 test-time search（推理时分搜索）。

此外，他还援用了 Andy L.Jones 对于 Scaling Laws of games 的图表——不错用 10 倍的预实际贪图量相似 15 倍的测试时分贪图量。

淌若游戏适度膨大到 LLMs，是不是也会是如斯？

那么对于 o1 接下来，会有更高的推理贪图材干。在畴昔 5 年里，LLM 意见即是聊天机器东谈主。那么他们不错作念得更好"

终末他还打了个小告白，目下他的多智能体团队还在招东谈主 ing。

网友驳斥

淌若再诱导昨天 Ilya 谈到「预实际期间行将完了」。那么对于市集来说，这一波可不是利好英伟达了（Doge）。

不外也有从业者站出来反对他的看法：推理时分贪图（Inference Time Computation）并不簇新，原来还想把它去掉，但出于需要又让它总结了。

他还矫正说，内部对于诸多游戏时分法子是粗放的，许多游戏（包括国外象棋和围棋）一开动齐只专注于推理时分贪图。但其后寰宇齐倾向于离线学习策略，这么省去了大宗的在线贪图时分。

因此，减少面向用户的推理时分贪图是一个三念念此后行的选拔，致使导致该领域开动编削对贪图复杂性商量的表情。

这一趋势在 LLMs 中也取得了延续——总计的重心齐放在预实际上，因此推理时分的贪图量不错忽略不计。这么对末端用户来说资本极低，致使不错在土产货的边际竖立上完成。

Ilya 在谈到畴昔超等智能的畅想时，也说起了现时推理的不可斟酌性：

推理越多，系统变得越不可斟酌，这少量在一些复杂任务中进展得尤为高出。

他还提到：

目下的 AI 系统还不行委果领路和推理，诚然它们能模拟东谈主类的直观，但畴昔的 AI 将会在推理和有谋略方面展现出愈加不可斟酌的材干。

不外大模子到底会朝着哪些材干上膨大，这个还得看这些科学家们握续探索。

One More Thing

原来啊，从现场 repo 来看，这原来是个对于数学 AI 的研讨会，硬生生地被他弄成了计划大模子推理 Scaling Law。

现场亦然东谈主许多，神话门口齐还有 20 多个东谈主在列队恭候。天然也有部分原因是房间太小了。

参考聚集：

[ 1 ] https://x.com/swyx/status/1867990396762243324

[ 2 ] https://x.com/e__honig/status/1868002417045840243

[ 3 ] https://x.com/drapersgulld/status/1868023022390485052

—  完  —

点这里� � 热情我，铭记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日重逢 ~