OpenAI 最近推出了其新的推理模型 o3，該模型在 ARC 數(shù)據(jù)集上大幅超越了之前的最佳性能（SOTA），并在具有挑戰(zhàn)性的 FrontierMath 數(shù)據(jù)集上取得了令人驚嘆的結(jié)果。很明顯，該模型在推理能力方面是一個重要的進步。

然而，最近關于人工智能進展停滯的報道中包含了一種對進展速度的悲觀情緒。許多人可能仍然在思考大型語言模型（LLM）擴展法則，這些法則預測計算、數(shù)據(jù)和模型大小的增加將導致更好的模型，是否已經(jīng)“遇到了瓶頸”。我們是否達到了基于變換器的 LLMs 當前范式的可擴展性極限？

除了首次公開發(fā)布的推理模型（OpenAI 的 o1、Google 的 Gemini 2.0 Flash，以及即將在 2025 年發(fā)布的 o3）之外，大多數(shù)模型提供商似乎都在進行表面上看似漸進式的現(xiàn)有模型改進。從這個意義上說，2024 年基本上是一年的發(fā)展鞏固，許多模型在本質(zhì)上已經(jīng)趕上了年初的主流模型 GPT-4。

但這掩蓋了像 GPT-4o、Sonnet 3.5、Llama 3 等“主力”模型（即非推理模型）所取得的實際進展，這些模型在 AI 應用中最為頻繁。大型實驗室一直在推出這些模型的新版本，這些新版本在各個任務上都推動了 SOTA 性能，并且在編程和解決數(shù)學問題等任務上帶來了巨大的改進。

不可忽視的是，2024 年模型性能的改進主要是由訓練后和測試時計算的擴展所驅(qū)動的。在預訓練方面，新聞并不多。這導致了一些猜測，即（預訓練）擴展法則正在崩潰，我們已經(jīng)達到了當前模型、數(shù)據(jù)和計算所能達到的極限。

在這篇文章中，將回顧 LLM 擴展法則的歷史，并分享對未來方向的看法。從外部預測大型 AI 實驗室的進展是困難的。對 2025 年 LLM 擴展可能如何繼續(xù)的總結(jié)：

預訓練：有限 - 計算擴展正在進行中，但我們可能受限于足夠規(guī)模的新高質(zhì)量數(shù)據(jù)；

訓練后：更有可能 - 合成數(shù)據(jù)的使用已被證明非常有效，這可能會繼續(xù)下去；

推理時：也很有可能 - OpenAI 和 Google/Deepmind 在今年開始了這一趨勢，其他參與者將跟進；同時，注意開源復制；在應用層面，我們將看到越來越多的代理產(chǎn)品。

什么是 LLM 擴展法則？

在深入探討之前，什么是 LLM 擴展法則？簡而言之：它們是關于規(guī)模（以計算、模型大小和數(shù)據(jù)集大小衡量）與模型性能之間相關性的經(jīng)驗觀察。

有了這個背景，讓我們看看我們目前的位置以及我們是如何走到這一步的。

計算最優(yōu)的預訓練 - Kaplan 和 Chinchilla

最初的擴展法則指的是 LLMs 的預訓練階段。Kaplan 擴展法則（OpenAI，2020）建議，隨著、預訓練計算預算增加，應該更多地擴展模型大小而不是數(shù)據(jù)。這意味著：給定 10 倍的訓練預算增加，應該將模型大小擴展 5.5 倍，數(shù)據(jù)擴展 1.8 倍。

2020 年由 OpenAI 發(fā)布的 GPT-3，很可能遵循了這些擴展法則，并且在給定其大小的情況下，訓練數(shù)據(jù)量異常少。也就是說，它有 1750 億參數(shù)，但僅在 3000 億token上進行了訓練，這相當于大約 1.7 個token/參數(shù)。

這些原始擴展法則存在一些缺陷，例如沒有考慮嵌入?yún)?shù)，并且通常使用相對較小的模型來估計擴展法則，這并不一定適用于大型模型。Chinchilla 擴展法則（Deepmind，2022）糾正了一些這些缺陷，并得出了非常不同的結(jié)論。

特別是，數(shù)據(jù)的重要性比以前認為的要大得多，因此模型大小和數(shù)據(jù)應該與計算同等比例地擴展。這些新發(fā)現(xiàn)表明，像 GPT-3 和當時發(fā)布的其他模型實際上是嚴重欠擬合的。一個像 GPT-3 這樣的 1750 億參數(shù)的模型應該在大約 3.5T token上進行訓練才能達到計算最優(yōu)，這大約是 20 個token/參數(shù)?；蛘撸ㄟ^反向論證，像 GPT-3 這樣的模型應該小 20 倍，即只有 150 億參數(shù)。

Chinchilla 陷阱：優(yōu)化推理

僅僅遵循 Chinchilla 擴展法則會導致“Chinchilla 陷阱”，即你最終會得到一個太大、因此在大規(guī)模推理時運行成本過高的模型。例如，在 Touvron 等人（Meta，2023）的 Llama 1 論文中，指出損失在 Chinchilla 最優(yōu)之后繼續(xù)下降。Llama 1 模型以高達 142 個token/參數(shù)的比例進行訓練，這是最小的（70 億）模型，訓練在 1T 標記上。這一趨勢繼續(xù)出現(xiàn)在 Llama 2（Meta，2023）中，token翻倍至 2T，導致高達 284 個token/參數(shù)的比例。最后，也在 Llama 3（Meta，2024）中出現(xiàn)，比例高達 1,875 個token/參數(shù)（80 億模型在 15T tokne上訓練）。訓練這些小型模型更長時間使它們達到出人意料地高性能，且在推理時運行成本較低。

這種證據(jù)不僅來自 Llama 3 模型訓練在極高的token參數(shù)比例上，而且來自文獻。例如，Sardana 等人（MosaicML，2023）估計了考慮推理時計算的擴展法則。在他們的實驗中，他們訓練了高達 10,000 個token/參數(shù) 的模型比例，并發(fā)現(xiàn)損失在 Chinchilla 最優(yōu)之后繼續(xù)下降。這些圖表很好地說明了訓練小型模型更長時間的點，以及如何導致如果預期有足夠高的推理需求，總成本更低。

Sardana et al. (2023)

測試時間計算擴展

不用說，隨著數(shù)據(jù)和參數(shù)越來越多地訓練模型，計算成本越來越高。在 Llama 3 論文中，旗艦模型的訓練使用了 3.8×10^25 FLOPs，這是 Llama 2 的 50 倍。根據(jù) EpochAI，截至 2024 年 12 月，已知的最大訓練預算是在 Gemini Ultra 的情況下，為 5×10^25 FLOPs。計算量非常大，尤其是如果考慮將其擴大幾個數(shù)量級的話。

OpenAI 2024

作為回應，2024 年發(fā)布了像 OpenAI 的 o1 和最近的 o3 這樣的模型，這些模型利用測試時計算來生成預測。所以，這些模型不是立即生成答案，而是在測試時生成思維鏈，或使用 RL 技術來生成更好的答案。通俗地說，可以說我們給了模型更多時間來“思考”再給出答案。這催生了一種完全不同的 LLM 擴展法則，即測試時計算。

推薦聽聽 OpenAI 的 Noam Brown 的有趣演講，他談到了他在訓練用于玩撲克、國際象棋、Hex 等游戲的模型時學到的經(jīng)驗，以及測試時計算如何使 SOTA 性能成為可能，這些性能僅通過擴展訓練計算是無法實現(xiàn)的。

例如，如果存在訓練和推理時間計算之間的權(quán)衡，即可以用 10 倍的訓練預算換取 15 倍的推理時間計算增加，那么在訓練計算已經(jīng)非常昂貴而推理計算非常便宜的情況下，這樣做是有意義的。

Jones (2021)

擴展法則是否仍然有效，還是我們已經(jīng)遇到了瓶頸？

這是個大問題，從大型實驗室外部很難回答。讓我們回顧一下他們內(nèi)部的說法，同時要意識到他們的陳述可能存在一些偏見。

Anthropic 的 Dario Amodei 表示：“我見過這種情況發(fā)生很多次，真的相信擴展可能會繼續(xù)，而且其中有一些我們還沒有在理論上解釋清楚的魔力?！?/p>

OpenAI 的 Sam Altman 則表示：“沒有遇到瓶頸?！?/p>

此外，公司仍在擴大他們的數(shù)據(jù)中心，xAI 的 Colossus 集群托管了 10 萬個 H100 節(jié)點，并計劃將其擴展到至少 100 萬個。

盡管在擴展計算能力時存在工程挑戰(zhàn)和能源瓶頸，但這一過程正在進行中。然而，計算能力只是 LLM 擴展法則中的一個因素，另外兩個因素是模型大小和數(shù)據(jù)。有了更大的集群，也可以在給定時間內(nèi)訓練更大的模型。不過，數(shù)據(jù)的擴展則是另一回事。

EpochAI 估計，在索引的網(wǎng)絡中有 510T 個token的數(shù)據(jù)可用，而已知的最大數(shù)據(jù)集是大約 18T 個token（Qwen2.5）?？雌饋硭坪踹€有很大的空間可以擴展數(shù)據(jù)，但其中大部分數(shù)據(jù)質(zhì)量較低或重復。再加上從 1-2 年前開始，互聯(lián)網(wǎng)上新增的大量文本是由 LLM 生成的。盡管還有可能的新數(shù)據(jù)源可用，例如轉(zhuǎn)錄互聯(lián)網(wǎng)上的所有視頻，或者使用不在開放互聯(lián)網(wǎng)上的文本（例如專有數(shù)據(jù)），但低垂的果實已經(jīng)被采摘了。

EpochAI

擴展的邊際效益遞減實際上正是冪律關系所預期的。也就是說，為了獲得第一單位的改進，需要 1 單位的數(shù)據(jù)，然后是 10 單位用于下一個改進，接著是 100 單位，以此類推。正如 Yann LeCun 所說，這適用于所有“長尾”領域，即隨著數(shù)據(jù)集大小的增加，輸入的多樣性不斷增長的領域，如對話和問答。

從擴展法則的方程式和圖表來看，應該清楚地認識到這些關系是有極限的，這一點也得到了 Kaplan 原始論文[3]的認可。原因在于自然語言中固有的熵，以及損失無法降低到零。因此，雖然目前看來性能似乎只是隨著計算、數(shù)據(jù)、模型大小的對數(shù)線性增長，但最終它必須趨于平穩(wěn)。問題不在于是否會趨于平穩(wěn)，而在于何時會發(fā)生。

我們現(xiàn)在已經(jīng)達到了這個點了嗎？很難回答，因為這不僅僅是簡單地將計算或數(shù)據(jù)再擴展一個數(shù)量級并看看會發(fā)生什么。AI 實驗室正在構(gòu)建大型的新集群，這將使他們能夠更長時間地訓練模型，并觀察損失是否繼續(xù)以相同的速度減少。據(jù)我們所知，我們還沒有在 10 萬個 H100 節(jié)點上訓練這些模型，更不用說 100 萬個了，所以很難判斷我們還能將訓練損失降低多少。更重要的是，我們只有一個互聯(lián)網(wǎng)，所以擴展數(shù)據(jù)是一個更困難的問題。正如我們從 Kaplan 擴展法則中知道的，只有當模型不受這些因素之一的限制時，這些法則才成立。

Ilya Sutskever在NeurIPS 2024

然而，鑒于那些利用測試時計算的模型所表現(xiàn)出的令人印象深刻的表現(xiàn)，以及OpenAI 的 o3 的發(fā)布，很明顯，擴展測試時計算是未來的發(fā)展趨勢。

如下面的圖表所示，當擴展測試時計算時，在具有挑戰(zhàn)性的 Arc 數(shù)據(jù)集上的性能提升是相當顯著的。從 o3 low到 o3 high，模型被賦予了 172 倍更多的計算資源來生成答案。它平均每道題使用 5700 萬個token，相當于 13.8 分鐘的運行時間，而在低計算設置中，它每道題僅使用 33 萬個token，即每道題 1.3 分鐘。

根據(jù) Noam Brown 的說法，這只是開始。明年，我們可能會讓模型運行數(shù)小時、數(shù)天甚至數(shù)周來回答真正具有挑戰(zhàn)性的問題。

Arc Prize網(wǎng)站

結(jié)論

鑒于目前的發(fā)展勢頭和硬件部署情況，人們將會嘗試通過投入更多的計算資源來進一步推動擴展法則。這可能是在訓練方面，通過延長預訓練時間或在訓練后投入更多資源，但尤其在推理方面，通過讓模型“思考”更長時間后再給出答案。

公眾可能并不總是能夠接觸到最大的模型，這些模型可能性能最佳，但運行成本過高。像 GPT4o 或 Sonnet 3.5 這樣的模型，可能更適合用于推理的小型模型。而擁有 4050 億參數(shù)的 Llama 3 模型，雖然相當龐大，但可以作為小型模型的優(yōu)秀教師模型，或者用于生成合成數(shù)據(jù)。

今年的趨勢，肯定會延續(xù)到 2025 年（在一年的這個時間點上，這是一個容易做出的預測）：

代理（Agents）

測試時計算（Test-time compute）

合成數(shù)據(jù)（Synthetic data）

代理實際上也是測試時計算的一種方式，但這種方式比大型實驗室更易于公眾和應用開發(fā)者接觸。盡管如此，大型實驗室也在大力投資代理技術。

測試時計算是關鍵。正如我們在 o1 Gemini 2.0 Flash 和 o3 中所看到的，這些將是解決需要更復雜推理的用例，或者在需要權(quán)衡一些訓練計算以換取更多推理計算的情況下的解決方案。

至于合成數(shù)據(jù)，它主要用于訓練后，但也可以將清理互聯(lián)網(wǎng)視為一種合成數(shù)據(jù)生成的方式。從今年的 LLM 論文中可以看出，合成數(shù)據(jù)對于 SFT 在數(shù)學和編程等任務上的性能提升非常重要。在某些領域，合成數(shù)據(jù)比其他領域更有用，所以不確定它是否真的能夠填補人類撰寫數(shù)據(jù)缺失的空白。

因此，本文的結(jié)論是，我們可能已經(jīng)達到了一個點，即預訓練擴展法則并沒有完全崩潰，但可能正在放緩，這并不令人驚訝。這主要是因為我們已經(jīng)耗盡了大量高質(zhì)量文本的來源。

然而，這并不意味著該領域不會再有任何進展，因為預訓練只是拼圖的一部分。正如我們所見，擴展測試時計算和使用合成數(shù)據(jù)，很可能是未來進展的主要驅(qū)動力。至少到目前為止，我們可能只是處于測試時擴展法則的早期階段，所以還有很大的改進空間。

總之，這是我們看到的 2025 年 LLM 擴展最具潛力的方向：

預訓練：有限 - 計算擴展正在進行中，但我們可能受限于足夠規(guī)模的新高質(zhì)量數(shù)據(jù)；

訓練后：更有可能 - 合成數(shù)據(jù)的使用已被證明非常有效，這可能會繼續(xù)下去；

推理時：也很有可能 - OpenAI 和 Google/Deepmind 在今年開始了這一趨勢，其他參與者將跟進；同時，注意開源復制；在應用層面，我們將看到越來越多的代理產(chǎn)品。

參考文獻：

[1] T. Brown et al. Language Models are Few-Shot Learners, 2020.[paper]

[2] J. Hoffmann et al. Training Compute-Optimal Large Language Models, 2022.[paper]

[3] J. Kaplan et al. Scaling Laws for Neural Language Models, 2020.[paper]

[4] H. Touvron et al. LLaMA: Open and Efficient Foundation Language Models, 2023.[paper]

[5] H. Touvron et al. Llama 2: Open Foundation and Fine-Tuned Chat Models, 2023.[paper]

[6] Llama Team, AI @ Meta. The Llama 3 Herd of Models, 2024.[paper]

[7] N. Sardana et al. Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws, 2024.

原文鏈接：https://www.jonvet.com/blog/llm-scaling-in-2025