スケーリング則は性能を約束したわけではない

基盤モデルの性能が学習計算量とともに向上するという観測は、2020年以降、この分野でもっとも引用される経験則になった。ただし「向上する」ことと「投資に見合う」ことは別の主張であり、両者はしばしば混同されている。この記事では、スケーリング則が実際に何を示し、何を示していないのかを、原論文の主張の範囲に絞って整理する。

べき乗則が述べていること

2020年に OpenAI の Kaplan らが発表した「Scaling Laws for Neural Language Models」は、言語モデルの検証損失が、パラメータ数・データセット規模・学習計算量のそれぞれに対して、広い範囲でべき乗則に従って低下することを報告した。重要なのは、この関係が損失（loss）について述べられている点である。損失は次のトークンの予測誤差であり、下流のタスクでの有用性とは異なる量だ。

べき乗則には、直感に反する含意がある。損失を一定量下げるために必要な計算量は、下げるたびに増えていく。曲線が滑らかに下降し続けるという事実は、投資対効果が一定であることをまったく意味しない。

Chinchilla が訂正したもの

2022年、DeepMind の Hoffmann らは「Training Compute-Optimal Large Language Models」で、固定された計算予算のもとでの最適配分を再検討した。結論は、当時の主要モデルがパラメータ数に対して学習トークン数を著しく不足させていたというものだった。同論文が示した目安は、パラメータ1つあたりおよそ20トークンである。

この結果は、70B パラメータの Chinchilla が、より大きい 280B の Gopher を多くの評価で上回るという形で提示された。ここで訂正されたのは「規模を追え」という指針そのものであり、「規模とデータを釣り合わせよ」という別の指針が置かれた。

データという制約

釣り合わせる指針は、新しい制約を前面に出した。高品質なテキストデータの供給は有限であり、計算資源のように調達できない。Epoch AI の Villalobos らによる推計は、高品質テキストの枯渇時期について複数のシナリオを提示している。推計の幅は大きく、「いつ尽きるか」より「供給が制約になりうる」という定性的な結論のほうが頑健だと読むべきだろう。

この制約を受けて関心が移った先は、次のような隣接変数である。

• データの重複除去と品質選別
• 学習後の調整（事後学習）の設計
• 推論時に計算をどう配分するか
• 合成データの生成と、その品質劣化の管理

「創発」をめぐる対立

スケーリングの議論には、規模のある閾値を超えると新しい能力が突然現れるという主張が付随してきた。Wei らは2022年にこれを「創発的能力（emergent abilities）」として整理した。

もっとも、この解釈には有力な反論がある。Schaeffer らは2023年の「Are Emergent Abilities of Large Language Models a Mirage?」で、能力の急激な出現は、正解・不正解の二値で採点する不連続な評価指標を用いたことによる見かけの現象であり、連続的な指標に置き換えると滑らかな改善曲線が現れると論じた。

一方で、この反論がすべての事例を説明しきったと考える研究者ばかりでもない。指標の選び方が現象の見え方を決めるという指摘は正しいとしても、では実務上どの指標を採るべきかという問いは残る。評価が何を測っているのかという問題は、ベンチマークの構成そのものに踏み込まない限り解けない。

逓減は飽和ではない

ここまでの整理から言えることは限定的である。計算量を増やせば損失は下がる。ただし費用は加速して増える。データは計算のようには増やせない。能力の不連続な出現については、少なくとも一部は測り方の産物である。

Richard Sutton が2019年の「The Bitter Lesson」で述べたように、計算を活用する汎用的な手法が長期的には勝ってきたという歴史的観察は、いまも参照に値する。ただしその観察は、任意の時点でどの変数に投資すべきかを教えてくれるわけではない。逓減が観測されていることと、飽和に達したことは同じではなく、現在の公開資料はこの二つを区別できるほど揃っていない。判断に必要なのは、次の桁の計算量が投じられたときに何が起きるかを、事前に区別できる仮説である。推論側の費用構造は、その仮説を絞り込む手がかりのひとつになる。