スケーリング則は性能を約束したわけではない

2020年の Kaplan 論文以降、基盤モデルの規模拡大は「投じれば返る」という前提で語られてきた。前提そのものが誤りだったわけではない。だが原論文が示した曲線と、モデルを本番に載せる組織が実際に直面する制約のあいだには、無視できないずれがある。

損失が下がっても使いやすくならない

Kaplan らが示したのは、パラメータ数・データ量・計算量それぞれに対して検証損失がべき乗則的に下がるという観測だった。損失は「次のトークンをどれだけ正しく予測できるか」の指標である。要約の質、コード生成の正確さ、推論の一貫性といった下流の判断とは、1対1で対応しない。

この乖離は本番投入で表面化する。損失は改善しているのに評価担当者から「前より使いにくい」と報告が上がる。原因は学習分布と実運用分布のずれか、事後学習によるスタイル変化であることが多い。損失曲線を根拠に予算を組むなら、下流評価との相関を事前に測っておくべきだが、この工程を持つ組織は多くない。

ここで規模一本に賭けることの危うさが出てくる。公開ベンチマークの上位は今も最大規模のモデル群が占めており、「結局は大きいほうが勝つ」という反論には事実の裏付けがある。ただしその上位モデルは、学習データの選別、事後学習、推論時の探索を同時に投入している。規模が効いたのか、規模と一緒に投入された工夫が効いたのかは、公開情報からは分離できない。分離できないまま調達判断を規模に賭けると、逓減曲線の下側に自分を置くことになる。

Chinchilla が動かした律速点

DeepMind の Hoffmann らが2022年に示した結論、固定計算予算のもとではパラメータあたり約20トークンの学習が最適という指摘は、単なるハイパーパラメータ推奨ではなかった。規模拡大の律速要因を計算からデータへ動かした。

Epoch AI の Villalobos らの推計では、高品質な公開テキストの累積量は現行の学習ペースが続けば2020年代後半に頭打ちになる可能性がある。推計であり方法論で幅が出るが、複数の独立推計が同じ方向を指している。含意は明確で、設計の議論が「もっと大きく」から「もっと良いデータをどう作るか」へ移った。評価データセットの構築と学習データの品質管理は、同じ組織能力に依存する。

創発は能力の話か、測り方の話か

Wei らが提示した創発的能力、ある規模を超えると特定タスクの性能が非線形に立ち上がる現象は、設計者の判断に強い影響を与えてきた。2023年の Schaeffer らの反論は、この非線形性が能力そのものではなく不連続な評価指標の産物だと示した。完全一致か否かの二値スコアを連続的な指標に置き換えると、多くの創発現象は滑らかな曲線に戻る。

論争に決着はついていない。それでも実務判断としては Schaeffer 論文の指摘は無視できない。二値スコアで「見えていない能力」が連続スコアで見えるなら、モデルを拡大する前に評価を見直す余地がある。調達判断を評価指標の設計と切り離してはいけない、ということだ。

データ側に投資できる組織かどうか

三本の論点はどれも同じ問いに戻る。自組織はデータ側に投資できるのか。損失と下流タスクの相関を測る工程、学習データと評価データを継続的に作り直すパイプライン、指標そのものを議論の対象にする文化。これらを持つ組織にとって、規模の議論は選択肢のひとつでしかない。持たない組織にとっては、規模だけが唯一の操作可能な変数に見える。差はここで開く。推論コストを含めた総所有コストで議論できるかどうかも、同じ組織能力の裏返しである。