推論コストの経済学 — 費用の重心はどこへ移るか

学習の費用は一度きりだが、推論の費用は使われるたびに発生する。この非対称性は当初から指摘されていたものの、モデルの規模が話題の中心にあったあいだは背景に退いていた。運用が定常状態に入ると、費用構造の重心は推論側へ移る。

固定費と変動費

大規模モデルの学習は、一度実行すれば終わる支出である。対して推論は、リクエスト一件ごとに計算資源を消費する。利用量が一定の閾値を超えれば、累積した推論費用は学習費用を上回る。閾値がどこにあるかはモデルと用途に依存するが、構造そのものは単純だ。

Patterson らは2021年の「Carbon Emissions and Large Neural Network Training」で、学習時の消費電力と排出量を機種・データセンター構成ごとに算定した。同論文の枠組みは、推論側にも同じ会計を適用できることを示している。ただし推論側の公開データは、学習側に比べて著しく乏しい。

Chinchilla の裏側

計算最適な配分をめぐる議論は、学習側の問いとして提示された。だが結論には、提供側への含意が含まれている。同じ計算予算なら、パラメータを減らして学習トークンを増やしたほうが損失が低い。そしてパラメータが少ないモデルは、推論時に必要な計算とメモリも少ない。

つまり、計算最適な学習は、偶然にも提供費用の低いモデルを生む。学習時に多くのトークンを投じることは、その後の運用期間にわたって回収される投資として読める。

単価が下がると総額はどうなるか

トークンあたりの提供単価は、ハードウェアの世代交代、量子化、投機的デコーディング、バッチ処理の改善によって低下してきた。ここから「費用問題は解決に向かう」と結論するのは早い。

1865年に William Stanley Jevons が『The Coal Question』で記述した現象は、資源の利用効率が上がると、その資源の総消費量がむしろ増えうるというものだった。単価が下がれば、それまで採算に合わなかった用途が採算に乗る。用途が増えれば呼び出し回数が増える。

この経路が実際に働いているかどうかは、公開されている支出データからは判定しにくい。もっとも、単価の低下だけを根拠に総支出の低下を予測するのは、少なくとも論理的な飛躍である。

推論時計算という新しい変数

近年、推論時により多くの計算を費やして出力の質を上げる手法群が注目されている。複数の候補を生成して選ぶ、中間的な推論過程を長く展開する、外部の検証器を回す。いずれも、応答一件あたりの計算量を増やす。

これらの手法は、評価上の性能と提供費用を同じ軸の上に置く。従来、ベンチマークのスコアは費用と切り離して報告されてきた。推論時計算を可変にした瞬間、「どの予算のもとでのスコアか」を明示しない数値は比較可能性を失う。評価の設計に費用の次元を組み込む必要が出てくるのは、このためである。

測るべき単位

MLCommons の MLPerf Inference は、推論性能を標準化された条件で測る数少ない取り組みである。ただし、そこで測られるのはスループットとレイテンシであって、業務上の一件あたり費用ではない。両者を接続するには、稼働率、バッチ効率、SLA の厳しさといった運用側の変数が要る。

結局のところ、推論コストは技術指標ではなく運用指標である。同じモデル、同じハードウェアでも、それを載せる基盤の設計によって一件あたりの費用は変わる。費用の議論をモデル選択の議論として閉じてしまうと、支配的な変数を取り逃がすことになる。

この構造は、計算資源をどこに置くかという古い問いにも接続する。負荷が安定し、稼働率を高く保てるなら、自社設備のほうが単位あたり費用は下がりうる。クラウドから自社設備へ戻した事例が報告する条件は、推論基盤にもほぼそのまま当てはまる。ただし、いずれの場合も比較すべきは料金表ではなく総所有コストである。