ベンチマークが測っていないもの

公開ベンチマークのスコアがモデル選定の主要根拠として使われる状況は当面続く。一方で2023年以降、そのスコアをどう読むべきかについての疑義が学術側で積み上がっている。実務判断に直結するのは、汚染、構成概念妥当性、そして自組織評価への移行コストの三点だ。

汚染はもう例外ではない

Sainz らの2023年論文や、Dodge らによる学習コーパスの混入調査は、主要ベンチマークの相当部分が公開ウェブ経由で学習データに入り込んできたことを示している。ベンダーが意図的に含めたという話ではない。公開ベンチマークが公開データセットとしてクロールされ、そのまま学習パイプラインに流れ込む構造的な問題である。

この構造は年を追って悪化する。あるベンチマークが公表された時点から、次世代モデルの学習データにそれが含まれる確率は上がり続ける。2023年発表のモデルと2025年発表のモデルを同じベンチマークで比較したとき、後者のスコアが高いことが能力の向上なのか汚染の蓄積なのか、公開情報からは分離できない。

対策として提案されているのが、公表後に作られた問題だけで評価するライブベンチマーク方式である。実装には継続的な問題作成のコストがかかるうえ、公表した瞬間から汚染のカウントダウンが始まる点は変わらない。カナリア文字列を埋め込んで混入を検知する手法も提案されているが、検知できるのは自分が作ったデータセットについてだけで、既存の主要ベンチマークには遡って適用できない。汚染は解決すべき不具合というより、公開評価という仕組みに内在する制約として扱うほうが現実に近い。

何を測っているかという古い問い

心理測定学で1950年代から議論されてきた構成概念妥当性、つまり測ろうとしている抽象概念を選んだ指標が本当に測っているのかという問いは、機械学習評価にほぼそのまま持ち込める。HumanEval がコード生成能力を、MMLU が知識と推論を測るという主張は指標設計者の主張であって、独立に検証されたものではない。

Stanford CRFM の HELM が試みたのは、単一のベンチマークではなく正確性・公平性・堅牢性・効率といった複数の軸を並列に測ることで、単一スコアの過剰解釈を避けることだった。方向性は正しい。だが順位表としての読みやすさを失う。読みやすさを求める組織は単一スコアに戻り、そこで妥当性の議論は再び後退する。この往復は今も続いている。

自組織評価は安くない

「公開ベンチマークを信用せず自社業務データで評価せよ」という助言は原理的には正しい。実装コストの見積もりが甘いことが多いだけだ。評価データセットの構築には、業務代表性のあるプロンプト設計、正解ラベルの付与、評価基準の運用ドキュメント化、分布ドリフトに合わせた継続更新がすべて必要になる。

データ品質の議論と同じ組織能力を要求する、と言い換えてもいい。ラベル付与フローを持たない組織が自組織評価を立ち上げると、しばしば一度作って更新されない評価セットができる。これは公開ベンチマークより危険で、更新されない評価セットは自組織の過去の判断を強化する装置になる。

完璧な評価を待っていては何も決められない、という反論はもっともだ。妥協案として現実的なのは、公開ベンチマークはふるい落としにだけ使い、上位候補は自組織の小規模評価で判断し、評価セットは半年ごとに更新する予算を確保しておくことだろう。この案の弱点は最後の予算で、評価更新は通常「実装作業」と見なされて優先度が下がる。推論コストの議論と同じく、認識の欠如がそのまま予算配分に出る。評価がインフラだと認識されていない組織では、この予算は毎年削られ続ける。