ベンチマークが測っていないもの

あるモデルがベンチマークで高い数値を出したという発表は、そのモデルが業務で役に立つという主張とは別のものである。この二つを結ぶには、ベンチマークが何を代理しているかという議論が必要になる。しかしその議論は、数値そのものほどには共有されていない。

「何を測っているか」という問い

Raji らは2021年の「AI and the Everything in the Whole Wide World Benchmark」で、汎用的な能力を測ると称するベンチマークが、実際には限定された分布上の限定されたタスクを測っているにすぎないと論じた。ベンチマークは構成概念（construct）の代理であり、代理の妥当性は自動的には保証されない。

同じ年、Bowman と Dahl は「What Will it Take to Fix Benchmarking in Natural Language Understanding?」で、自然言語理解のベンチマークが抱える設計上の問題を列挙している。彼らの指摘のうち実務に効くのは、データセットに含まれる表層的な手がかり（spurious cues）を使えば、対象の能力を持たなくても高得点が取れてしまうという点である。

汚染という測定誤差

公開ベンチマークには、原理的な弱点がある。テストセットがインターネット上に存在する以上、それが学習コーパスに混入する可能性を排除できない。Magar と Schwartz は2022年の研究で、事前学習時に評価データを見たモデルが、単なる記憶を超えてその情報を利用しうることを示した。

汚染は測定誤差として振る舞う。しかも誤差の方向は一定で、常にスコアを押し上げる方向に働く。したがって、公開ベンチマーク上の数値の年次比較は、モデルの改善と汚染の蓄積を分離できていない可能性がある。

単一スコアが消すもの

Stanford CRFM の Liang らによる HELM（Holistic Evaluation of Language Models）は、この問題への一つの応答だった。単一の正答率ではなく、精度・較正・頑健性・公平性・バイアス・毒性・効率といった複数の軸で、同一の条件のもとに測る枠組みである。

多軸評価が明らかにするのは、軸のあいだのトレードオフだ。ある構成が精度で優れていても、推論費用や較正で劣ることがある。順位表が一列であるかぎり、この情報は失われる。推論コストの構造を評価から切り離せない理由もここにある。

反論：それでも比較可能性は要る

ただし、公開ベンチマークを退けるだけでは前に進まない。共通の物差しがなければ、独立した研究者が主張を検証することも、再現実験を組むこともできなくなる。汚染や代理妥当性の問題は、ベンチマークを捨てる理由ではなく、その数値をどう読むかの注記として扱うほうが生産的である。

Kiela らの Dynabench が提案したのは、静的なテストセットを固定せず、人間が反例を作り続けることで評価を動的に更新する方式だった。この方向は汚染に強い一方、評価の再現性と作成コストという別の問題を招く。どちらの設計も、失うものと得るものがある。

導入側の応答

実務では、次のような手続きが定着しつつある。

• 自社の業務データから、非公開の評価セットを構築する
• モデルまたはプロンプトを更新するたびに、回帰の有無を確認する
• 単一スコアではなく、誤答の種類ごとに分けて記録する
• 評価セット自体を版管理し、変更履歴を残す

この手続きは、公開ベンチマークが解けない問題を解いているわけではない。代理妥当性の問いを、汎用の構成概念から自社業務という具体的な構成概念へ移し替えているだけである。ただしその移し替えには意味がある。自社業務は、外部のベンチマーク設計者よりも当事者のほうがよく知っているからだ。

評価が製品要件の一部として扱われるようになると、評価セットの品質そのものが管理対象になる。そこで問われるのは、モデルの性能ではなく手元のデータがどれだけ信用できるかという、古くからある問題である。