変革を測る指標が見落とすもの

変革の進捗を測る指標は、経営会議に持ち込まれた瞬間に別の性質を帯びる。それは観測の道具であることをやめ、達成すべき目標になる。この転換は避けがたく、そして避けがたいがゆえに設計に織り込む必要がある。

速度と安定性を分けない

DORA（DevOps Research and Assessment）の四指標が広く使われている理由の一つは、速度と安定性を同時に測る構成にある。デプロイ頻度と変更のリードタイムは速度を、変更失敗率と復旧までの時間は安定性を捉える。

この構成は、片方だけの最適化を検出する。デプロイ頻度だけを追えば、検証を省くことで数値は上がる。しかしその場合、変更失敗率が同時に悪化する。四つを並べて見ることが、単独指標の操作を難しくしている。

Forsgren らが『Accelerate』で示したのは、速度と安定性がトレードオフではないという主張だった。高性能な組織は両方で優れている。この主張は反直感的だが、統計的な相関としては報告されている。

測ることが変えること

1997年に Marilyn Strathern が定式化した表現によれば、「ある尺度が目標になると、それは良い尺度ではなくなる」。経済学者 Charles Goodhart の議論を一般化したこの命題は、指標設計のあらゆる場面に現れる。

四指標も例外ではない。デプロイ頻度を目標として設定すれば、意味のない小さな変更を分割してデプロイ回数を稼ぐ動機が生まれる。指標が組織構造に組み込まれるとき、その指標を最大化する経路のうち、意図されていないものが必ず存在する。

この問題に対して、指標を隠す、あるいは頻繁に変える、といった対処が提案されることがある。しかしどちらも、時系列比較を不可能にするという代償を伴う。

技術導入率という誤った代理指標

変革の進捗を、新しい技術を採用した部門の割合で測る組織は多い。この代理指標は測りやすく、そして目的から遠い。

MIT の Center for Information Systems Research（CISR）による一連の研究、および Westerman、Bonnet、McAfee の『Leading Digital』（2014）が共通して指摘するのは、成果を分けるのが技術の新しさではなく、組織がその技術に合わせて業務手順と意思決定構造を変えられるかどうかだという点である。

採用率は、変革の必要条件ではあっても十分条件ではない。導入されたが使われていない道具は、採用率に計上される。

反論：測らないよりは測るほうがよい

ここまでの議論は、指標批判として読める。ただしその読みは行き過ぎである。指標が歪むという事実は、指標を持たないことを正当化しない。測っていない組織は、歪んだ指標を持つ組織よりも良い状態にあるわけではなく、単に自分がどこにいるか知らないだけである。

もっとも、指標の運用には条件がある。第一に、指標を評価と報酬に直結させないこと。第二に、複数の指標を同時に見ること。第三に、指標が想定していない改善経路が現れたときに、指標のほうを疑うこと。

配送と事業のあいだ

四指標が測るのは、変更を安全に速く届ける能力である。それが売上や顧客満足に結びつくかどうかは、四指標の外側にある。この接続を暗黙の前提にすると、配送性能を改善したのに事業成果が動かないという状況で、説明が用意できなくなる。

接続を明示するには、配送性能の改善が何を可能にしたかを記述する必要がある。仮説の検証回数が増えた、価格改定を週次で試せるようになった、といった具体である。ここで律速になるのは配送ではなく、意思決定に要する時間のほうであることが多い。そして刷新プロジェクトの評価もまた、いつ測るかによって結論が反転するという同じ構造を持っている。