ダッシュボードの手前にある工程

ダッシュボードが使われなくなる理由を利用者に尋ねると、画面の設計ではなく数字への不信が挙がることが多い。同じ問いを別の部署にすれば違う数字が返ってくる。そのことを一度でも経験した利用者は、二度とその画面を意思決定に使わない。

見えている部分は小さい

Sculley らは2015年の「Hidden Technical Debt in Machine Learning Systems」で、実運用の機械学習システムにおいて、学習アルゴリズムのコードが占める割合はごく小さく、周囲を設定管理、データ収集、特徴抽出、監視といった要素が取り囲んでいることを示した。

この構図はビジネスインテリジェンスにそのまま移せる。利用者が触れるのはダッシュボードだが、その振る舞いを決めているのは、取り込み、突合、定義、更新頻度といった上流の工程である。上流が不安定なら、下流の見栄えは問題の所在を隠すだけになる。

不信はどこで生まれるか

数字への不信を生む典型的な原因は、次のように分類できる。

• 重複：同一の実体が複数の行として存在する
• 欠損：欠損値が、ゼロとして集計に混入する
• 定義の揺れ：同じ名前の指標が、部署ごとに違う条件で計算されている
• 時点のずれ：更新タイミングが揃っておらず、同一画面の数字が異なる時刻を指す

このうち可視化ツールで解決できるものは一つもない。定義の揺れは、指標定義を一箇所に集約することでしか解けないし、時点のずれはパイプラインの設計問題である。

推計としてのコスト

データ品質の不備がもたらす損失については、いくつかの推計が引用されてきた。Thomas C. Redman は2016年に Harvard Business Review で、不良データが米国経済にもたらすコストの規模について推計を示している。

ここで注意すべきは、これらが推計であって実測ではないという点だ。方法論と前提が異なれば、桁が変わる。自社の意思決定に使うのであれば、外部の推計を引くのではなく、たとえば「誤ったデータに起因して差し戻された作業の工数」を実際に数えるほうがよい。数えることは面倒だが、推計より頑健である。

反論：完璧を待てば何も出ない

ここまでの整理は「まず品質を整えよ」と読める。しかしその指針を額面どおり実行すると、別の失敗に至る。データ品質の改善には終わりがなく、基準を上げ続ければ可視化の着手は永久に延期できる。

現実的な順序は、品質を先に完成させることではなく、品質の状態を可視化の一部として提示することである。ある数字が何件のレコードから、いつの時点で、どの定義で計算されたかを画面上に置く。利用者は、その注記を見て自分で信用度を判断できる。

この方式の利点は、品質改善の優先順位が利用者側から供給されることにある。誰も見ない指標の品質を上げる必要はない。

データ品質は評価の前提でもある

同じ問題は、機械学習の評価セットにも現れる。自社データで評価セットを組むという実務上の応答は、そのデータが正しいという前提の上に成り立っている。ラベルに揺れがあれば、モデルの改善と評価セットのノイズを区別できない。

可視化にせよ評価にせよ、下流の道具は上流の品質を増幅する装置であって、補正する装置ではない。地味な前工程に予算がつきにくいのは、その工程が成功したときに何も起きないからである。何も起きないことを成果として記録する仕組みを持たない組織では、この工程は常に後回しになる。