ダッシュボードの手前にある工程

ダッシュボードが必要だという要求は事業側から見て具体的だが、その前提になるデータ品質は目に見えない。結果として BI 基盤への投資は可視化ツールやレポートといった表層に集中し、下層のデータ品質改善には資源が回らない。品質の不足が意思決定を歪める経路は、具体的に三つ挙げられる。それぞれに診断方法もある。

同じ言葉が違うものを指している

大きな組織でよく見るのは、アクティブユーザー数、売上、粗利といった主要指標が部署ごとに違う定義で計算されている状態だ。マーケティング部門のアクティブユーザーは月次ログイン、プロダクト部門は7日以内の主要アクション、財務部門は課金発生ユーザー。同じ用語で呼ばれているところに問題がある。

分岐はダッシュボード間の数値不一致として表面化する。役員会議で異なる部署のスライドが並び、アクティブユーザーの数字が食い違い、議論が数字の照合に費やされる。可視化ツールを高機能なものに替えても解決しない。指標定義そのものを組織全体で統一するセマンティックレイヤーの導入が要る。

診断は簡単だ。主要指標の SQL 定義を全部門から集めて比較すればいい。技術的な難易度は低い。多くの組織で実施されていないのは、部門間の合意形成が難しく、実施しない前提として放置されているからである。

NULL をどう数えているか

データ品質の議論で見落とされやすいのが欠損値の扱いになる。SQL の集計で SUM を実行するとき、NULL は0ではなく無視される。仕様通りの挙動だが、業務担当者の直感とは違う。顧客の月間支出の平均を出すとき、購入がない月を NULL として扱うか0として扱うかで平均値は大きく変わる。

時系列データではさらに深刻になる。センサーデータの断続的な欠損、ログ収集の一時的な失敗、システム障害中のデータ喪失。これらを前期値で埋める、線形補間する、移動平均で滑らかにするといった処理を暗黙に行うと、異常検知や傾向分析が系統的に歪む。生データを見れば発見できる歪みだが、ダッシュボード上の集計値からは見えない。

診断方法としては、主要指標について元データの何割が NULL または欠損か、NULL がどう扱われているかを明示的に文書化することになる。この情報がない BI 基盤は、集計値の信頼区間を提示できない。

粒度が結論を変える

粒度の異なる時系列データを混ぜると、季節性の見え方が変わる。日次で見れば明確な週次パターンが月次集計では消える。四半期集計では期末の駆け込み需要が均されて見えなくなる。統計の基本ではあるが、実務では見落とされる。

Sculley らが2015年に指摘した訓練データと本番データの分布ずれは機械学習の文脈で議論されてきたが、より根本的な問題を含んでいる。BI ダッシュボードで観察される傾向が、実際には集計粒度の副産物であるパターンは頻繁に生じる。この歪みが意思決定遅延と組み合わさると、誤ったデータで長時間の議論が続くという二重の非効率になる。

診断としては、同じ指標を日次、週次、月次、四半期で並べて表示し、粒度によって傾向が変わる場合に原因を確認する。粒度で結論が変わる指標は、意思決定の根拠にする前に補足調査がいる。

完璧なデータを待っていられない、という反論はもっともだ。実際、多くの成功している組織は不完全なデータで運用されている。違いが出るのは、不完全さを認識しているかどうかのほうにある。データ品質の問題を認識して意思決定時にその不確実性を明示している組織と、ダッシュボードの数値を事実として扱う組織とでは、5年単位で見た判断の質が変わる。データ品質への投資は、精度の追求ではなく不確実性の可視化への投資として考えたほうが実務に馴染む。可視化ツールの選定より、データ品質チームの人員配置と権限を先に決める。多くの組織にとって、それが最初の実務的な改善になる。