経営会議の資料に載った売上数値が、部門ごとの集計と合わない。こうした場面で「この数字はどこから来たのか」にすぐ答えられない状況は、多くの企業で起こり得ます。
データは複数のシステムを経由し、加工や集計を繰り返しながら最終的なレポートに届きます。その道筋を記録し、後からたどれるようにする考え方が「データリネージ」です。データ品質の確保やAI(人工知能)活用の広がりとともに、改めて注目が高まっています。
本記事ではデータリネージの基本的な考え方と仕組み、主な活用場面、導入時の課題と進め方についてご紹介します。
データリネージとは
データリネージとは、データがどこで生まれ、どのシステムを経由してどう加工され、現在どこにあるのかを記録・可視化する仕組みです。日本語では「データ系譜」「データの来歴」とも呼ばれます。
Google Cloudは、データリネージを「データのライフサイクルの地図」と表現しています(Google Cloud「What is data lineage?」 https://cloud.google.com/discover/what-is-data-lineage より)。データの起点から現在地までの経路を示し、監査の証跡になるという位置づけです。
データリネージの主な特徴は以下の通りです。
- 上流と下流の双方向の追跡
あるデータの元をたどる「上流」と、そのデータを使う先をたどる「下流」の両方向を確認できます。上流をたどれば誤りの発生源を、下流をたどれば変更の影響範囲を把握できます。
- 粒度の使い分け
テーブル単位で流れを示す方法と、列(カラム)単位で変換内容まで示す方法があります。列単位はきめ細かい反面、取得の難度が高いとされています。目的に応じて粒度を選ぶことが一般的です。
- 設計時と実行時の区別
設計書や変換処理のコードから読み取る「設計時のリネージ」と、実際の処理記録から取得する「実行時のリネージ」があります。前者は本来の流れを、後者は実際に起きた流れを示します。
- 「来歴(プロベナンス)」との違い
データの出所や真正性に焦点を当てる考え方は「データプロベナンス」と呼ばれます。データリネージは、出所に加えて途中の加工や移動まで含めた全体の経路を扱う点が異なります。
データリネージの主な活用場面
データリネージは、以下のような場面で効果を発揮すると言われています。
- 数値の不一致や誤りの原因調査
レポートの数値に誤りが見つかった場合、上流へたどることで原因の工程を絞り込めます。複数のシステムをまたぐ調査でも、確認範囲を短時間で特定することが可能です。
- システム変更時の影響分析
項目の削除や定義の変更を行う前に、下流のレポートや業務システムへの影響を洗い出せます。利用部門へ事前に通知できるため、変更による業務停止のリスクを抑えることに繋がります。
- 規制対応と監査
金融分野では、バーゼル銀行監督委員会の原則「BCBS 239」が、銀行に対してリスクデータを正確に集計・報告できる体制を求めています。データの出所から報告までの経路を示せる状態は、こうした規制への対応や監査の場面で役立ちます。
- 個人データの管理
日本の個人情報保護法には、個人データを第三者に提供する際や受け取る際の記録・確認義務があります(個人情報保護委員会「第三者提供時の確認・記録義務編」ガイドライン https://www.ppc.go.jp/personalinfo/legal/guidelines_thirdparty/ より)。名刺や問い合わせ由来の担当者情報がどこから入り、どこへ渡ったかを示す基盤として、データリネージが役立ちます。
- AIで使うデータの説明責任
EUのAI規則(AI Act)第10条は、高リスクAIの学習データについて、収集過程とデータの出所などを管理対象としています(AI Act 第10条 https://artificialintelligenceact.eu/article/10/ より)。同規則の高リスクAI向け義務の適用は、2026年の改正により2027年12月以降に延期されています。それでも、AIに使うデータの出所を説明できる状態を整える意義は大きいと考えられます。
- 顧客マスタの値の出所の確認
B2Bの顧客マスタでは、社名や住所の値がCRM(顧客関係管理)、SFA(営業支援システム)、外部データのどれに由来するかが問題になります。値の出所を記録しておくことで、名寄せや統合後に「なぜこの値が残ったのか」を説明できます。統合時にどの値を残すかの考え方は、弊社ブログの「ゴールデンレコードとは?」で解説しています。
法令の解釈や具体的な対応については、弁護士などの専門家へご相談されることを推奨します。
データリネージの課題
データリネージには多くのメリットがある一方で、実現にはいくつかの課題が伴います。
- 取得範囲の抜け漏れ
自動取得の仕組みが、古い基幹システムや独自開発のシステムに対応していない場合があります。表計算ソフトでの手作業の加工も、自動では捕捉しにくい領域です。こうした空白が残ると、経路の途中で追跡が途切れてしまいます。
- 鮮度の維持
システムや処理は日々変更されるため、一度作った系譜図はすぐに古くなります。手作業で更新する運用では、現状とのずれが生じやすいと言われています。
- 識別子の不統一
同じ取引先がシステムごとに別のコードや表記で登録されていると、データ同士の対応関係をたどれません。B2Bでは、社名の表記ゆれや拠点の扱いの違いが追跡を妨げる要因になります。
- 粒度とコストのバランス
すべてのデータを列単位で追跡しようとすると、導入と運用の負荷が大きくなります。重要なデータに絞らないまま着手すると、成果が出る前に取り組みが停滞する可能性があります。
データリネージ構築のプロセス
データリネージは、以下のプロセスを経て構築されることが一般的です。
- 対象データの特定
経営指標や規制対応に使うデータなど、追跡の優先度が高いデータを選びます。最初から全社に広げず、影響の大きい領域から始めることが推奨されます。
- メタデータの収集
データの所在、形式、更新日時、責任者といった「データに関する情報(メタデータ)」を集めます。データカタログと情報源を共有すると、管理の重複を避けることができます。
- 流れの取得
変換処理のSQL(データベース操作言語)を解析する方法や、処理の実行時に記録を送る方法があります。後者では、LF AI & Data財団が管理するオープン標準「OpenLineage」が知られています(OpenLineage公式ドキュメント https://openlineage.io/docs/ より)。自動取得できない部分は、担当者が手作業で補います。
- 可視化と検証
取得した流れを図として表示し、業務担当者と一緒に実態と合っているかを確認します。現場の知見で補正することで、系譜図の信頼性が高まります。
- 運用への組み込み
変更管理や障害対応の手順に、リネージの確認を組み込みます。日常業務で使われる状態にすることが、鮮度を保つ近道と考えられます。
データリネージを実現する上で必要な役割
データリネージを定着させるためには、以下の役割が必要です。
- データアーキテクト
データの流れ全体を設計し、システム間をつなぐ共通キーや追跡の粒度を定義します。全体像を描く役割のため、初期段階からの関与が重要です。
- データエンジニア
変換処理の実装と、リネージ情報の自動取得の仕組みづくりを担います。処理を変更した際に記録が途切れないよう、開発の手順に組み込みます。
- データスチュワード
業務部門の立場からデータの意味や品質に責任を持ちます。系譜図が業務の実態と合っているかを確認し、定義の変更を関係者に周知します。
- ビジネス部門のプロジェクトマネージャー
どのデータを優先して追跡するかを、業務上の課題から決めます。活用部門の声を集め、取り組みの成果を社内に共有する役割も担います。
おわりに
本記事のポイントを3点にまとめます。①データリネージとはデータの出所から加工、利用先までの経路を記録する仕組み、②取得範囲の抜け漏れや識別子の不統一があると追跡が途中で途切れてしまう、③重要なデータに絞って始め、共通キーと運用ルールを整えることが定着の鍵になる、という点です。
データリネージは、数値の不一致の原因調査や変更時の影響分析、規制対応やAI活用の説明責任を支える基盤です。その成功には、追跡対象の優先付け、データをつなぐ共通の識別子、日常業務への組み込みが不可欠です。B2Bデータの品質を高める全体像については、弊社ブログの「B2Bデータの品質を高める3つのアプローチとは?」もあわせてご覧ください。
弊社の顧客データ統合ソリューション「ユーソナー」は、社内の各システムに散在する取引先データを名寄せし、統合した状態で管理することができます。「LBC」という独自のコード体系による顧客情報の管理に加え、独自に収集した鮮度の高い外部情報を継続的に取得できます。共通のコードでデータをつなぐことで、取引先データの出所や変化を追跡しやすい基盤づくりに貢献します。
詳細についてはぜひこちらのページから、お気軽にお問い合わせください。