- 名寄せ・データクレンジング
【5分でわかる】データクレンジングとは?目的や具体例もわかりやすく解説!
更新日: 2024年6月 7日
デジタルトランスフォーメーション(DX)を推進していく上で、データを活用する基盤となる基幹システムの整備は欠かせません。
しかし、長年使い続けてきた基幹システムは、複雑化・老朽化・ブラックボックス化が進み、DXの足かせとなっているのが現状です。
基幹システムを刷新しないままでは、2025年以降最大12兆円の経済損失が生じるともいわれています。
本記事では、基幹システム刷新の重要性と課題について4stepに分けて解説します。
目次
こちらの記事もおすすめ!
基幹システムとは、企業の業務や経営の根幹を支える情報システムを指します。
具体的には、販売管理や在庫管理、会計、人事給与などの業務を処理するシステムが該当します。
これらシステムは、業務の効率化や自動化を実現し、経営の意思決定を支援する重要な役割を担っています。
基幹システムは、企業活動のあらゆる面に関わっており、企業の競争力を大きく左右する存在でもあります。
そのため、基幹システムが停止や障害を起こすと、業務が滞るだけでなく、機会損失や信用失墜など、企業に甚大な影響を及ぼしかねません。
多くの企業では、基幹システムの老朽化が進んでいます。 昔ながらの汎用機やクライアントサーバー型のシステムを使い続けているために、維持管理コストが増大したり、陳腐化したりするといった問題が発生しています。
データ連携が煩雑になり、全社的なデータ活用が難しくなるケースもみられます。
経済産業省が2018年に公表した「DXレポート」では、こうした複雑化・老朽化・ブラックボックス化した基幹システムを「2025年の崖」と表現し、警鐘を鳴らしています。
レガシーシステムのまま2025年を迎えると、最大12兆円の経済損失が生じる可能性があるというのです。
DXを推進し、ビジネスモデルを変革していくためには、データの利活用を前提とした新しい基幹システムへの移行が不可欠です。
各企業は、基幹システムのデジタル化・モダナイゼーションに一刻も早く取り組む必要があります。
レガシーな基幹システムを刷新しないままでいると、以下のような弊害が発生します。
それぞれ個別に解説します。
レガシーシステムを長年にわたって使い続けることで、システムの複雑化が進み、業務効率が大きく低下してしまいます。
部分的な改修やカスタマイズを繰り返した結果、システム全体が肥大化し、処理速度の低下やデータ不整合などの問題が頻発するようになります。
レガシーシステムは、現在のビジネス要件に合わなくなることも少なくありません。
例えば、新しい商品やサービスを導入する際、レガシーシステムでは対応が難しく、別システムを構築せざるを得ないケースがあります。
こうした場当たり的なシステム構築が続くと、業務プロセス自体が非効率になり、ビジネスの成長や変革の足かせとなってしまうのです。
さらに、複雑化したレガシーシステムでは、問題発生時の原因特定と対応に多大な時間と労力を要します。
システム全体像が見えないため、どこに問題があるのか突き止めることが難しく、その間、業務が停滞してしまうリスクがあります。
レガシーシステムは、運用・保守コストが年々増大していく傾向にあります。
老朽化が進むにつれ、システム障害が多発するようになり、その都度、対症療法的な対応を取らざるを得なくなります。
システムを熟知した人材の退職などにより、保守に関するノウハウが失われ、メンテナンスに多くの時間と労力を費やす状態にも陥るでしょう。
加えて、ブラックボックス化したレガシーシステムの維持管理にも、多額のコストがかかります。
運用・保守に必要な技術者の確保、ハードウェアやミドルウェアの調達、ライセンス費用の支払いなど、継続的にコストが発生します。
問題は、運用・保守コストの増大が、新規のIT投資を圧迫してしまうことです。
本来は、DXの推進や新しいデジタル技術の導入に予算を振り向けるべきですが、レガシーシステムの維持管理にリソースを取られてしまい、なかなか前に進めなくなります。
いわゆる「技術的負債」と呼ばれる状態であり、企業のデジタル競争力を大きく損なう要因となるのです。
では、今後の持続可能性も見据えた場合、刷新後の基幹システムにはどのような要件が求められるのでしょうか。
具体的には、次のとおりです。
以下より、詳しく解説します。
デジタル時代において、基幹システムには従来以上の柔軟性が求められます。
市場の変化やユーザーニーズの多様化に迅速に対応し、ビジネスモデルを進化させていく必要があるためです。
そのため、基幹システムは、新しいビジネス要件に柔軟に対応できる設計・アーキテクチャを備えていなければなりません。
例えば、新商品のリリースや新サービスの導入、新たな顧客チャネルの開拓など、ビジネス環境の変化に応じて、基幹システムもスピーディーに変更・拡張できることが重要です。
海外展開やM&Aなど、事業の方向転換に際しても、基幹システムが足枷にならないよう、グローバルな業務プロセスに柔軟に適応できるシステム基盤を備えることが求められます。
DXを推進していく上で、データドリブンな意思決定と業務遂行の仕組みづくりが欠かせません。
そのためには、社内の各部門で発生する様々なデータを、リアルタイムに収集・統合し、可視化・分析できる仕組みを備えることが重要です。
例えば、顧客データや市場データなど、あらゆるデータを集約し、ダッシュボードで可視化することで、経営層から現場担当者までが、迅速なデータ活用と意思決定を行えるようになります。
こうしたデータ基盤の役割を果たすために、基幹システムはデータ連携の容易さ、拡張性の高さ、リアルタイム処理への対応など、データ活用に適したアーキテクチャが求められます。
単なるデータの可視化・分析にとどまらず、機械学習を用いた需要予測など、データから新たなビジネス価値を生み出す取り組みも可能になります。
基幹システムの刷新は、単にシステムを新しくすることが目的ではありません。ビジネスを変革し、データドリブンな経営を実現するための第一歩なのです。
その上では、システムの刷新と並行して、データ活用のあり方そのものを見直すことが欠かせません。
つまり、基幹システムに蓄積されたデータをいかに整備し、活用していくかが、基幹システム刷新の成否を分ける要因となるのです。
基幹システムの刷新に際しては、既存システムに蓄積されたデータを新システムに移行する必要があります。
しかし、そのままデータを移行しても、十分な活用はできないでしょう。
長年の運用の中で、データの品質が低下し、不整合や重複、欠損などの問題が発生しているケースが少なくないことが理由です。
そこで、システム刷新の前に、徹底的なデータ整備が求められます。
具体的には、データの標準化・統一化、名寄せ、重複排除、欠損値の補完などを行い、データの品質を高めていく必要があります。
品質の低いデータでは、正確な分析や予測ができず、経営判断を誤る恐れもあるのです。
システム刷新の本来の目的を達成するためにも、データ整備は投資対効果の高い取り組みだといえるでしょう。
基幹システムのデータは、日々の業務の中で絶えず更新されていきます。
そのため、システム刷新時に一度データを整備しただけでは不十分といえます。
新システムに移行した後も、継続的にデータのメンテナンスを行い、品質を維持・向上させていく必要があります。
その上では、定期的なデータチェック、クレンジング、マスターデータの更新などを行うことが求められます。
現場の業務プロセスも見直し、データ品質を高める仕組みを組み込むことも重要です。
例えば、データ入力時のルールを設けたり、入力データのチェック機能を強化したりすることで、不適切なデータの混入を防ぐことができます。
データメンテナンスは、一部の担当者だけの仕事ではありません。
経営層から現場の社員まで、組織全体でデータ活用の重要性を認識し、データマネジメントに取り組む必要があります。
データガバナンスの仕組みを構築し、継続的なデータメンテナンスを企業文化として根付かせることが求められるのです。
以上のとおり、基幹システムの刷新は「データ活用のあり方」も同時に見直していく必要があります。
具体的な手順は、次のとおり4ステップに分けられます。
各手順について、個別に解説します。
基幹システム刷新におけるデータ整備にあたり、まずは情報資産の棚卸を行い、データマップを作成することが求められます。
各システムに蓄積されたデータの種類や形式、量、更新頻度などを明らかにし、データの重要度や品質、関連性を評価しましょう。
データがどのように生成・加工・利用されているかを可視化し、データフローを明確にすることも重要です。
これにより、システム間のデータの依存関係や重複、矛盾などの課題を洗い出せます。
現状分析を通じてデータの全体像が見えてきたら、次はデータのクレンジングと統合に取り組みます。
長年の運用で蓄積されたデータには、不正確、あるいは不統一である"汚い"データが混在している恐れがあります。
そうしたデータをそのまま活用しても、正しい分析結果は得られません。
そこで、データの品質を高めるため、データクレンジングが必要になります。
「欠損値の補完」「不要なデータの削除」「表記揺れの統一」などを行い、データの一貫性と整合性を確保していきます。
顧客データや商品データなど、複数のシステムに分散している同一のデータを名寄せし、マスターデータとして統合管理することも求められます。
マスターデータを一元化することで、システム間のデータ連携がスムーズになり、データ活用の効率も大きく向上するでしょう。
【5分でわかる】データクレンジングとは?目的や具体例もわかりやすく解説!▶︎
データの可視化とクレンジングが進み、データの品質が向上してくると、次は新システムの要件定義に着手します。
その際に重要なのは、単に業務の効率化を目指すだけでなく、蓄積されたデータをいかにビジネスに活かすかという視点を持つことが大切です。
業務プロセスとデータフローを整合させ、どの業務でどのようなデータが生成・利用されるかを明確にしていきましょう。
その上で、データドリブンな意思決定を支援する機能や、データ分析基盤との連携などを盛り込んだ要件定義を行います。
データ活用を見据えた新システムの要件定義ができたら、システム構築のフェーズに入ります。
ただし、全ての機能を一気に実装するのではなく、段階的な刷新を行っていきましょう。
全ての機能を一気に移行するのではなく、データ活用の観点から優先順位をつけ、徐々に移行範囲を広げていく。
そうすることで、事業への影響を最小限に抑えながら、着実にシステム刷新を進めることができます。
デジタル時代の基幹システムの刷新では、「データ活用」を軸に進めていく必要があります。
刷新前のデータ整備から、刷新後のデータマネジメントまで、一貫したデータ活用の視点を持つことが大切です。
「データの可視化と現状分析→クレンジングと統合→データドリブンな要件定義→段階的・反復的なシステム構築と移行」という、一連のステップを着実に進めていくことが、基幹システム刷新の成功につながります。
ビジネス環境が劇的に変化するなか、スピーディーにデータ活用の成果を出すことが求められています。
レガシーシステムに囚われることなく、データファーストで基幹システムの刷新に取り組んでいきましょう。
この記事を書いた人
ユーソナー編集部
MXグループ・編集長
ユーソナー編集部です。
主にBtoB事業を営む企業様に向け、これからの業務のあり方を考える上で有用なデータ活用やデジタル技術に関する情報を発信しています。
ユーソナーは業種・業界問わず
様々な企業において活用いただいております。
ITreview Grid Award 2024 fall
リーダー認定4部門
Salesforce Japan Partner Award 2023
AppExchangeビジネスの中で最も秀でたパートナーと評価