データ品質評価は、データ品質管理フレームワークと同じ目標、つまりデータの品質を確保することを目的としています。しかし、データ品質管理プログラムとは異なり、DQAはUSAIDなどの政府機関、EPAなどの環境当局、WHOなどの保健機関と連携する際に求められることがよくあります。
参照: 2022年のトップデータ品質ツール (TechRepublic)
プロセスは重複する部分もありますが、各組織は独自のDQA策定プロセスを持っています。これらの評価の主な目的は、意思決定を行う前に提示されたデータの種類、量、品質が評価されていることを確認することで、意思決定者を支援することです。
参照: 組織のデータガバナンスチェックリスト (TechRepublic Premium)
データ品質管理における他のアプローチと同様に、DQAはデータドリブン企業に多くのメリットをもたらします。より質の高いデータを提供することで、パフォーマンスと意思決定の向上につながります。また、組織がコンプライアンスとガバナンスの要件を満たすのを支援し、使用されているデータが最高水準であることを科学的に証明します。このガイドの残りの部分では、データ品質評価、その仕組み、そして組織がそれをどのように実施できるかについて、詳細に説明します。
ジャンプ先:
- データ品質評価とは何ですか?
- データの品質をどのように評価しますか?
- データ品質評価を実行する手順
- 結論
データ品質評価とは何ですか?
データ品質評価には、データ プロファイリング中に見つかったプロセス、観察、推奨事項の証拠を含むスタンドアロン レポートの作成が含まれます。
データ品質評価では、データの出所、組織内でのデータの流通経路、データの品質、そしてその利用方法を検討します。さらに、データ品質のギャップ、データに含まれるエラーの種類、その品質レベルに至った理由、そしてその修正方法も特定します。
データ品質評価は、データチームとリーダーにとっての青写真となります。データ品質チェックリストとプロセスは、組織が可視化とツールを用いてデータを管理するための明確な役割と手順を定めています。データセット、サブセット、ワークフロー、データアクセスはすべて評価されます。
今日のこれらの評価における主な課題は、組織が様々なソースから日々生成する膨大な量のデータにあります。設定ミス、不正確、重複、隠蔽、曖昧、古くなった、あるいは不完全なデータは、データ品質に関する一般的な問題です。企業はまた、優れたデータ品質の基準を定義すること、そして適切なテクノロジーを駆使してプロセスを推進できる熟練したデータ専門家を見つけることにも苦労しています。
データの品質をどのように評価しますか?
データ品質を評価する方法は多岐にわたり、データプロファイリング、正規化、前処理、可視化などが含まれます。USAIDによると、DQAはデータが以下の5つの品質基準を満たしていることを確認するために実施されます。
DQAが満たすべきデータ品質基準
- 妥当性:データは意図した結果を明確かつ適切に表す必要があります。
- 整合性:データには、偏見、転記エラー、またはデータ操作のリスクを最小限に抑えるための保護手段が必要です。
- 精度:データは、十分な情報に基づいた経営上の意思決定を可能にするのに十分なレベルの詳細を備えている必要があります。
- 信頼性:データは安定した一貫性のあるデータ収集プロセスを反映する必要があります。
- 適時性:データは、有用な頻度で利用可能であり、最新であり、経営上の意思決定に適したものでなければなりません。
データチームは、データがこれらの価値を満たしていることを確認するために、明確なプロセスに従う必要があります。データプロファイリングは、システム、ネットワーク、またはデータセット内のあらゆる種類のデータを識別および分類するための出発点として最適です。プロファイリング中に、データエラーも特定されます。データ正規化は、すべてのデータを同じ形式に変換するアプローチです。これにより、データチームやAI、機械学習ツールによるデータ処理が可能になります。
データクリーニングは、誤りや重複データを取り除くための重要なステップです。データ可視化は、データエンジニアやデータサイエンティストがデータの全体像を把握することを可能にします。特にリアルタイムデータを扱う場合、データ可視化は特に役立ちます。
データ品質評価を実行する手順
データ品質評価（DQA）には、DQAを効果的に実施するために遵守すべき独自のプロセスと基準があります。以下は、DQAにおける最も重要なデータ品質管理手順の一部です。
- データ プロファイリング:データと重大な問題を特定するためのスキャン。
- データ クレンジング:データとプロセスのエラーを修正するために実行されるアクション。
- データ検証:データは標準と形式が二重にチェックされます。
- データ マッピング:接続されたデータがマッピングされます。
- データ統合:データベースとサブデータが統合され、分析のために 1 つのシステムにまとめられます。
- データの視覚化:アクセシビリティと視覚化の利点を考慮して、チャート、グラフ、および単一の真実のソースのダッシュボードが作成されます。
データ品質管理フレームワークで使用されるプロセスに類似した上記のプロセスに加えて、組織は多くの場合、段階的なチェックリストに従って、DQA が USAID や EPA などの特定の組織の基準を満たしていることを確認します。
参照: ビジネスに最適なデータ観測ツール (TechRepublic)
これらの包括的なチェックリストは、データ可観測性をはじめとするデータ関連の要素を網羅しています。Acceldataは、DQAを強化したい組織にとって特に役立つデータおよびデータパイプラインのチェックリストを提供しています。
データチェックリスト
- データ検出：あらゆる環境にわたって統合されたデータ資産インベントリを構築します。インベントリは検索可能かつアクセス可能である必要があります。
- データ品質ルール: AI/ML 主導の推奨事項を使用して、データの品質と信頼性を向上させます。
- データ調整ルール:データが正しく、データ調整ポリシーに準拠していることを確認します。
- データドリフト検出:コンテンツの変更を継続的に監視し、どれだけのデータがドリフトして AI/ML ワークロードに影響を与えているかを示します。
- スキーマ ドリフトの検出:パイプラインまたは下流のアプリケーションに悪影響を与える可能性のあるスキーマとテーブルの構造変更を探します。
データパイプラインのチェックリスト
- エンドツーエンドの可視性:データがシステム間を移動するときに、データの流れと累積コストを追跡します。
- パフォーマンス分析:履歴データ、現在のボトルネック、処理の問題に基づいて、データ パイプラインのパフォーマンスを最適化します。
- パイプライン監視: SLA/SLO、データ スキーマ、ディストリビューション全体でデータ トランザクションやその他のイベントがどのように発生するかを監視します。
- 費用対効果分析:時間の経過とともにデータ品質の取り組みを拡大することで発生するコストと ROI を考慮します。
- ETL 統合: ETL 統合に投資して、訓練を受けたデータ プロフェッショナルの複雑さと不要な戦術的作業を軽減します。
- 統合のための API: API コネクタを通じて既存のインフラストラクチャ、データ セット、データ プロセスを統合します。
結論
データ品質管理フレームワークとデータ品質評価には多くの共通点がありますが、DQAはデータ品質パフォーマンスのより具体的な証拠と考えられています。また、特定の組織との取引にはDQAが求められることも少なくありません。
参照: 電子データ廃棄ポリシー (TechRepublic Premium)
組織でDQAを作成する必要がある場合、専門家は、DQAを必要とする当事者が定めたプロセスとガイドラインに従うことを推奨しています。各機関や組織によって具体的な内容は異なる場合がありますが（例えば、臨床試験関連のDQAは医療データ規制に準拠する必要があります）、すべてのDQAの一般的なプロセスは同じです。
