軍には「素人は戦術を論じ、プロは兵站を研究する」という格言があります。チャンセラーズヴィルの戦いでリーが見せた卓越した手腕や、ポエニ戦争を通じて発揮されたハンニバルの天才的な戦略を考えると、この言葉は一見意外に思えるかもしれません。しかし歴史が示すとおり、リーもハンニバルも、それぞれの戦争に勝利することはできませんでした。その主な理由は兵站、すなわち必要な時と場所で軍隊に食料、衣服、武器を供給し続ける能力にありました。戦術がいかに優れていても、最終的に勝敗を決したのは兵站でした。言い換えれば、戦術は戦場にある戦力を最大限に活用するためのものですが、そもそも戦場に立ち、そこにとどまり続けることを可能にするのは兵站なのです。
この軍事のたとえが気に入っているのは、今日のデータドリブン型ソリューションの描かれ方にも通じると考えているからです。ディープラーニング、ランダムフォレスト分類、勾配ブースティングなど、高度なAI技術という華やかな「戦術」に目を奪われ、それらを可能にするデータアーキテクチャ基盤という、地味な「兵站」が見過ごされがちです。
データアーキテクチャについて議論する際の第一歩は、「データアーキテクチャ」という概念が何を包含するのかを定義することです。当然ながら、その答えは単純ではなく、複数の層と側面があります。議論の土台を明確にするには、収集したテレメトリデータがたどる過程という観点から考え始めるとよいでしょう。以下の図は、データパイプラインとデータアーキテクチャ基盤の接点を示した、概要レベルのデータパイプラインです。
各データ要素の処理は、その生成から始まります。多くの場合、一定の前処理を経てシリアル化され、通常はクラウド上にあるデータコレクター／アグリゲーターに送信されます。次に、データコレクター自体が、デシリアル化と取り込みの後に追加の処理やエンリッチメントを行い、データを永続データストアに格納したり、データ分析パイプラインに供給したりする場合があります。最後に、エンリッチメントや分析を行った結果は、可視化プラットフォームを通じて人が利用できるようになります。また、自己調整型または自己修復型のクローズドループシステムへのフィードバック入力として、自動化システムで利用される場合もあります。
データパイプラインの背景を確認したところで、「データアーキテクチャ」が何を意味するのかという問いに戻ります。最も表層的なレベルでの最初の答えは、データ表現とシリアル化の構文に着目するものです。たとえば、データイベントに「customer」という名前のオブジェクトフィールドが含まれている場合、構文上の観点では、そのデータを文字列、整数型のUUID、またはその他の形式のいずれで表現するかを決定します。
しかし、もう少し掘り下げると、2つ目の答えは単なる構文以上のもの、すなわちデータのセマンティクスに関するものです。これは、データの内容を明確かつ一貫して解釈できることを意味します。ここでも「customer」フィールドを例に、構文上の問題にはすでに答えが出ており、データ要素が文字列フィールドとして定義されていると仮定します。次に、データアーキテクチャは意味や解釈に関する問いに答えられなければなりません。そのセマンティクスは個人名を表すのか、それとも会社名を表すのか。個人名であれば、<last-name>なのか、<first-name>なのか、あるいはその両方なのか、という問いです。統一された構文と一貫したセマンティクスを組み合わせることで、データパイプラインは、データ内容の整合性のある論理的解釈に基づき、データのフィルタリングや集約などの機能を汎用的かつ堅牢に実行できます。さらに、作成されたデータが一貫した構文とセマンティクスに従っていれば、データストアは異なるデータ作成パイプラインのインスタンスを横断するフェデレーションクエリも容易に実行できます。
最後に、さらに掘り下げると、多くの場合、データアーキテクチャには第3の機能が重要になります。それは、テレメトリにコンテキストを与え、データ自体について推論するための語彙、すなわちメタデータ語彙です。これは、コンプライアンスや監査のほか、データウェアハウス内で管理されるデータを包括的に把握する必要がある社内ワークフローなど、企業のデータガバナンス要件において特に重要です。メタデータは多くの場合、データへの注釈という形を取り、その注釈にもデータ自体と同様に、構文と意味の一貫性が求められます。たとえば、法的なデータ保持要件に準拠するため、メタデータフィールドを使用して、データソースの識別情報や、収集したデータの処理履歴を記録することが考えられます。
データ記述スキーマの語彙におけるメタデータフィールドのもう1つの用途は、データ要素の順序性やプライバシー上の機密性など、データフィールド自体の特性を判断することです。先ほどの「customer」データフィールドの例に戻ると、データスキーマ内のメタデータ注釈によって、そのデータ要素を「一意」と指定できます。また、小売の購入トランザクションなどのデータストリームでは、追加の注釈によってデータ要素を「必須」かつ「単一」と指定できます。つまり、メタデータを使用して、customerIDフィールドは一意でなければならず（データベースの主キーとして使用可能）、各購入イベントには必ず1つだけのcustomerIDを関連付ける必要があることを示します。データパイプラインにおけるメタデータ機能全体の有用性は、データコンプライアンスのための注釈の追加、データエンリッチメント用語彙の提供、データウェアハウス向けの柔軟なガバナンスワークフローの実現に活用できる点にあります。
要約すると、「データアーキテクチャとは何か」という問いへの答えは、少なくとも、収集されるデータの構文と意味の両面で一貫性を確保するためのフレームワークを提供することです。さらに、堅牢なデータアーキテクチャには、データに対する制約を指定するだけでなく、データ自体について推論できる、十分に強力なメタデータ戦略も含める必要があります。
したがって、データアーキテクチャを明確な重点領域として捉え、適切に構築すれば、優れた軍事兵站インフラによく似た役割を果たします。軍事における兵站と同様に、その上に構築されるシステムのあらゆる構成要素の効率性と堅牢性を高める基盤となり、より目に見えるシステムの効果を最大限に引き出せるようにします。データ処理システムにおいて、データアーキテクチャ基盤は、より柔軟で強力なデータガバナンスモデル、堅牢なデータウェアハウスを活用したデータソース間での容易なデータ共有、そしてビジネスの俊敏性を高めるための新たなデータフィードの取り込みに対する、より迅速な対応の土台となります。
関連するブログ記事
SOAS 2025：足並みの乱れが凡庸さを招く
AI導入における方針の不一致は、非効率を招きます。セキュリティ、自動化、導入の各戦略を整合させ、AIの可能性を最大限に引き出す方法をご紹介します。
WebAssemblyが重要な理由
WebAssembly（Wasm）は、あらゆるプラットフォームで高性能なアプリケーションを実現する、ポータブルで高速かつセキュアなバイナリ命令セットです。
インフラストラクチャは依然として格好の攻撃経路
クラウドコンピューティングでは、APIやドラッグ＆ドロップ式の設定ツールを活用し、ネットワークやインフラストラクチャを敬遠する人がそれらを直接扱わずに済むようにすることで、インフラストラクチャへの対応を不要にすることが長年追求されてきました。しかし、インフラストラクチャを無視することも、攻撃の主要な標的であるという事実を見過ごすこともできません。
堅牢なデータアーキテクチャがもたらす戦略的メリット
適切に構築されたデータアーキテクチャがもたらす効果は、業務プロセスの改善にとどまりません。戦略的な業務効率の向上、より深いビジネスインサイトの獲得、隣接するビジネス機会への展開にもつながり、これらすべてをより俊敏に実行できるようになります。
デジタルワークフローにおける不正検知には、データだけでは不十分
2019年には、業界全体でクレジットカード詐欺の試みが約25万件確認されました。これは約2分に1件の割合です。今日、不正を検知するには、デジタルワークフロー上のできるだけ多くのポイントから収集したデータを相互に関連付け、手作業によるデータ処理をはるかに上回る速度で分析する能力が求められます。