ビッグデータが欲しい？そのビッグデータ、扱いきれますか……

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

世界がデジタル経済へ移行する中、現在のインフラでは、今後急増すると予測されるデータ、接続、トラフィックに対応できません。

デジタル経済について語られることは多いものの、それが具体的に何を意味するのかまで掘り下げる機会はあまりありません。紙の記録や電話は監査証跡や電子メールに置き換わり、請求書や顧客ファイルは電子領収書やデータベースの記録へと段階的に移行しています。

デジタルデータへの移行は、石板からパピルスへの移行に匹敵する歴史的な変革として、いつの日か振り返られるでしょう。人類がデータを記録する方法は進化するたびに、より低コストで、より迅速かつ効率的になってきました。その結果、私たちは人類史上かつてないペースでデータを生み出すだけでなく、蓄積しています。

終わりは見えません。非常に効率的な1と0で膨大な量のデータを記録できるようになったとき、デジタル経済の最初の兆しが現れました。しかし、当時はまだ大部分が手作業でした。インターネット黎明期に収集されたデータの大半は、データ入力とログファイルによるものでした。

今では、データを自動的に収集できるようになりました。微小なトランジスタとロボット技術の力により、建物全体を占めていたほどのコンピューティング能力を、ピンの頭ほどの大きさにまで凝縮しました。そして、それをあらゆるものに組み込んでいます。電球。腕時計。モーションセンサー。カメラ。浄水フィルター。自動車。冷蔵庫。腕時計。電話。テディベア。おもちゃ。

インターネットに接続されておらず、拡大を続けるモノのインターネット（IoT）の一部にもなっていないものがあるとすれば、それが何なのか思いつきません。ええ、もちろん、例の大人向け玩具のことも聞いています。詳しく教えていただく必要はありません。何しろ、これは全年齢向けのブログですから。

しかし、存在することと利用されることは同じではありません。モノの爆発的な増加は、まだ始まったばかりです。今後数年で、インターネットに接続されるデバイスはさらに増加します。しかも、その数は桁違いであり、すべてのデバイスが、これまでインターネットで扱われてきた量をはるかに上回るデータを送受信することになります。業界予測では、2020年までに世界の接続デバイス数は500億台、つまり地球上の1人当たり7台に達すると推定されています。

今座っている場所から見える範囲だけでも、私が所有するデバイスは3台あります。家のほかの場所にあるものは含まれていません。ご自身のデスクを見回してもまだ実感が湧かない方のために、参考になる統計をご紹介します。

Chetan Sharma Consultingがまとめた今年第2四半期の統計によると、携帯電話ネットワークへの接続台数は、自動車だけで他のどの機器よりも急速に増加しています。米国の全通信事業者を合計すると、同四半期に携帯電話ネットワークへ接続された自動車は約140万台で、携帯電話の120万台、タブレットの90万台未満を上回りました。

配送センター内でパレットトラックの有人走行をなくすことで、Giant Eagleは生産性を向上させました。向上率は10%～30%です。各車両にはデータ収集用のセンサーが搭載されています。積載した荷物の大きさ、配送にかかる時間、施設内での車両の位置、車両の停止時間など、すべてのデータがSeegrid Supervisorアプリケーションにアップロードされます。

Chick fil Aは温度センサーを導入しました。これは、冷凍庫と冷蔵庫の温度を監視し、食品の安全性を確保するためです。従来は手作業で監視しており、各温度計を目視で確認する必要がありました。そのため、店舗の閉店中など、監視する人がいない場合には大きなリスクがありました。現在はセンサーが24時間体制で監視し、1時間ごとに報告します。これにより、冷却設備の故障が見過ごされた場合に発生する、推定15,000～20,000ドルの在庫交換費用を回避できる可能性があります。

ほかにも多くの例がありますが、今やビッグデータが世界中で日々刻々と生成、送信、保存されていることは明らかです。また、そのかなりの部分は消費者向けではありません。業界で「産業用」と呼ばれるデータであり、主に業務やプロセスの監視を目的としています。現在、至る所に数百万ものセンサーがあり、それぞれがデータを生成しています。

膨大な量のデータです。

モノが状況を報告し、新しい指示を確認し、収集したデータをやり取りする間、バックグラウンドでは更新が行われています。それぞれのモノは、日常的に通信するアプリを持っています。そのアプリは、どこかのデータセンターまたはクラウドにあります。どこに存在するかにかかわらず、重要なのは、そのアプリが実際に存在するということです。モノとアプリの間にはインフラストラクチャとサービスが介在していますが、爆発的な成長に対応する準備ができていません。

私の言葉だけをうのみにする必要はありません。Forbesの記事では、Bain & Companyによる世界の325社を対象とした調査を引用し、次のように報告しています。「59%が、自社のデータから有意義なビジネスインサイトを得るための能力が不足していると考えています。また、Bainが250社を対象に実施した別の調査では、85%が既存のデータプラットフォームの更新に多額の投資が必要になると回答しています。これには、データの統合とクレンジング、アクセスおよび権限管理の簡素化、外部データソースへのアクセス改善が含まれます。」［強調は筆者による］

この爆発的なデータ増加（今日、流行語ビンゴをしている方にとっては「ビッグデータ」ですね。どういたしまして）の中核にあるのは、もちろんデータプラットフォームです。つまりデータベースであり、MongoDBやHerokuなどのNoSQL（非リレーショナル）データベースについても、Oracle、MySQL、MicrosoftなどのSQL（リレーショナル）データベースについても、賛否両論の解説や専門家による分析が数多くあります。

しかし、ビッグデータやダッシュボード、運用上のインサイト収集に関する議論では、データソースの拡張性とアクセスを支える大規模なインフラストラクチャの存在が見過ごされがちです。事業部門の責任者や経営幹部が、キーボードに向かって自らクエリを作成し、データから価値を引き出すことはほとんどありません。これもアプリが担っています。

デジタル経済について確かなことが1つあるとすれば、おそらくこれでしょう。データへのアクセスを制御するアプリが、どこかに存在します。

そして、そのアプリにはインフラストラクチャが必要です。セキュリティと拡張性に加え、時間に関係なくあらゆるものが動き続ける世界では、24時間365日の可用性も欠かせません。

現在のインフラストラクチャは、Web向けに構築されたものです。より正確に言えば、人とアプリ向けです。どちらも依然として重要ですが、今ではモノが求めるスケール、セキュリティ、可用性にも同時に対応しなければなりません。これがネットワークやインフラストラクチャ、さらにユーザーとアプリの間に存在するアプリやデバイスを拡張し、保護する運用プロセスにとって何を意味するのか、改めて検討する必要があります。ここでいうユーザーには、モノやシステムも含まれます。

認証と認可の管理方法、リクエストとレスポンスの優先順位付けと処理方法、そして最も重要なビジネス資産であるデータが不適切な人物（またはモノ）にさらされないよう保護する方法を、改めて見直す必要があります。

「ビッグデータ」とそれに伴うあらゆる課題に対応するには、本腰を入れて取り組む必要があります。

著者について

Lori Mac Vittie特別技術者兼チーフエバンジェリスト | F5

Lori MacVittieは、F5のOffice of the CTOに所属するDistinguished Engineer兼Chief Evangelistであり、アプリケーションデリバリ、自動化戦略、インフラストラクチャに関する深い専門知識を有しています。AIエージェントのガードレール策定、脆弱なマルチクラウドアーキテクチャの分析、スケーラブルなシステムの限界の検証など、複雑な事柄を明快にすることで知られています。アプリケーション開発、ITアーキテクチャ、ネットワークおよびシステム運用の分野で、30年以上にわたる業界経験を有しています。F5入社前は、受賞歴のあるテクノロジー編集者として活躍していました。 MacVittieはコンピューターサイエンスの修士号を取得しており、セキュリティ、クラウド、エンタープライズアーキテクチャにわたる分野で多数の著作を発表しています。また、テーブルトークゲームとビデオゲームをこよなく愛し、チーズについては遠慮なく強いこだわりを語ります。

Lori Mac Vittieのその他のブログ記事