OCTO
CTOオフィスから、将来を見据えたテクノロジートレンド、デジタルイノベーションに関する視点、業界の戦略的インサイトを直接お届けします。
注目のブログ記事
AIアプリケーションデリバリの10大課題：セキュリティと規制遵守の欠如
AIにより、コンプライアンスの対象は経路やストアのセキュリティ確保から、モデルへのアクセス、検索コンテキスト、出力、エージェントのアクションといったランタイム動作のガバナンスへと広がります。そのため、制御を推論処理により近い場所へ移す必要があります。
著者：Lori Mac Vittie
AIアプリケーションデリバリのトップ10：互換性のないデリバリポリシー
ポリシーの不整合がAI障害を引き起こします。フェイルオーバー、タイムアウト、制限、セキュリティ制御に一貫性がないと、ソフト障害や不完全な結果が発生し、エンドポイントごとに異なる結果が生じます。
著者：Lori Mac Vittie
AIアプリケーションデリバリーの課題トップ10：レイテンシーに対応できない
AIにより、レイテンシは単なるパフォーマンス上の問題ではなく、信頼に関わる問題になります。「アシスタント」の応答が遅いと、ためらいや障害のように感じられます。また、トークン数の多いプロンプトや出力は、システムが正常でも処理負荷を増大させます。
著者：Lori Mac VittieOCTOのブログ記事(221)
理由は間違っていても、結果は正しい：止まらないAPIの増加、20億件へ
従来、APIの乱立は人間の作業量によって制約されていました。現在では、AIエージェントが自律的にエンドポイントを作成して連携させるため、AI関連のAPI呼び出しや統合が急増しています。
著者：Lori Mac Vittie
モデルルーティングがセキュリティインフラになり得る理由
エージェント型AIは、アイデンティティ管理の限界を浮き彫りにします。特化型モデルとポリシーベースのルーティングを組み合わせることで、権限をモデルの選択に結び付け、影響範囲とガバナンスの複雑さを軽減します。
著者：Lori Mac Vittie
悪意あるパッケージが業界を蝕んでいる
AIと自動化によってサプライチェーンの悪用が加速する一方、オープンソースには悪意のあるパッケージを一元管理するレジストリがありません。エコシステムには、侵害を報告・追跡するための信頼できる仕組みが必要です。
著者：James Hendergart
AIアプリケーションデリバリーのトップ10：リソース使用効率の低さ
AIではリソース使用率が変動しやすくなります。リクエストのコストはプロンプト、コンテキスト、推論によって大きく異なるため、単純にRPSに基づいてルーティングすると、GPUへの負荷集中、キューの滞留、レイテンシの急増が発生します。
著者：Lori Mac Vittie
AIアプリケーションデリバリのトップ10：個別仕様のアプリケーション要件
AIにより、「個別対応」は例外ではなく標準になります。リクエストがモデル選択、検索、ポリシー、ツールを組み合わせた処理チェーンになるため、デリバリーはアプリ単位ではなく、リクエストごとに適応する必要があります。
著者：Lori Mac Vittie
AIアプリケーションデリバリの10大課題：セキュリティと規制遵守の欠如
AIにより、コンプライアンスの対象は経路やストアのセキュリティ確保から、モデルへのアクセス、検索コンテキスト、出力、エージェントのアクションといったランタイム動作のガバナンスへと広がります。そのため、制御を推論処理により近い場所へ移す必要があります。
著者：Lori Mac Vittie
AIアプリケーションデリバリのトップ10：互換性のないデリバリポリシー
ポリシーの不整合がAI障害を引き起こします。フェイルオーバー、タイムアウト、制限、セキュリティ制御に一貫性がないと、ソフト障害や不完全な結果が発生し、エンドポイントごとに異なる結果が生じます。
著者：Lori Mac Vittie
AIアプリケーションデリバリーの課題トップ10：レイテンシーに対応できない
AIにより、レイテンシは単なるパフォーマンス上の問題ではなく、信頼に関わる問題になります。「アシスタント」の応答が遅いと、ためらいや障害のように感じられます。また、トークン数の多いプロンプトや出力は、システムが正常でも処理負荷を増大させます。
著者：Lori Mac Vittie
AIアプリケーションデリバリーの課題トップ10：最適化されていないトラフィックステアリング
AIは従来のトラフィックステアリングの前提を覆します。バックエンドには互換性がなく、コストも異なり、エージェントは予測不能に処理を分散させるため、ルーティングではモデル、GPUの稼働状態、データの局所性を考慮する必要があります。
著者：Lori Mac Vittie
次のSREはマシンかもしれない
制御は、意図を示すプロンプト、トークン、ルーティングに集約されつつあります。アーキテクチャ上の課題は、AIがどこまで動作できるか、いつ判断を委ねる必要があるか、そしてどのように元に戻せるかを定義することです。
著者：Lori Mac Vittie
AIアプリケーションデリバリーのトップ10：不十分なトラフィック制御
従来のレート制限やスロットリングでは、実際の影響範囲を捉えきれません。AIワークロードはモデル、ベクトルストア、サービスへと処理を分散させるため、レイテンシの急増、連鎖的な障害、再試行を引き起こします。
著者：Lori Mac Vittie
AIアプリケーションデリバリの課題トップ10：不完全なオブザーバビリティ
AIは、それ自体ではスケールしません。ツールと管理責任の境界を統合する一元的なコントロールプレーンがなければ、推論は最も脆弱で、調整負荷の高い階層になります。
著者：Lori Mac Vittie
AIのスケーリングを成功させる鍵は、コンウェイの法則を乗り越えること
AIは、それ自体ではスケールしません。ツールや管理責任の境界を統合する一元的なコントロールプレーンがなければ、推論は最も脆弱で、調整負荷の高い階層になります。
著者：Lori Mac Vittie
AIアプリケーションデリバリのトップ10：フォールトトレランスとレジリエンスの欠如
AIにより、従来からあるレジリエンス上のギャップがもたらすコストは大幅に増大します。単一のGPUや依存関係の障害が同期推論チェーン全体に連鎖し、レイテンシーが累積して出力品質が低下します。
著者：Lori Mac Vittie
AIアプリケーションデリバリーのトップ10：脆弱なDNS運用
推論システムやエージェント型システムでは、DNSのレジリエンスが可用性とパフォーマンスを左右します。名前解決に問題があると、誤ったルーティング、レイテンシの急増、複数リージョンにわたるサービス停止につながります。
著者：Lori Mac Vittie
振る舞いと境界：エージェント型AIがもたらすセキュリティの転換
エージェントは、時間の経過とともにリスクが蓄積する、予測困難で際限のない一連の処理を生み出します。セキュリティでは、単一リクエストの検証から、複数のステップで変化し続けるフロー全体にわたる継続的な振る舞いのガバナンスへと移行する必要があります。
著者：Lori Mac Vittie
アイデンティティがエージェント型AIの門番となる
エージェント型AIによってマシンがツールから自律的な実行主体へと変わる中、アイデンティティが制御の中核となります。つまり、誰が、誰の代理として、どの範囲で行動できるかを、推論時にインラインで適用します。
著者：Lori Mac Vittie
AIが新たなトラフィックタイプの出現を促進
AIの導入により、新たに主要なトラフィック種別が生まれています。推論リクエストに加え、機械駆動型の自動化トラフィックや、制御ループにデータを供給する大量のテレメトリトラフィックです。
著者：Lori Mac Vittie
推論が今、運用の中心に
マルチモデル運用とAPI駆動型の自動化により、制御の重点はプロンプト、トークン／制御、ルーティング、モデレーションといった推論時のレイヤーへと移り、そこでコスト、リスク、パフォーマンスを管理する必要があります。
著者：Lori Mac Vittie
セッションは固定、コンテキストは密着：推論が会話を維持するために使う裏技
「ステートレス」な推論は、実際には完全なステートレスではありません。リクエストのたびに、会話の状態がトークンとして引き継がれるためです。コンテキストが増えるにつれて、この再送によって帯域幅、コンピューティングリソース、レイテンシーが増大します。
著者：Lori Mac Vittie
エージェントスキル：新たに登場したオープン標準
スキルは意図を宣言するだけで、制御を強制するものではありません。真のセキュリティは、エージェントの思考がアクションに変わり、ポリシーを適用できるツール境界で確保する必要があります。
著者：Lori Mac Vittie
新たなハイブリッドマルチクラウドの課題：アプリケーションデリバリーおよびセキュリティプラットフォームなしでの運用
企業はオンプレミスから離れようとしているのではなく、モダナイズを進めています。アプリケーションポートフォリオが混在し続ける中、アプリケーションデリバリとセキュリティは、環境ごとに固有の機能から統合プラットフォームへと移行する必要があります。
著者：Lori Mac Vittie
パケットからプロンプトへ：推論がスタックに新たなレイヤーを追加
推論はトレーニングでも、実験でも、データサイエンスの演習でもありません。推論は本番環境におけるランタイムの動作であり、アプリケーション層と同様に機能します。
著者：Lori Mac Vittie
圧縮はもはや速度のためではない。思考にかかるコストのためだ
AI時代の圧縮は、帯域幅だけでなく、思考にかかるコストも削減します。プロンプト、出力、モデルの圧縮によって、AI推論のコストを抑える方法をご紹介します。
著者：Lori Mac Vittie
効率性の罠：トークン、TOON、そして可用性をめぐる本質的な問い
AIにおけるトークン効率が注目されていますが、その代償は何でしょうか。TOONや自然言語テンプレートなどの形式について、パフォーマンス、信頼性、正確性のバランスを探ります。
著者：Lori Mac Vittie
AI規模で制御を維持する唯一の方法はプログラマビリティ
急速に変化する環境でリアルタイム制御を確保しながら、AI駆動型システムを拡張し、セキュリティを確保するうえで、データプレーンとコントロールプレーンのプログラマビリティが重要な理由をご紹介します。
著者：Lori Mac Vittie
F5 Distributed Cloud CEで、Equinix Edgeにおけるマルチクラウドの混乱を解消
EquinixとF5 Distributed Cloud CEで、マルチクラウドセキュリティを簡素化。境界セキュリティを一元化し、コストを削減するとともに、エッジ主導のWAAPでパフォーマンスを向上させます。
著者：Lori Mac Vittie
AI推論がアプリケーションデリバリーにもたらす変化
AI推論がパフォーマンス、可用性、信頼性を再定義し、アプリケーションデリバリをどのように変革するのか、また従来のアプローチではもはや十分でない理由をご紹介します。
著者：Lori Mac Vittie
推論がもたらす影響：API、DPU、コンテキストの混沌
AI推論はインフラを変革し、APIの急増、コンピューティング負荷の増大、コンテキスト管理の複雑化をもたらします。よりスマートなアーキテクチャとランタイムポリシーが不可欠な理由をご覧ください。
著者：Lori Mac Vittie
AIのコンテキストウィンドウ管理は魔法ではありません。アーキテクチャです。
AIアプリビルダーが、ドリフト、レイテンシー、プロンプト攻撃を防ぐために、コンテキスト、メモリ、インフラストラクチャを管理しながら、デリバリーとセキュリティを進化させる必要がある理由をご紹介します。
著者：Lori Mac Vittie