Operationsに関するブログ記事
Operationsに関するブログ記事(17)
モデルルーティングがセキュリティインフラになり得る理由
エージェント型AIは、アイデンティティ管理の限界を浮き彫りにします。特化型モデルとポリシーベースのルーティングを組み合わせることで、権限をモデルの選択に結び付け、影響範囲とガバナンスの複雑さを軽減します。
著者：Lori Mac Vittie
AIアプリケーションデリバリーのトップ10：リソース使用効率の低さ
AIではリソース使用率が変動しやすくなります。リクエストのコストはプロンプト、コンテキスト、推論によって大きく異なるため、単純にRPSに基づいてルーティングすると、GPUへの負荷集中、キューの滞留、レイテンシの急増が発生します。
著者：Lori Mac Vittie
AIアプリケーションデリバリのトップ10：個別仕様のアプリケーション要件
AIにより、「個別対応」は例外ではなく標準になります。リクエストがモデル選択、検索、ポリシー、ツールを組み合わせた処理チェーンになるため、デリバリーはアプリ単位ではなく、リクエストごとに適応する必要があります。
著者：Lori Mac Vittie
AIアプリケーションデリバリの10大課題：セキュリティと規制遵守の欠如
AIにより、コンプライアンスの対象は経路やストアのセキュリティ確保から、モデルへのアクセス、検索コンテキスト、出力、エージェントのアクションといったランタイム動作のガバナンスへと広がります。そのため、制御を推論処理により近い場所へ移す必要があります。
著者：Lori Mac Vittie
AIアプリケーションデリバリのトップ10：互換性のないデリバリポリシー
ポリシーの不整合がAI障害を引き起こします。フェイルオーバー、タイムアウト、制限、セキュリティ制御に一貫性がないと、ソフト障害や不完全な結果が発生し、エンドポイントごとに異なる結果が生じます。
著者：Lori Mac Vittie
AIアプリケーションデリバリーの課題トップ10：レイテンシーに対応できない
AIにより、レイテンシは単なるパフォーマンス上の問題ではなく、信頼に関わる問題になります。「アシスタント」の応答が遅いと、ためらいや障害のように感じられます。また、トークン数の多いプロンプトや出力は、システムが正常でも処理負荷を増大させます。
著者：Lori Mac Vittie
次のSREはマシンかもしれない
制御は、意図を示すプロンプト、トークン、ルーティングに集約されつつあります。アーキテクチャ上の課題は、AIがどこまで動作できるか、いつ判断を委ねる必要があるか、そしてどのように元に戻せるかを定義することです。
著者：Lori Mac Vittie
AIのスケーリングを成功させる鍵は、コンウェイの法則を乗り越えること
AIは、それ自体ではスケールしません。ツールや管理責任の境界を統合する一元的なコントロールプレーンがなければ、推論は最も脆弱で、調整負荷の高い階層になります。
著者：Lori Mac Vittie
推論が今、運用の中心に
マルチモデル運用とAPI駆動型の自動化により、制御の重点はプロンプト、トークン／制御、ルーティング、モデレーションといった推論時のレイヤーへと移り、そこでコスト、リスク、パフォーマンスを管理する必要があります。
著者：Lori Mac Vittie
新たなハイブリッドマルチクラウドの課題：アプリケーションデリバリーおよびセキュリティプラットフォームなしでの運用
企業はオンプレミスから離れようとしているのではなく、モダナイズを進めています。アプリケーションポートフォリオが混在し続ける中、アプリケーションデリバリとセキュリティは、環境ごとに固有の機能から統合プラットフォームへと移行する必要があります。
著者：Lori Mac Vittie
圧縮はもはや速度のためではない。思考にかかるコストのためだ
AI時代の圧縮は、帯域幅だけでなく、思考にかかるコストも削減します。プロンプト、出力、モデルの圧縮によって、AI推論のコストを抑える方法をご紹介します。
著者：Lori Mac Vittie
AI規模で制御を維持する唯一の方法はプログラマビリティ
急速に変化する環境でリアルタイム制御を確保しながら、AI駆動型システムを拡張し、セキュリティを確保するうえで、データプレーンとコントロールプレーンのプログラマビリティが重要な理由をご紹介します。
著者：Lori Mac Vittie
F5 Distributed Cloud CEで、Equinix Edgeにおけるマルチクラウドの混乱を解消
EquinixとF5 Distributed Cloud CEで、マルチクラウドセキュリティを簡素化。境界セキュリティを一元化し、コストを削減するとともに、エッジ主導のWAAPでパフォーマンスを向上させます。
著者：Lori Mac Vittie
複雑さが敵になるとき：運用ワークフローの乱立がパフォーマンスとデリバリーを脅かす仕組み
運用ワークフローの複雑さが、稼働時間、レジリエンス、デリバリーをどのように脅かすのか、また、最新のアプリケーションインフラストラクチャにとってプロセスの簡素化が重要である理由をご紹介します。
著者：Lori Mac Vittie
コンテキストが新たな境界に：プログラマブルなアプリケーションデリバリによるAIエージェントのガバナンス
AIエージェントはリクエストのたびにコンテキストを引き継ぎますが、ドリフトや肥大化、古いポリシーが信頼性を脅かします。プログラマブルなデリバリーによってコグニティブハイジーンを適用する方法をご紹介します。
著者：Lori Mac Vittie
AIエージェントが意思決定をスタックの上位層へ移行
AIエージェントがリクエスト内で意思決定を行うことで、インフラストラクチャのあり方が変わります。ポリシーファーストで意図を認識するシステムを活用し、実行時の権限委譲に備える方法をご紹介します。
著者：Lori Mac Vittie
AIエージェントとエージェント型AIの違いを理解する
AIエージェントとエージェント型AIの主な違いをご紹介します。自動化とインテリジェンスに対するこれらの異なるアプローチが、テクノロジーの未来をどのように形作っているかをご覧ください。
著者：Lori Mac Vittie