COVID-19危機下でネットワークPoPをリモート展開した方法

Nico Cartron

SaaSベースのコントロールプレーンの一環として、複数のPoP間を100Gおよび400Gのリンクで接続した独自のグローバルバックボーン（AS35280）を構築し、運用しています。

これにより、リージョナルエッジ間のエンドツーエンド接続を完全に制御できるだけでなく、お客さまのプライベートデータセンター、エッジサイト、パブリッククラウドVPC（AWS、Azure、GCP）、SaaSプロバイダーにわたって、一貫した高性能な接続と低遅延を提供できます。

Volterraグローバルインフラストラクチャとプライベートバックボーン

要件

当社はすでにパリ、ロンドン、アムステルダム、フランクフルトに拠点を展開し、欧州で十分なプレゼンスを確立していましたが、既存および新規のお客さまから、ポルトガルのリスボンに新たなPoPを設置することが求められていました。

これらはすべて2020年初頭に合意され、導入は2020年第3四半期に予定されていました。もちろん、COVID-19の流行前の話です :)

この危機により、当社のバックボーンではトラフィックが大幅に増加しました（DDoS攻撃も増加しましたが、詳しくは今後のブログ記事で取り上げます）。お客さまのバックボーンでも同様でした。

このPoPが一刻も早く必要だったため、第3四半期より前、正確には5月末までに導入してほしいとの依頼がありました。Volterraは親切なチームであり、挑戦も好むため、お客さまの要望に応えるために必要な期間を慎重に検討しました。

• 導入とテストには少なくとも2週間が必要でした。
• さらに、検証に1週間必要でした

4月上旬の時点では問題ないように思えたため、そのままプロジェクトを開始することにしました。しかし、次の理由から、実際にはこれ以上ないほどタイミングが悪い時期でした。

• 渡航禁止措置、
• データセンターへのアクセス禁止、
• 世界的な部品不足、
• 健康上のリスクも見過ごせません。

必要なもの

新しいPoPの導入には、ルーター、スイッチ、ケーブルだけでなく、以下も必要です。

• ネットワークエンジニアリングを実施し、波長回線に最適な拠点とプロバイダーを選定する
• 選定したデータセンター（この場合はEquinix LS1）と契約交渉を行う、
• IXPと交渉してピアリングポートを確保する、
• そしてもちろん、必要なハードウェア／資材（ルーター、スイッチ、ケーブル、ファイアウォールなど）の発注

実現までの取り組み

危機的状況が続く中、必要なハードウェアを期限までに用意することは不可能でした。そこで、主にラボにあった利用可能な機器の一部を再利用することにしました。これは許容できるトレードオフでした（たとえば、ルーターには当初予定していたMX10Kではなく、Juniper QFX10Kを使用します）。

通常、ステージングはデータセンターで行います。電力とラックスペースが必要なのはもちろんですが、騒音の問題もあるためです。しかし、ロックダウンにより、自宅で実施せざるを得ませんでした。インフラストラクチャ担当CTOのRaphaëlには、十分な広さの仕事部屋がありました（契約アンペア数は60 Aで、最大16 Aを消費する機器を起動して稼働させる際にも役立ちます）。そこで、ほかのスタッフが作業に関わったり外出したりせずに済むよう、Raphaëlがステージング作業をすべて1人で行うことになりました。

準備とステージング

すべての設定を完了し、複数回にわたってテストした後、リスボンへ発送しました：

出荷準備完了！

リスボンでのEquinixリモートハンズによるラック設置

実施したセットアップには自信があり（いずれにしてもOOBまたは当社のバックボーン経由でリモートアクセスできました）、それでも新しいPoPを自分たちで直接ではなく、他の人に導入してもらうのは今回が初めてでした😅

すでに設置された当社のラックの1つ

世界各地で同じラック設計を採用しており、新しいリスボンPoPでも一貫性を保ち、同じ構成にすることを目指しました。

そのため、Equinixのリモートハンズ担当者が同じ構成を再現し、「ガイドに従う」だけで済むよう、指示を極めて正確に伝える必要がありました。

以下は、Equinixの担当者がすべての機器を容易にラックへ搭載し、接続できるように送付した手順の一部です。

対応すべきコンポーネントは数多くあります。ハードウェア機器（ルーター、スイッチ、ファイアウォール、サーバー）だけでなく、ケーブル配線、さらに重要な点として、ケーブルの接続先となるスイッチとサーバーのポートも考慮する必要があります。

以下のとおり、Equinixの技術者が多数の設置作業を担当することを考慮し、手順は可能な限り詳しく記載しています。正確であればあるほど、作業が円滑になります。

うまくいきましたか？

はい。5月5日に設置作業を開始し、すべての機器をラックに搭載して電源を投入しましたが、ハードウェア障害は発生しませんでした。運が良かったのか、これまでの経験を生かして適切に出荷・梱包できたおかげなのか、あるいはその両方かもしれません。いずれにしても、すべて問題なく動作しました。

翌日にはEquinixの技術者がケーブル（銅線／光ファイバー）の配線を行い、23:30にはパリからリスボンのPoPへのpingが通りました！

PDUの設定、OOBポートのクロスコネクト、IXPポートのエンドツーエンド確認など、最終作業を経て、設置は5月7日に完了しました。スイッチとファイアウォールの設定も問題なく機能したため、Equinixに設定変更を依頼する必要はありませんでした。

最終的な設置状況は次のとおりです。

私たちは非常に高い水準を求めているため、100%満足しているわけではありません。たとえば、ラックの背面パネルは理想とするほどすっきりしていませんが、危機が収束し、再びポルトガルへ渡航できるようになったら修正する予定です。

「事後検証」— 何がうまくいったのか、その理由、そして改善できる点

この課題を達成できたことを大変うれしく、誇りに思っていますが、ここで一歩引いて、何がうまくいったのか、そして特に何を改善できるのかを振り返ります。

うまくいった点：

• Equinix：問題が発生したときにプロバイダーへ伝えることは重要ですが、期待を上回る成果が得られたときに、そのことを伝えるのはさらに重要です。今回はまさにそのケースでした。営業部門や経営幹部からデータセンターの技術者に至るまで、特に困難な時期に受けたサポートと迅速な対応は、まさに驚くべきものでした。Equinixの皆さまに心から称賛を送ります！

なぜうまくいったのでしょうか？

• Volterraは以前から、主に分散型でリモートワークを優先する企業でした。特にNetOpsを担当するフランスのチームは、フランス全土に分散しており、コラボレーションツールを活用したリモートワークに慣れていました。
• 使用できる予備／ラボ用ハードウェアが十分にあったため、予定どおりに対応できました
• 上記で簡単に説明した手順は、長年にわたる導入と経験を基に、反復的な改善を重ねて確立したものであり、その成果が表れました。
• ベンダーと良好な関係を築くことは、私たちにとって極めて重要です。問題が発生した場合は、すぐに電話で率直に伝えます。それにより、ベンダーは私たちだけでなく、すべてのお客さまのために改善を図ることができます。
• スピード、価格、品質への要求：高い期待を持つ必要があります。そのためには、必要になる前にリソースへ投資することも含まれます。

改善できる点は何ですか？

• このようなデプロイに対応できる社内の人材はごく少数（3～4人）に限られていることが分かりました。規模を拡大できる方法を見つける必要があります
• また、最初にフルステージングを行わずに済むよう、ステージングの進め方も改善したいと考えています
• 最後に、このような導入は技術面だけの問題ではありません。営業／プリセールスは、プロジェクト全体と各工程に必要な時間を把握し、NetOpsなら何でも解決できると考えて、所要時間を適切に見積もらないままプロジェクトを任せることがないようにする必要があります。

この導入事例は、初のリモート開催となったRIPEミーティング（RIPE 80）で発表しました。録画はこちらからご覧いただけます。

https://ripe80.ripe.net/archive/video/raphael-maunier3-the-challenge-of-operations-under-covid-19-restrictionsmain-20200513-132226.mp4

著者について

Nico Cartron

Nico Cartronのその他のブログ記事