SaaS 기반 제어 평면의 일부로, 우리는 PoP 간에 여러 개의 100G 및 400G 링크를 사용하여 자체 글로벌 백본(AS35280)을 구축하고 운영했습니다.
이런 방식으로 우리는 지역 에지 간의 엔드투엔드 연결을 완벽하게 제어할 수 있을 뿐만 아니라, 프라이빗 데이터 센터, 에지 사이트, 퍼블릭 클라우드 VPC(AWS, Azure, GCP) 및 SaaS 공급업체 전반에서 고객에게 동일한 고성능 연결과 낮은 대기 시간을 제공할 수 있습니다.
우리의 유럽 사업 영역은 이미 파리, 런던, 암스테르담, 프랑크푸르트에 꽤 많이 있었지만, 기존 고객과 신규 고객을 위해 포르투갈 리스본에 새로운 PoP가 필요했습니다.
이 모든 사항은 2020년 초에 합의되었으며, 배포는 2020년 3분기에 계획되었습니다. 물론, 이건 코로나19 이전 이야기예요 :)
위기로 인해 우리 백본에는 훨씬 많은 트래픽(그리고 DDoS 공격도 있었지만 이에 대해서는 향후 블로그 게시물에서 자세히 설명하겠습니다)이 발생했고, 고객들도 마찬가지였습니다.
그들은 PoP가 최대한 빨리 필요했기 때문에 3분기 전에 배치해 달라고 요청했습니다. 더 정확히 말하면 5월 말까지요. 그리고 Volterra의 우리는 친절한 사람들이고 도전을 좋아하기 때문에 고객 수요를 충족하는 데 필요한 시간을 신중하게 살펴보았습니다.
4월 초순이라는 걸 알고 있었기에 상황이 좋아 보였고, 실제로는 다음과 같은 이유로 프로젝트를 계속 진행하여 시작하기로 결정했습니다.
새로운 PoP를 구축하는 것은 라우터, 스위치, 케이블만을 다루는 것이 아닙니다. 또한 다음이 필요합니다.
계속되는 위기로 인해 필요한 하드웨어를 제때 확보하는 것이 불가능했습니다. 그래서 우리는 연구실에 있던 재료 중 일부를 재활용하기로 했습니다. 이는 수용 가능한 타협이었습니다(예: 계획된 MX10K 대신 Juniper QFX10K를 라우터로 사용).
일반적으로 데이터 센터에서 하는 스테이징(전력과 랙 공간이 필요하고…소음도 있기 때문에!)을 봉쇄로 인해 집에서 해야 합니다. 인프라 부문 CTO인 라파엘은 사무실이 충분히 넓어서(60암페어 계약 포함, 최대 16암페어를 사용하는 장비를 부팅/전원 공급할 때 유용할 수 있음!) 모든 스테이징을 혼자 해낼 수 있었고, 다른 직원이 개입하거나 나가야 하는 상황도 피할 수 있었습니다.
모든 것이 구성되고 여러 번 테스트된 후, 우리는 리스본으로 배송했습니다.
우리가 한 설정에 자신감이 있었고(어쨌든 OOB나 백본을 통한 원격 액세스가 가능했음) 새로운 PoP를 우리가 직접 배포하지 않고 다른 사람이 배포한 것은 이번이 처음이었습니다 😅
우리는 전 세계적으로 동일한 랙 디자인을 사용하며, 이 새로운 리스본 PoP에서도 일관성을 유지하고 동일한 설정을 갖는 것이 목표였습니다.
그래서 우리는 Equinix 원격 작업자가 따라할 수 있도록 지침을 매우 정확하게 제공해야 했고 그저 "가이드를 따르기만 하면" 되었습니다.
아래는 Equinix에 보낸 절차의 일부로, 이를 통해 모든 것을 쉽게 랙에 올리고 연결할 수 있습니다.
처리해야 할 구성 요소가 많습니다. 하드웨어 장치(라우터, 스위치, 방화벽, 서버)뿐만 아니라 케이블 연결, 그리고 더 중요한 것은 케이블을 연결하는 스위치와 서버 포트가 필요합니다.
아래에서 볼 수 있듯이, 절차는 최대한 자세하게 설명되어 있으며, Equinix 기술자는 설치해야 할 작업이 많기 때문에 더 정확할수록 더 좋습니다!
예! 5월 5일에 설치가 시작되었고, 모든 장치가 랙에 장착되고 전원이 공급되었으며 하드웨어 오류는 없었습니다. 우리는 운이 좋았거나, 아니면 우리의 경험 덕분에 운송 및 포장이 제대로 이루어졌거나, 아니면 둘 다였을 수도 있지만, 어쨌든 모든 것이 잘 작동했습니다.
다음 날, Equinix 기술자가 케이블(구리/광섬유) 설치를 마쳤고, 오후 11시 30분에 파리에서 리스본 PoP로 ping을 보낼 수 있었습니다!
설치는 5월 7일에 완료되었으며, PDU 구성, OOB 포트의 교차 연결, IXP 포트의 종단 간 확인 등의 마지막 작업을 수행해야 했습니다. 심지어 스위치/방화벽 구성도 완벽하게 작동했고, Equinix에 구성 변경을 요청할 필요가 없었습니다.
최종 설치는 다음과 같습니다.
우리는 매우 까다롭기 때문에 100% 만족할 수는 없습니다. 예를 들어 랙의 뒷면 패널이 원하는 만큼 깨끗하지 않습니다. 하지만 위기가 진정되고 포르투갈로 다시 여행할 수 있게 되면 이 문제를 해결할 것입니다.
우리는 도전을 이겨낸 것을 매우 기쁘고 자랑스럽게 생각하지만, 무엇이 효과가 있었는지, 특히 무엇을 개선할 수 있을지 한 걸음 물러서서 돌아보고 싶습니다.
효과가 있었던 것:
왜 그게 효과가 있었을까?
무엇을 개선할 수 있을까요?
우리는 첫 번째 원격 RIPE 회의(RIPE 80)에서 이 배포를 발표했으며, 여기에서 녹화 영상을 볼 수 있습니다.
https://ripe80.ripe.net/archive/video/raphael-maunier 3-코로나19 제한 하의 운영의 과제 main-20200513-132226.mp4