정보를 판매해 생계를 유지하는 전문가라고 상상해 보세요. 사람들은 당신에게 질문하기 위해 돈을 지불합니다. 그런데 갑자기 기계가 당신의 머릿속에서 전문 지식을 빨아들이고, 당신보다 더 빠르게 질문에 답하는 법을 익힌 뒤, 당신의 생계마저 빼앗아 갑니다. 생성형 AI의 부상으로 콘텐츠에 의존하는 비즈니스 모델을 가진 기업들은 바로 이러한 딜레마에 직면해 있습니다.
생성형 AI가 우리를 어디로 이끌지는 알 수 없지만, 분명 생성형 AI는 우리가 콘텐츠를 소비하는 방식을 혁신하고, 그 과정에서 콘텐츠 유통에 의존하는 기업에 큰 변화를 불러올 것입니다. 이는 인터넷이 뉴스와 엔터테인먼트 소비 방식을 바꾸면서 수많은 전통 언론사에 막대한 타격을 입힌 것과 유사합니다.
생성형 AI가 가져올 변화는 미디어, 뉴스, 스톡 사진 등 콘텐츠를 판매하는 기업뿐 아니라, 콘텐츠를 활용해 유료 광고로 시청자를 유도하는 기업에도 영향을 미칠 것입니다. 또한 잠재 고객을 끌어들여 제품과 서비스를 홍보하거나, 브랜드 정체성과 고객 관계를 구축하거나, 행동 유도를 통해 고객의 참여를 이끌어내는 기업 역시 이러한 변화의 영향을 받게 될 것입니다.
검색을 위한 콘텐츠 크롤링은 웹 초창기에 등장했지만, ChatGPT와 같은 LLM 기반 앱은 근본적으로 다른 방식으로 작동합니다. 검색 엔진은 원본 콘텐츠로 연결되는 링크와 함께 요약을 제공하여 콘텐츠를 쉽게 찾을 수 있게 함으로써 가치를 더합니다. 반면 LLM 기반 채팅 앱은 원본 콘텐츠로 연결되는 링크를 반드시 제공하지는 않습니다. 오히려 사용자가 채팅 안에 머물며 추가 프롬프트를 통해 더 많은 정보를 얻도록 유도함으로써, 콘텐츠를 만든 기업이 누려야 할 가치를 모두 빼앗아 갑니다.
조직은 robots.txt 파일에만 의존할 수 없습니다. 이 파일을 통해 조직은 크롤러의 접근 범위를 지정할 수 있지만, LLM 학습용 콘텐츠를 크롤링하는 모든 조직이 robots.txt 파일을 준수하는 것은 아니기 때문입니다. LLM이 콘텐츠를 단순히 복사하고 재현하는 것인지, 아니면 다른 창작자처럼 콘텐츠를 종합해 만들어 내는 것인지는 논쟁의 여지가 있습니다. LLM의 콘텐츠 스크래핑에 저작권법이 어떤 의미를 갖는지는 현재 법정에서 논의되고 있습니다. 법과 규범이 어떻게 발전할지는 예측하기 어렵지만, 조직은 비즈니스의 기반이 되는 콘텐츠를 어떻게 보호할지 지금부터 고민해야 합니다.
스크래핑은 쉽지는 않지만 완화할 수 있습니다. 사실 이는 전혀 새로운 문제가 아닙니다. 스크래퍼들은 항공사, 소매 체인, 호텔의 운임, 가격, 요금을 스크래핑하여 경쟁 관련 데이터를 수집하려 해 왔습니다. 이러한 기업들은 경쟁 관련 데이터의 유출을 막고자 할 뿐만 아니라, 스크래퍼, 특히 최신 데이터를 수집하려는 스크래퍼가 유발하는 트래픽 부하가 경우에 따라 사이트 전체 트래픽의 98%에 달해 성능을 저하시키고 심지어 사이트를 마비시킬 수도 있습니다.
스크래퍼는 봇을 사용해 데이터 수집을 자동화합니다. 안타깝게도 CAPTCHA와 IP 주소 차단 목록 같은 기존의 봇 방지 수단은 스크래핑 봇을 막는 데 효과가 없습니다. 스크래핑은 일반적으로 합법으로 간주되기 때문에 CAPTCHA를 우회하는 수많은 온라인 서비스가 제공되고 있습니다. 이러한 서비스는 머신 러닝이나 클릭 팜을 이용해 CAPTCHA를 풀며, 빠르고 저렴할 뿐만 아니라 성가신 퍼즐을 푸는 데 있어 대부분의 사람보다 훨씬 효율적입니다. CAPTCHA의 가장 간단한 대안인 IP 차단 목록 역시 스크래퍼가 이용할 수 있는 서비스 때문에 효과가 없습니다. 이러한 서비스를 이용하면 스크래퍼는 수천만 개의 가정용 IP 주소를 통해 요청을 보낼 수 있습니다. 그 수가 워낙 많고 계속 증가하고 있어 차단 목록을 유지하는 것은 사실상 불가능합니다.
전문적인 봇 관리 솔루션조차 신호 수집을 위한 계측에 의존하기 때문에 스크래핑 대응에 어려움을 겪는 경우가 많습니다. 대표적인 예가 로그인입니다. 브라우저는 먼저 로그인 양식이 포함된 웹 페이지를 가져오기 위해 HTTP GET 요청을 보냅니다. 해당 페이지에서는 JavaScript가 백그라운드에서 실행되며 브라우저 정보와 사용자의 입력 및 마우스 움직임 패턴에 관한 데이터를 수집합니다. 사용자가 자격 증명을 제출하면 JavaScript가 신호 데이터를 HTTP POST 요청에 삽입합니다. 그러면 역방향 프록시 역할을 하는 봇 관리 솔루션이 이 요청을 가로채 분석하고, 요청을 보낸 에이전트가 봇인지 판단합니다.
하지만 많은 콘텐츠 사이트에서는 블로그 게시물, 뉴스 기사, 가격 정보 등의 콘텐츠에 접근하기 위해 GET과 POST를 함께 사용할 필요가 없습니다. 대신 단 한 번의 HTTP GET 요청만으로 스크레이퍼가 원하는 모든 정보가 반환되므로 계측을 수행할 기회가 사라집니다.
여러 서비스가 스크래핑할 콘텐츠에 쉽게 접근할 수 있는 API를 제공한다는 점에서, 많은 봇 관리 솔루션이 스크래핑을 제대로 방어하지 못한다는 사실을 알 수 있습니다. 예를 들어 ZenRows는 자사가 우회할 수 있는 안티봇 솔루션 업체 목록을 공개하고 있습니다.
다행히 F5 Distributed Cloud Bot Defense는 인터스티셜이라는 기법을 통해 이 문제를 해결합니다. 인터스티셜은 빠르게 로드되어 데이터를 신속하게 수집한 다음, 요청된 페이지의 콘텐츠를 불러오는 페이지입니다. F5는 수년에 걸쳐 최대 규모의 항공사와 소매업체를 스크래핑으로부터 보호하면서 이 기법을 빠르고 효율적이며 효과적으로 개선해 왔습니다. 인터스티셜은 사용자 세션당 한 번만 실행됩니다. 에이전트가 사람으로 식별되면 재전송 공격을 방지하기 위한 경우를 제외하고는 추가 검사가 필요하지 않기 때문입니다.
현재 이용 가능한 가장 효과적인 봇 관리 솔루션인 Distributed Cloud Bot Defense는 콘텐츠 제작자가 자신의 콘텐츠가 LLM 모델 구축을 위해 스크래핑되는 것을 방지할 수 있는 최상의 보호 기능을 제공합니다. 콘텐츠와 비즈니스를 보호하려는 조직에 Distributed Cloud Bot Defense는 최고의 선택입니다.
관련 블로그 게시물
성평등을 향한 여정: 사이버 보안 분야에서 성공적인 커리어를 개척하는 방법에 관한 Jenn Gile과의 Q&A
F5의 ‘성평등을 향한 여정’ 시리즈 네 번째 Q&A에서는 Rachael Shah와 NGINX 제품 마케팅 책임자 Jenn Gile이 사이버 보안 직종에 대한 오해를 바로잡고, 사이버 보안 분야의 성별 격차를 해소하기 위한 조언과 그 이점에 대해 이야기합니다.
TLS 검사에서 피터 파커 원칙 다루기
“큰 힘에는 큰 책임이 따른다.” 볼테르와 처칠도 이와 비슷한 말을 남겼지만, 이 문구는 스파이더맨 코믹스에서 벤 삼촌의 말로 가장 널리 알려져 있습니다. 물론 이 문구가 문화적으로 널리 통용되는 이유 중 하나는 TLS 검사를 비롯해 수많은 상황과 주제에 적용할 수 있기 때문입니다.
Venafi와 F5를 통한 머신 아이덴티티 보호
‘머신 아이덴티티’란 간단히 말해 자동화된 프로세스가 자신의 신원을 식별할 수 있도록 하고, 다른 자동화 시스템과 프로세스가 관련 리소스에 적절한 수준의 접근 권한을 부여하도록 하는 방법을 의미합니다. 이 개념 자체는 새로운 것이 아닙니다. 비교적 새로운 점은 이를 구현해야 하는 규모입니다.
마이너와 미니언: 데이터 유출만이 비용을 초래하는 것은 아닙니다
물론 데이터 유출은 더 큰 비용을 초래할 수 있고(적어도 지금은), 실패 사실을 세상에 드러낼 수밖에 없게 합니다(통지 의무가 있으니까요). 하지만 보안을 단순히 데이터 노출 문제로만 봐서는 안 됩니다. 요즘은 데이터가...
내 클라우드에서 나가!
F5의 Jay Kelley가 전하는 최신 소식에는 Microsoft Office 365용 신규 ID 및 액세스 솔루션을 배포할 때 고려해야 할 사항이 정리되어 있습니다.
Shift(웹 앱) 보안 레터
웹 앱 보안을 개발 초기 단계로 앞당기세요. F5 블로그에서 DevOps 파이프라인 초기에 보안을 통합하여 취약점을 예방하고 시간을 절약하는 방법을 알아보세요.