새로운 봇 전쟁: 당신이 아는 모든 사람이 가짜일 수도 있습니다

한때 봇 팜에는 반복적인 게시물을 밀어붙이는 인력 군대가 필요했지만, 이제는 AI 도구를 이용해 일관되고 다양하며 매우 믿을 수 있는 콘텐츠를 생성할 수 있습니다. NewsGuard의 2023년 보고서 에 따르면, AI가 생성한 선전은 지역별 언어와 감정에 있어서도 실제 해설과 구별하기 어려워지고 있습니다.

이것은 더 이상 쓰레기 콘텐츠가 아닙니다. 그것은 타당하고, 상황에 맞으며, 반응적입니다. 겉보기에는 대중의 지지처럼 보이지만, 사실은 산업적 규모로 만들어진 영향력입니다.

그리고 플랫폼은 여전히 이에 대해 보상을 제공합니다. 그들은 실제 성능을 평가하기 위해 만들어진 것이 아니라, 성능을 증폭시키기 위해 만들어졌습니다. 

검토 도구와 인간 검토자가 따라잡지 못하고 있습니다. 조직적이고 허위적인 행동에 대한 조치를 취하기 위한 Meta의 2024년 보고서는 이러한 조직적인 캠페인을 실시간으로 감지하는 것이 얼마나 어려워졌는지를 강조합니다.

이건 주변적인 문제가 아닙니다. 이는 정치, 마케팅, 금융 투자, 심지어 브랜드 신뢰에도 영향을 미칩니다. 2021년 미국 미국 증권거래위원회는 봇에 의해 조장되는 소셜 미디어 기반 시장 펌프에 대해 경고했습니다 .

그 사이, 가시성과 참여에 의존하는 시스템(트렌드 목록, "추천" 패널)은 이제 쉽게 해킹당할 수 있습니다. 중요한 것을 표면화하기 위해 고안된 도구는 지금 누군가가 중요해지도록 하기 위해 지불한 돈을 표면화합니다.

오늘날의 봇은 규칙을 어기지 않습니다. 그들은 그들을 따른다. 그들은 인간의 행동을 모방하고 대화를 생성합니다. 그들은 시간이 지남에 따라 신뢰를 쌓고 여러 네트워크에서 운영됩니다. 이러한 취약점은 기술 정책을 위반하지 않기 때문에 종종 감지되지 않습니다.

이는 더 심각한 결함을 드러냅니다. 시스템은 동기가 아닌 행동을 평가하기 위해 설계되었습니다. 우리는 패턴을 신뢰했습니다. 정상적으로 보이면 안전하다고 생각했습니다.

하지만 AI는 비정상적으로 행동하지 않습니다. 설득력 있게 행동합니다.

신호가 스택 위로 이동했습니다. 헤더와 요금에서 벗어나세요. 페이로드, 콘텐츠 의미론, 시스템 수준 조정에 대해 알아보겠습니다. AI가 생성한 영향력은 기존 방어수단으로는 깨끗해 보인다. 이상 현상은 더 이상 봉투 안에 존재하지 않습니다. 메시지에 적혀 있어요.

이 문제를 해결하기 위한 노력이 진행 중입니다. DARPA의 의미 포렌식 프로그램은 의도와 언어적 마커를 사용하여 AI가 생성한 콘텐츠를 감지하는 데 주력하고 있습니다. X의 2024년 업데이트에는 봇 제거 기능이 강화되었다고 언급되어 있습니다. 하지만 이러한 시스템은 아직 초기 단계에 있습니다. 아직 이러한 도구는 AI 기반 영향력 캠페인을 앞지르기에 충분히 확장 가능하거나 반응성이 좋지 않습니다.

이제 위협이 다시 진화하고 있습니다.

단순한 봇을 넘어 AI 기반 에이전트가 배치되고 있습니다. 이러한 에이전트는 자동화 이상의 역할을 합니다. 그들은 협력합니다. 그들은 회전합니다. 그들은 실시간으로 대응 데이터를 분석하고 전략을 조정합니다. 2022년 DFRLab 연구에서는 국가 지원 캠페인이 AI 에이전트를 사용하여 여러 플랫폼에서 허위 정보를 조율하고 감지 기능에 동적으로 적응하는 방식을 기록했습니다.

한편, 합법적인 기업들은 고객 지원, 마케팅, 워크플로 자동화를 위해 에이전트를 도입하고 있습니다. Lyzr.ai에 따르면 AI 도입 노력의 70%가 대화형 봇뿐만 아니라 액션 기반 AI 에이전트에 집중되어 있습니다 .

이로 인해 경계가 모호해집니다. 요원들이 회사와 공격자를 모두 대변할 때, 신뢰는 침식됩니다. 브랜드 담당자로 가장한 가짜 지원 봇은 사용자에게 피싱을 하거나 잘못된 정보를 퍼뜨릴 수 있으며, 주의 깊게 살펴보지 않는 한 실제 봇과 구별하기 어렵습니다.

이는 더 이상 봇의 문제가 아닙니다. 이는 진정성의 위기입니다.