Imagine ser um especialista que ganha a vida vendendo informações; as pessoas pagam para fazer perguntas a você. De repente, uma máquina extrai esse conhecimento da sua mente, aprende a responder às perguntas mais rápido do que você e tira o seu sustento. Com a ascensão da IA generativa, as empresas cujos modelos de negócios dependem de conteúdo enfrentam exatamente esse dilema.
Talvez não saibamos aonde a IA generativa nos levará, mas está claro que ela vai transformar a forma como consumimos conteúdo e, com isso, abalar empresas que dependem da distribuição de conteúdo — assim como a internet transformou nosso consumo de notícias e entretenimento, devastando muitos veículos de comunicação tradicionais.
A disrupção causada pela IA generativa afetará empresas que vendem conteúdo, como veículos de comunicação, agências de notícias e bancos de imagens, bem como empresas que dependem de conteúdo para atrair o público para anúncios pagos. Essa disrupção também afetará empresas que atraem clientes em potencial para promover produtos e serviços, fortalecer a identidade da marca e o relacionamento com os clientes ou incentivá-los a agir por meio de uma chamada para ação.
Embora o rastreamento de conteúdo para buscas tenha surgido nos primórdios da web, aplicativos baseados em LLMs, como o ChatGPT, funcionam de maneira fundamentalmente diferente. Os mecanismos de busca fornecem resumos com links para o conteúdo original, agregando valor ao facilitar sua descoberta. Por outro lado, aplicativos de chat baseados em LLMs não necessariamente fornecem links para o conteúdo original; em vez disso, incentivam os usuários a permanecer no chat e a saber mais por meio de novos prompts, retirando todo o valor da empresa que criou o conteúdo.
As organizações não podem depender exclusivamente do arquivo robots.txt, que permite às organizações definir o escopo de atuação dos rastreadores, pois nem todas as organizações que rastreiam conteúdo para treinar LLMs respeitarão o arquivo robots.txt. É motivo de debate se os LLMs apenas copiam e reproduzem conteúdo ou se sintetizam conteúdo como qualquer criador. A relevância da legislação de direitos autorais para a coleta de dados por LLMs está sendo discutida nos tribunais. É difícil prever como as leis e normas evoluirão, mas as organizações devem começar desde já a pensar em como proteger o conteúdo do qual seus negócios dependem.
A raspagem de dados pode ser mitigada, embora não seja fácil. Na verdade, esse problema está longe de ser novo. Os scrapers têm buscado coletar dados competitivos sobre companhias aéreas, redes varejistas e hotéis por meio da raspagem de tarifas, preços e diárias. Essas empresas não só querem evitar a perda de dados competitivos, como também precisam lidar com a carga de tráfego gerada pelos scrapers — especialmente os que buscam os dados mais atualizados —, que, em alguns casos, pode representar até 98% de todo o tráfego de um site, prejudicando o desempenho e até mesmo derrubando sites.
Os scrapers usam bots para automatizar a coleta de dados. Infelizmente, os mecanismos tradicionais de mitigação de bots, como CAPTCHA e listas de bloqueio de endereços IP, são ineficazes contra bots de scraping. Como o scraping geralmente é considerado legal, há inúmeros serviços online disponíveis para contornar o CAPTCHA. Usando aprendizado de máquina ou fazendas de cliques para resolver os CAPTCHAs, esses serviços são rápidos e baratos, além de muito mais eficientes do que a maioria de nós para decifrar esses quebra-cabeças irritantes. A alternativa mais simples ao CAPTCHA, as listas de bloqueio de IPs, também é ineficaz devido aos serviços disponíveis para scrapers. Esses serviços permitem que os scrapers enviem suas solicitações por meio de dezenas de milhões de endereços IP residenciais — um número tão grande e crescente que manter listas de bloqueio é totalmente inviável.
Até mesmo muitas soluções especializadas de gerenciamento de bots têm dificuldade para lidar com a raspagem de dados, pois dependem de instrumentação para coletar sinais. Um exemplo típico é o login. Primeiro, o navegador envia uma solicitação HTTP GET para recuperar uma página da web que contém um formulário de login. Nessa página, o JavaScript é executado em segundo plano, coletando dados sobre o navegador e os padrões de digitação e movimentação do mouse do usuário. Quando o usuário envia suas credenciais, o JavaScript insere os dados de sinais na solicitação HTTP POST, que é interceptada e analisada pela solução de gerenciamento de bots, atuando como um proxy reverso, para determinar se o agente que fez a solicitação é um bot.
No entanto, muitos sites de conteúdo não exigem uma combinação de GET e POST para acessar conteúdos, sejam eles publicações de blog, notícias ou preços. Em vez disso, uma única solicitação HTTP GET retorna tudo o que o scraper deseja, eliminando a possibilidade de instrumentação.
Sabemos que muitas soluções de gerenciamento de bots não conseguem impedir a raspagem de dados, pois existem vários serviços que oferecem acesso fácil via API para extrair conteúdo. A ZenRows, por exemplo, lista os fornecedores de soluções antibot que consegue contornar.
Felizmente, F5 Distributed Cloud Bot Defense resolve esse problema por meio de uma técnica chamada página intersticial — uma página que carrega rapidamente, coleta dados com agilidade e, em seguida, carrega o conteúdo da página solicitada. Ao longo de vários anos protegendo as maiores companhias aéreas e varejistas contra scraping, a F5 aperfeiçoou a técnica para torná-la rápida, eficiente e eficaz. A página intersticial é executada apenas uma vez por sessão do usuário, pois, depois que um agente é identificado como humano, não são necessárias outras verificações, exceto para evitar abusos de repetição.
Como a solução de gerenciamento de bots mais eficaz disponível, o Distributed Cloud Bot Defense oferece aos criadores de conteúdo a melhor proteção contra a extração de seu conteúdo para a criação de modelos de LLM. Para organizações que desejam proteger seu conteúdo e seus negócios, o Distributed Cloud Bot Defense é a melhor opção.
Sobre o autor
Publicações relacionadas no blog
Entrega e proteção de agentes de IA em fábricas de IA: F5 para a arquitetura de referência NVIDIA OpenShell para agentes de IA seguros
As soluções da F5 ampliam a Arquitetura de Referência NVIDIA OpenShell para agentes de IA seguros.
Como medir – e minimizar – o custo total de propriedade do seu Kubernetes
O Kubernetes pode ser baixado e executado gratuitamente, mas sua manutenção está longe de não ter custos. Assim como outras grandes plataformas de código aberto que são “gratuitas” apenas em um sentido simplista, o Kubernetes quase certamente exigirá investimentos para ser implantado e operado.
As-Code: a pilha de TI contínua
Infraestrutura, configuração, pipeline, operações. De repente, tudo é “como código”. Lori MacVittie busca esclarecer a terminologia e identificar os diferentes componentes de uma stack contínua de TI.
O estado da entrega de aplicações em 2017: automação, APIs e DevOps
Explore o relatório State of Application Delivery de 2017. Leia o blog retrospectivo da F5 sobre o início da ascensão das redes declarativas e dos pipelines de DevOps.
DevOps Summit: onde a rede foi convidada para a festa
No DevOps Summit NY, falou-se muito não apenas sobre DevOps, mas também sobre contêineres, IoT e microsserviços. As sessões se concentraram não só na mudança cultural necessária para crescer em escala com uma abordagem DevOps, mas também fizeram questão de incluir...
F5 e Nutanix convergem em infraestrutura no .NEXT
Aplicações empresariais como Microsoft SharePoint e Exchange, juntamente com a VDI, continuam sendo a espinha dorsal da sua empresa. A produtividade, embora não seja tão atraente quanto o lucro, é um fator essencial para o sucesso das operações empresariais atuais. Deixar de...