Observe que não há dúvida de que o viés existe; ele existe. A questão, na verdade, é como ele é introduzido e por que a área de TI deveria se importar?
O entusiasmo em torno da IA nunca esteve tão em alta. O interesse foi despertado, a demanda é enorme e todos estão correndo para encontrar o “aplicativo matador” para seu mercado.
Mas, por trás de todo esse entusiasmo, há preocupações sendo levantadas, e com razão. É relativamente fácil introduzir vieses na IA, e isso está gerando apreensão em alguns setores.
Uma breve introdução aos modelos de aprendizado de IA
Para entender como o viés é introduzido na IA, é necessário ter uma compreensão básica de como os modelos de IA são treinados.
Dependendo de quem você perguntar e do quanto essa pessoa quiser ser minuciosa, você obterá respostas diferentes sobre quantos métodos de aprendizado existem. De fato, os métodos, algoritmos e modelos usados atualmente são numerosos e, em muitos casos, incompreensíveis para quem não está profundamente familiarizado com a área. No entanto, é importante entender, em linhas gerais, como os modelos são treinados, pois é justamente assim que o viés é introduzido. Tendo isso em mente, há três maneiras básicas de treinar modelos de IA:
- Aprendizado supervisionado. Os dados de entrada são rotulados. O sistema sabe qual deve ser a saída com base no conjunto de dados e nos rótulos usados para treiná-lo e consegue usar esse conhecimento para prever outros valores. Nessa categoria, são usados dois tipos principais de algoritmos. Um deles se baseia em classificação, na qual os dados são agrupados em categorias de acordo com atributos como cor, tamanho e forma. O reconhecimento de imagens geralmente se enquadra nessa categoria, mas outros usos comuns incluem a detecção de spam e a filtragem de e-mails. O segundo usa regressão matemática para identificar padrões baseados em uma relação linear entre a entrada e a saída. Nesse método, a saída é categorizada fora do modelo, como no caso de medições das condições meteorológicas reais. Tendências de mercado e meteorológicas costumam usar esse método.
- Aprendizado não supervisionado. Como o termo “não supervisionado” sugere, o sistema não recebe nenhuma orientação sobre a natureza dos dados. Eles não são rotulados. Espera-se que o sistema descubra padrões e relações por conta própria e preveja um resultado. Os algoritmos de aprendizado não supervisionado utilizam duas técnicas diferentes: agrupamento e associação. No agrupamento, o sistema deve agrupar os dados com base em semelhanças, de modo que os dados de um grupo tenham poucas ou nenhuma semelhança com os de outros grupos. A análise do comportamento de compra dos clientes é uma aplicação comum do agrupamento. Na associação, o sistema deve identificar relações entre os dados, como dependências entre eles. Essa abordagem se baseia inteiramente em correlação, não em causalidade. Os sistemas não supervisionados simplesmente descobrem “coisas que estão relacionadas a outras coisas”, e não “coisas que fazem com que outras aconteçam”. A associação é frequentemente usada na mineração de uso da web.
- Aprendizado por reforço. O aprendizado por reforço é uma solução intermediária entre o treinamento supervisionado e o não supervisionado, que busca minimizar as desvantagens de ambos. No aprendizado por reforço, os sistemas recebem dados não rotulados para explorar. Em seguida, recebem recompensas positivas ou negativas pelos resultados, com as quais o sistema “aprende” a aprimorar suas decisões. Esse é o modelo que mais se aproxima da forma como os seres humanos aprendem, como demonstra o uso de questionários e provas no processo educacional. Videogames, robótica e mineração de texto são aplicações comuns do aprendizado por reforço.
Como o viés se infiltra na IA
Certo, agora vamos ao assunto principal: como o viés pode ser introduzido nesses sistemas.
A resposta, e tenho certeza de que você já percebeu, está no fato de que seres humanos frequentemente participam do processo de treinamento.
A maneira mais fácil de introduzir viés no aprendizado supervisionado é, por assim dizer, contaminar os dados, rotulando-os incorretamente. Por exemplo, se eu estiver classificando animais, rotular incorretamente um “cachorro” como “gato” pode resultar em identificações erradas quando isso ocorre em escala suficientemente grande. Um dos riscos da rotulagem é a atribuição intencional de rótulos incorretos com o objetivo de corromper o resultado. Alguns erros de rotulagem são apenas fruto do julgamento humano, como decidir se uma pantera é um gato ou se a estátua de um gato conta como gato. Com o aprendizado por reforço, recompensar positivamente a resposta ou jogada “errada” em um jogo pode resultar em um sistema que fornece respostas erradas intencionalmente ou sempre perde.
O que, para algumas pessoas, pode ser uma opção atraente.
Agora, obviamente, isso tem implicações para sistemas conversacionais (de IA generativa), como o ChatGPT, que foi, segundo o site da empresa, ajustado usando “aprendizado supervisionado e aprendizado por reforço”, que “utilizaram instrutores humanos para melhorar o desempenho do modelo”. Quando você escolhe a opção de avaliação “positiva” ou “negativa” para classificar as respostas, esses dados podem ser usados para ajustar ainda mais o modelo. Presumo que você, caro leitor, seja humano. Logo, existe a possibilidade de introduzir ainda mais vieses no sistema. A realidade é que o ChatGPT muitas vezes fornece respostas completamente erradas. O feedback é necessário para continuar treinando o sistema, para que ele possa gerar a resposta correta com mais frequência.
Isso é interessante — e poderíamos ter uma conversa fascinante sobre as maneiras como poderíamos manipular esses sistemas e as consequências disso —, mas o verdadeiro motivo pelo qual eu quis explorar esse tema é que o problema do viés também se estende à telemetria, ou seja, aos dados operacionais que todos queremos usar para impulsionar a automação dos sistemas e serviços que fornecem e protegem os serviços digitais.
IA, viés e telemetria
Talvez você se lembre de que já escrevi sobre o tema do viés de dados no que diz respeito à telemetria e aos insights que 98% das organizações estão deixando passar.
Na maioria dos casos relacionados à análise de telemetria, os modelos são treinados com dados que foram rotulados. Um viés pode ser introduzido nesse sistema por (a) rotulagem incorreta dos dados, (b) falta de diversidade suficiente de dados em uma categoria específica ou (c) pelo método usado para introduzir novos dados. O motivo pelo qual a rotulagem incorreta dos dados é problemática deve ser óbvio, pois, em quantidades suficientemente grandes, ela pode resultar em identificações incorretas. O problema da diversidade dos dados é que aqueles que não se enquadram em um conjunto de treinamento tão restrito serão inevitavelmente classificados de forma incorreta.
Um exemplo clássico disso foi um modelo de IA treinado para distinguir tanques de outros tipos de veículos. Acontece que todos os tanques foram fotografados à luz do dia, enquanto os outros veículos não. Como resultado, a IA se saiu muito bem ao diferenciar tanques de outros veículos, mas, na verdade, estava correlacionando dia e noite. A falta de diversidade no conjunto de dados de entrada gerou uma correlação enviesada.
Mesmo que uma IA em operação se baseie em aprendizado por reforço, a falta de diversidade dos dados é problemática, pois o sistema não dispõe de todas as “variáveis” necessárias para determinar o “próximo passo”, por assim dizer.
O motivo pelo qual uma IA pode não ter um conjunto diversificado de dados ou todas as variáveis de que precisa é, como você já deve ter imaginado, o viés de dados. Mais especificamente, o viés de dados introduzido pelo monitoramento seletivo, no qual apenas *parte* da telemetria é coletada para análise. Por exemplo, o impacto do desempenho do DNS na experiência do usuário é bem conhecido. No entanto, se um modelo for treinado para analisar o desempenho de uma aplicação sem a telemetria do DNS, ele poderá afirmar que o desempenho está perfeitamente normal mesmo que haja um problema com o DNS, pois não sabe que o DNS está relacionado de alguma forma ao desempenho de ponta a ponta da aplicação. Se a “próxima ação” for alertar alguém sobre uma degradação de desempenho, o sistema falhará devido ao viés na seleção dos dados.
Não será nenhuma surpresa se eu disser que nossa pesquisa anual revelou que mais da metade das organizações aponta a “falta de dados” como um dos principais desafios para obter os insights de que precisam.
Assim, mesmo que as organizações estivessem totalmente empenhadas em usar a IA para orientar decisões operacionais, isso ainda representaria um desafio. Sem um conjunto diversificado de dados para treinar esse tipo de sistema, surge o risco de viés.
Uma terceira forma de introduzir viés está nos métodos usados para fornecer dados ao modelo. O exemplo operacional mais comum disso é usar os resultados de testes sintéticos para determinar o desempenho médio de uma aplicação e, em seguida, usar o modelo resultante para analisar o tráfego real. Dependendo da variedade de locais, dispositivos, níveis de congestionamento da rede etc. que compõem o conjunto de dados dos testes sintéticos, um desempenho perfeitamente aceitável para usuários reais pode ser identificado como falha, ou vice-versa.
O risco para a transformação digital
O risco é a perda de confiança na tecnologia como um multiplicador de forças, capaz de proporcionar a escala e a eficiência necessárias para que as organizações operem como empresas digitais. Afinal, se a IA continuar dando respostas “erradas” ou sugerindo soluções “erradas”, ninguém vai confiar nela.
É por isso que a observabilidade de stack completa não é apenas importante, mas também uma das seis principais capacidades técnicas necessárias para que as organizações avancem para a terceira fase da transformação digital: negócios assistidos por IA.
Dados ausentes, seja devido ao monitoramento seletivo ou à curadoria tendenciosa de métricas, podem introduzir vieses nos modelos de IA usados para orientar decisões operacionais.
Uma atenção cuidadosa às fontes e aos tipos de dados, aliada a uma estratégia abrangente de dados e observabilidade, contribuirá significativamente para eliminar vieses e produzir resultados mais precisos — e confiáveis.
Sobre o autor
Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.
Mais publicações de Lori Mac VittiePublicações relacionadas no blog
O estado da maturidade digital empresarial: a transformação digital ainda não terminou
Explore como a IA impacta as empresas, as aplicações da IA generativa, as estratégias para modernizar as operações de TI e os benefícios da maturidade digital com a F5.
Como a IA generativa acelera a transformação digital
Veja como a IA generativa impulsiona a transformação digital nas empresas, acelerando tendências como a integração de APIs, os desafios dos modelos operacionais de TI híbrida e a adoção de AIOps.
Seis capacidades técnicas para acelerar a transformação digital
As arquiteturas empresariais atuais carecem dos fatores necessários de agilidade, escalabilidade, segurança e observabilidade, essenciais para impulsionar a mudança tecnológica. No entanto, estas seis capacidades fundamentais ajudarão as empresas a gerenciar riscos e desafios ao longo de sua transformação digital.
Inverter a API é a transformação digital de que as empresas precisam para participar e competir em uma economia de APIs
As organizações detêm um valor latente — na forma de APIs internas — que precisam explorar para competir em uma economia de APIs. Embora os desafios técnicos e de segurança possam desestimular algumas delas, as empresas precisam reconhecer que inverter suas APIs permitirá liberar o valor da organização como plataforma.
A modernização da TI começa pela infraestrutura
O hardware e o software evoluíram rapidamente desde os primórdios da internet, mas, para aproveitar ao máximo os benefícios resultantes dessa evolução, as organizações precisam avaliar e modernizar sua infraestrutura e a entrega de aplicativos. Acelere os esforços de modernização com a nova F5 rSeries.