Vítimas de nossas próprias armadilhas: Big Dirty Data

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Big data. Petabytes gerados a cada hora por milhões de sensores e monitores incorporados a dispositivos em toda a cadeia de valor empresarial. Da fabricação à entrega, do ponto de venda aos consumidores, os dados estão sendo gerados em volumes sem precedentes.

Esses dados, por si só, não têm significado. Os dados em si são uma coleção de 1s e 0s em formações específicas que, quando interpretadas por um aplicativo, tornam-se informação. A informação só se torna útil quando é analisada e só se transforma em valor quando é usada para orientar ações.

As pessoas não conseguem analisar de forma eficaz os dados gerados hoje, muito menos os que serão gerados na próxima hora, no próximo dia ou na próxima semana. Ainda assim, cada vez mais se exige que as decisões de negócios sejam tomadas praticamente em tempo real. Para isso, são necessários recursos computacionais e sistemas treinados para reconhecer os sinais em meio às enormes quantidades de ruído coletadas todos os dias.

Isso não é mera conjectura. Em “Machine Learning: o novo campo de provas para a vantagem competitiva” — uma pesquisa realizada pela MIT Technology Review Custom e pelo Google Cloud —, mais de 60% dos entrevistados “já implementaram estratégias de ML [Machine Learning], e quase um terço considerava que suas iniciativas já estavam em um estágio maduro”. O motivo por trás do investimento significativo nessa tecnologia emergente é a vantagem competitiva. “Segundo os entrevistados, um dos principais benefícios do ML é a capacidade de obter uma vantagem competitiva, e 26% dos atuais usuários de ML acreditavam já ter alcançado esse objetivo.”

Prevê-se que os benefícios sejam extraordinários.

Até aqui, tudo bem. Estamos usando dados para orientar decisões que permitem às empresas assumir a liderança e crescer.

O perigo está em não reconhecer que toda dependência traz consigo um risco. Se dependo de um carro para ir ao supermercado (porque não há transporte público onde moro), então existe o risco de algo acontecer com esse carro. Um risco enorme. Se minha empresa depende de big data para tomar decisões (possivelmente em meu lugar, se as previsões dos especialistas forem levadas ao pé da letra), então existe o risco de algo acontecer com esses dados.

Não estou falando da perda evidente dos dados, nem mesmo da corrupção desses dados. Estou falando de uma ameaça mais insidiosa, decorrente da confiança que depositamos na veracidade desses dados.

Para tomar decisões com base em quaisquer dados — seja em nossa vida pessoal ou profissional —, primeiro precisamos confiar na exatidão desses dados.

Big Data Sujo

Dados sujos não são novidade. Confesso que, de vez em quando, altero meus dados pessoais quando eles são solicitados para acessar um artigo ou recurso na Internet. Mas os novos fluxos de dados não estão necessariamente sujeitos a esse tipo de adulteração inofensiva. Eles estão ameaçados pela adulteração intencional promovida por agentes mal-intencionados, determinados a desviar sua empresa do rumo.

Como tomamos decisões com base em dados e só costumamos questioná-los quando surgem discrepâncias evidentes, somos praticamente cegos à ameaça da corrupção gradual. Assim como no já clichê esquema de desviar centavos de transações bancárias, alterações sutis nos dados podem passar despercebidas. Aumentos graduais na demanda pelo produto X em um mercado podem ser vistos como resultado bem-sucedido de ações de marketing ou promocionais. Fatores macroeconômicos muitas vezes podem explicar uma queda repentina na demanda pelo produto Y em outros mercados. Minha capacidade de afetar seus negócios é significativa se eu tiver paciência e determinação para adulterar os dados nos quais você baseia suas decisões de fabricação ou distribuição.

Quão significativo? A baixa qualidade dos dados resulta em uma perda de cerca de 30% da receita de acordo com a Ovum Research. A Analytics Week compilou uma lista fascinante de fatos sobre big data que apontam consequências semelhantes do uso de dados de baixa qualidade, incluindo:

Parece improvável? O web scraping para coletar informações como parte de ações de espionagem corporativa é algo real, e há equipes dedicadas a combatê-lo. O uso de APIs torna essas ações ainda mais fáceis e prejudiciais — às vezes, em tempo real. Portanto, acreditar que ninguém introduzirá intencionalmente dados ruins no seu fluxo equivale a ignorar deliberadamente a realidade de que agentes mal-intencionados costumam estar (geralmente) dois passos à nossa frente.

Nossas práticas de segurança – especialmente na nuvem, onde se espera que grande parte dos big data esteja armazenada – ampliam essa ameaça. Um white paper da TDWI patrocinado pela Information Builders apresenta muitos outros exemplos do custo de dados de baixa qualidade. Embora a maioria esteja relacionada a problemas típicos de dados de baixa qualidade decorrentes da integração de dados devido a aquisições ou às habituais informações imprecisas fornecidas pelos clientes, os modelos de custos são inestimáveis para compreender a ameaça que confiar em dados possivelmente corrompidos representa para as empresas – e o que você pode fazer a respeito.

Confiar nas configurações padrão foi a causa de várias violações só neste ano. Lembra do desastre do MongoDB em janeiro? Aquele em que as configurações padrão deixaram os bancos de dados totalmente abertos para qualquer pessoa na Internet que pudesse se interessar por eles? E o estudo CSI da RedLock, que encontrou 285 instâncias de consoles administrativos do Kubernetes completamente abertas? Nenhuma credencial era necessária. O mesmo relatório constatou que 31% dos bancos de dados não criptografados na nuvem estavam aceitando conexões de entrada da Internet. Diretamente. Tipo, sem nada entre mim e os seus dados.

Quando mais de 27.000 bancos de dados ficam expostos e acessíveis pela Internet porque não foi feito esforço algum para protegê-los, é fácil imaginar que os fluxos de dados possam ser contaminados com facilidade. Quando há organizações que deliberadamente removem os controles de segurança padrão dos serviços de armazenamento em nuvem, deixando-os totalmente vulneráveis à descoberta e à corrupção, a possibilidade de agentes mal-intencionados inserirem dados contaminados deixa de ser apenas possível e passa a ser provável. Cabe às organizações que dependem de dados — o que hoje significa praticamente todas — ter cuidado não apenas com a forma como protegem esses dados, mas também com a maneira como verificam sua exatidão.

No futuro dos negócios orientados por dados, segurança significa mais do que apenas se proteger contra a exfiltração: é preciso também considerar a ameaça bastante real da infiltração — e como combatê-la.

Sobre o autor

Lori Mac VittieEngenheiro Emérito e Evangelista-Chefe | F5

Lori MacVittie é engenheira distinta e evangelista-chefe no Escritório do CTO da F5, com ampla experiência em entrega de aplicações, estratégia de automação e infraestrutura. Ela é conhecida por transformar complexidade em clareza, seja definindo diretrizes para agentes de IA, analisando arquiteturas multinuvem frágeis ou investigando os limites de sistemas escaláveis. Ela acumula mais de trinta anos de experiência no setor, abrangendo desenvolvimento de aplicações, arquitetura de TI e operações de redes e sistemas. Antes de ingressar na F5, atuou como editora de tecnologia e recebeu diversos prêmios. MacVittie tem mestrado em Ciência da Computação e é uma autora prolífica, com publicações que abrangem segurança, nuvem e arquitetura empresarial. Ela também é uma entusiasta de jogos de tabuleiro e videogames, além de ter opiniões assumidamente fortes sobre queijos.

Mais publicações de Lori Mac Vittie