A próxima jornada para aplicativos: Extração de valor de um mar de dados
"Os dados são o novo petróleo" ou "Os dados são a graxa da economia digital". Se você for como eu, provavelmente já ouviu essas frases, ou talvez até mesmo a frase mais parecida com a de uma escola de negócios, "monetização por exaustão de dados", a ponto de se tornarem clichês. Mas, como todos os bons clichês, eles são baseados em uma verdade fundamental ou, neste caso, em um par complementar de verdades. A primeira verdade é a observação de que o subproduto de dados dos processos operacionais normais contém valor latente. A segunda verdade, relacionada, mas muitas vezes não mencionada, é que o processo intensivo de destilar esse valor latente é uma jornada de várias etapas, embora tenha estágios naturais de progressão e maturidade ao longo do caminho.
Dando um passo atrás, o conceito de coletar dados das operações para obter valor comercial certamente não é novo. Na verdade, os setores que dependem da otimização da logística — como os setores de supermercados e entregas — há muito entenderam e adotaram esse conceito. Da mesma forma, a tendência empresarial moderna em direção à " transformação digital " é uma generalização dessa ideia, normalmente aplicada primeiro aos processos e fluxos de trabalho internos de negócios. Notavelmente, há uma evolução análoga no espaço de aplicativos e serviços de aplicativos. Neste artigo, gostaria de focar em como a evolução dos aplicativos e serviços de aplicativos interage e se harmoniza com a megatendência maior de extração de valor de dados, onde essa simbiose está hoje e, finalmente, para onde ela está indo no futuro próximo.
Passo 1: Coletar e relatar
Essa jornada começa com a coleta de dados. É útil pensar nos dados como o combustível para o sistema; se você não tiver o combustível, não poderá alimentar os motores que fazem o trabalho. Superficialmente, parece que isso é um fato consumado, dado que as soluções de serviços de aplicativos fornecem uma infinidade de eventos e estatísticas disponíveis — para segurança, confiabilidade, gerenciamento de desempenho e orquestração. Mas os dados geralmente não são estruturados, a sintaxe é variável e a semântica geralmente é ad hoc. Pense em um exemplo simples, mas comum: Como o conceito de tempo é representado em seus dados? Normalmente, há muitas maneiras de representar algo tão conceitualmente simples como um registro de data e hora. Isso ilustra a necessidade de uma língua franca, uma representação comum de "átomos" básicos que descrevem eventos e estatísticas. Em termos de tecnologia, nos referimos a isso como “ingestão de dados”, construída em um esquema de dados consistente e aproveitando adaptadores/tradutores conforme necessário. Essa necessidade foi historicamente um dos principais impulsionadores que permitiram o crescimento e o valor para os fornecedores de SIEM, que preencheram a necessidade de fornecer esse vocabulário padronizado para fornecer uma visão holística da segurança em uma profusão de soluções pontuais de segurança. A capacidade de ter, como saída, uma apresentação integrada dos dados — um relato organizado e holístico de testemunhas oculares sobre o que está acontecendo agora e o que aconteceu no passado — é a fase da jornada em que a maior parte da indústria se encontra hoje. No ecossistema de aplicativos atual, isso é exemplificado principalmente pelos mercados verticais de SIEM e APM.
Passo 2: Destilar e descrever
O próximo passo na jornada é dar sentido aos relatos de testemunhas oculares: procurar pontos em comum, destilar os dados em padrões descritíveis e identificar anomalias. Devido ao volume de dados envolvidos, os humanos geralmente são auxiliados ou complementados por computadores nessa atividade. Essa assistência pode assumir a forma de uso de técnicas avançadas de classificação estatística, muitas vezes não supervisionadas, às vezes complementadas com exploração e visualização de dados guiadas por humanos.
Um exemplo do domínio anti-DoS é a visualização da natureza geográfica do tráfego de entrada, frequentemente usada para identificar tráfego malicioso originário de um pequeno conjunto de países. Outro exemplo está no espaço das ferramentas de análise do comportamento do usuário ("UBA") que caracterizam os atributos dos comportamentos humanos em comparação aos comportamentos dos robôs. Essas soluções geralmente usam análise estatística para atribuir probabilidade à probabilidade de uma interação na web com um humano.
Esta fase da jornada — " Destilar e Descrever " — é uma evolução da etapa anterior " Coletar e Relatar ". Ele ainda depende, fundamentalmente, de ter um grande conjunto estruturado de dados nos quais aplicar a análise. Conforme mencionado acima, essa abordagem é a base para algumas das soluções pontuais mais recentes (embora com foco específico) para segurança de aplicativos.
Etapa 3: Inferir e prever
O terceiro passo desta jornada é ir além da modesta análise de " Destilar e Descrever " e fazer inferências analíticas mais profundas, resultando em previsões e projeções sobre observações futuras antecipadas. Isso leva a solução a algo mais do que puramente reativo, fazendo extrapolações inteligentes para o comportamento futuro esperado. Um exemplo na camada de infraestrutura de aplicativos pode ser encontrado no espaço de Gerenciamento de Desempenho de Aplicativos (APM), ou seja, a identificação de padrões de comportamento baseados em tempo e o uso desses padrões para prever requisitos futuros de recursos. Outro exemplo, usando um caso de uso de lógica de negócios de aplicativo, é como sites de viagens usam técnicas de aprendizado de máquina (“ML”) para prever a oferta e a demanda de rotas específicas em datas futuras. As tecnologias empregadas aqui com mais frequência são tecnologias de análise avançada, especialmente aquelas baseadas em séries temporais e técnicas de regressão linear, com base nos padrões de dados encontrados na etapa anterior.
Passo 4: Razão e prescrição
A quarta e última etapa envolve "fechar o ciclo" para implementar ajustes e remediações acionáveis em todo o sistema. A análise das duas etapas anteriores é traduzida em um conjunto de recomendações proativas. Nesse ponto, o sistema se torna adaptável e robusto contra ataques e mudanças em seu ambiente. Por exemplo, uma infraestrutura de aplicativo conceitual que utiliza o recurso teria a capacidade de criar ou destruir proativamente instâncias de carga de trabalho de contêiner, com base na demanda prevista. Ou, no contexto da segurança de aplicativos, ele pode filtrar proativamente o tráfego gerado por botnet com base em comportamentos de botnet aprendidos anteriormente. Um exemplo notável já existe hoje no espaço da lógica de negócios — na forma de preços dinâmicos, novamente com base na oferta e demanda antecipadas.
A tecnologia subjacente geralmente é baseada em regras, onde as regras são usadas para traduzir previsões em ações. No entanto, no contexto de infraestrutura de aplicativos e serviços de aplicativos, essa abordagem geralmente é associada a diretivas mais baseadas em intenção ou declarativas para configuração e orquestração.
Acelerando a jornada
Essa jornada — de "Coletar e Relatar" para "Destilar e Descrever", "Inferir e Prever" e, finalmente, "Raciocinar e Prescrever" — é uma progressão natural. Cada avanço incremental se baseia nos anteriores e desbloqueia um nível de valor novo e mais incisivo. O conjunto atual de soluções para os desafios nos espaços de infraestrutura e serviços de aplicativos é desigual em sua maturidade ao longo dessa progressão de extração de valor de dados e, normalmente, não está bem integrado à profusão de soluções pontuais.
O passo precursor de habilitação — o proverbial “combustível” para o “motor” de dados — está ganhando visibilidade em um rico conjunto de serviços de aplicativos. Essa instrumentação, implantada em vários pontos da cadeia de entrega de aplicativos e aliada aos princípios de semântica de dados consistente e repositórios de dados federados, é uma das maneiras pelas quais a F5 está acelerando nossa jornada rumo ao futuro dos serviços de aplicativos. Pretendemos acelerar ainda mais nosso ritmo para entregar valor aos nossos clientes, ampliando simultaneamente o funil de dados para permitir melhores integrações de soluções pontuais, bem como agilizando o desenvolvimento avançado dos blocos de construção de tecnologia relevantes.
Em artigos futuros, espero expandir mais a arquitetura orientada por dados, tanto ampliando o foco para mergulhar mais profundamente nas principais tecnologias envolvidas, quanto ampliando o foco para examinar as interações de múltiplos ecossistemas de dados em múltiplos pipelines de dados soberanos.