10 ferramentas de testes automatizados que a Threat Stack usa — e por quê

Ecossistema F5 | 19 de setembro de 2019

O Threat Stack agora é o F5 Distributed Cloud App Infrastructure Protection (AIP). Comece a usar o Distributed Cloud AIP com sua equipe hoje.

Todos os projetos de desenvolvimento de software, sejam eles grandes ou pequenos, podem se beneficiar de testes bem planejados e bem executados. Essa é a sua maneira de garantir que o software que você está desenvolvendo funcione conforme o esperado e agregue valor ao cliente. Mais importante ainda — considerando a natureza do atual cenário de ameaças cibernéticas —, testes bem executados ajudam a garantir que seu software não seja lançado com erros ou vulnerabilidades que possam comprometer sua integridade. Em suma, bons testes permitem oferecer desempenho e valor aos clientes, além de proporcionar a segurança necessária.

Na Threat Stack, temos um ambiente complexo de desenvolvimento full stack, que exige muito planejamento e tomada de decisões por parte da equipe de Engenharia de Testes para garantir que todas as áreas funcionais da nossa plataforma sejam testadas de forma eficaz e eficiente. Isso inclui decidir quais ferramentas de teste usar, pois as ferramentas certas nos permitem implementar a automação, além de proporcionar rapidez, repetibilidade, consistência e precisão dos resultados.

Neste post, vamos falar sobre dez das ferramentas de testes automatizados que usamos, com o objetivo de compartilhar alguns insights que, esperamos, ajudarão você em suas atividades de teste.

Antes de analisarmos as ferramentas, porém, vamos contextualizar o assunto examinando as principais áreas que nossos engenheiros de testes levam em consideração ao testar nossa plataforma e sua infraestrutura.

  • Os agentes do Threat Stack são incorporados às frotas de máquinas virtuais da Amazon Web Services dos clientes para rastreá-las e monitorá-las, sejam elas equipadas com distribuições Linux — como Ubuntu, Amazon Linux, Red Hat Enterprise Linux, CentOS e CoreOS — ou com versões do Windows, como Windows Server 2012 R2, 2016 ou 2019.
  • Nossos clientes podem estar usando contêineres ou Kubernetes que precisam ser monitorados em busca de sinais de incidentes de segurança.
  • Cada agente envia dados com segurança para a Threat Stack Cloud Security Platform®, onde eles são analisados e processados por um dos nossos diversos microsserviços.
  • Os dados de eventos são processados por regras de Host, Arquivo, CloudTrail e Inteligência de Ameaças, além de regras personalizadas, para gerar alertas classificados por gravidade e ajudar as equipes de DevOps e Segurança de nossos clientes a analisar o que está acontecendo em seus sistemas.
  • Todos os dados de eventos, regras e alertas devem estar acessíveis não apenas por meio do nosso aplicativo baseado em navegador, mas também por meio das nossas APIs da Threat Stack.
  • Nossos clientes podem usar esses dados e exportá-los para seu próprio armazenamento externo a fim de realizar suas próprias análises.
  • O Threat Stack Application Security Monitoring, um componente da Threat Stack Cloud Security Platform, é executado como um microagente, monitorando as cargas úteis dos aplicativos, enviando informações para a plataforma Threat Stack e alertando os desenvolvedores caso encontre erros relacionados a práticas de codificação segura. Ele também monitora as cargas úteis dos aplicativos em busca de comportamentos maliciosos, como ataques de cross-site scripting.

Como você pode ver, nosso software abrange muitas áreas e precisa fazer isso com rapidez, segurança, precisão e em grande escala. Com isso em mente, vamos conhecer algumas das ferramentas de teste que usamos.

Ferramentas de teste que usamos na Threat Stack

Os engenheiros de software de testes, integrados às suas respectivas equipes de funcionalidades, são responsáveis não apenas por testar novos recursos e funções em constante desenvolvimento, mas também por implementar automações para garantir que o restante do produto continue funcionando conforme o esperado.

Como prova do valor que nossa organização atribui a esses profissionais, cada Engenheiro de Testes também recebe a responsabilidade de recomendar os métodos, as ferramentas e as linguagens de automação que considerar adequados. Abaixo está uma lista de algumas das ferramentas que usamos para apoiar nossos esforços de testes automatizados. Vale ressaltar que, de modo geral, utilizamos um conjunto de ferramentas mais abrangente; nosso objetivo aqui é apresentar uma seleção delas e lembrar você de escolher as ferramentas mais adequadas aos projetos específicos em que está trabalhando.

Aviso: Os recursos mencionados nesta publicação não estão classificados por valor percebido. Tampouco nossos comentários implicam qualquer tipo de endosso. Nossa intenção é simplesmente fornecer informações que consideramos úteis para ampliar seu conhecimento sobre ferramentas de teste.

1. Capybara

Site: https://teamcapybara.github.io/capybara/

Tipo: Gratuito, Código aberto

Suporte: Grupo Ruby-Capybara no Google

Versão mais recente: 3.29.0 (2 de setembro de 2019)

Capybara é a gem Ruby que usamos com o Selenium para interagir com nossos testes de automação de interface do usuário executados no navegador ao realizar testes de interface do usuário de ponta a ponta. O Capybara contém métodos integrados que simulam como um usuário pode visitar uma página, preencher uma caixa de texto, clicar em um botão, ou selecionar uma opção em uma lista suspensa.

O pesadelo de qualquer testador de software é quando os elementos da web demoram um tempo absurdo para carregar em uma página, causando falhas inexplicáveis nos testes. Cada método fornecido pelo Capybara já inclui esperas automáticas.

O Capybara testa problemas relacionados à experiência do usuário, operando nosso produto de forma semelhante à dos nossos clientes: fazendo login em nosso aplicativo, navegando pelo site, visualizando eventos acionados por nossos sistemas de teste, criando novas regras que determinam quais eventos devem gerar alertas, analisando detalhadamente as informações dos alertas exibidas em nosso painel e atualizando diversas configurações.

2. Gauge, da ThoughtWorks

Site: http://gauge.org

Tipo: Gratuito, Código aberto

Suporte: Grupo do GetGauge no Google, Chat no Gitter

Versão mais recente: 1.0.7 (29 de agosto de 2019)

Gauge é um framework de automação de testes criado pela ThoughtWorks Studio India, que usamos para configurar nossos testes de aceitação de UI e API. Embora utilizemos o Gauge em conjunto com Ruby, ele também é compatível com Java, C#, JavaScript e Python. O Gauge é muito semelhante ao Cucumber, o framework de BDD, com pequenas diferenças:

  • Os planos de teste ficam em arquivos de especificação escritos em Markdown, em vez dos arquivos de funcionalidades do Cucumber, o que facilita a criação e a manutenção dos testes.
  • Em vez do formato Dado / Então / Quando do Cucumber, as etapas de teste são apresentadas como itens de uma lista com marcadores.

Como ferramenta de Desenvolvimento Orientado por Comportamento (BDD), o Cucumber pode se tornar um pouco prolixo à medida que o teste fica mais complexo. Com o Gauge, cada etapa é apresentada como um item claro, conciso e fácil de ler. Além disso, o Gauge oferece geração de relatórios integrada em vários formatos (XML, JSON, HTML). Ele pode ser usado tanto na linha de comando quanto em um IDE como o Visual Studio Code. Por fim, há uma ampla documentação que aborda diversos tópicos, incluindo instalação, elaboração de especificações, tutoriais com exemplos e muito mais.

3. Teste de carga com Gatling

Site: https://gatling.io/

Tipo: versões Enterprise e de código aberto versions

Suporte: Grupo do Gatling no Google

Versão mais recente: 3.2.1 (27 de agosto de 2019)

O Gatling fornece testes de carga contínuos aqui na Threat Stack. Escrito em Scala, ele funciona tanto como uma ferramenta independente quanto como uma dependência do seu produto com o Maven.

Como demonstração de sua velocidade e capacidade, conseguimos gerar três milhões de requisições em nosso ambiente de testes em apenas dez minutos e constatamos que todas elas retornaram resultados em menos de 800 milissegundos.

Como afirma a BlazeMeter em seu blog, Oito motivos para usar o Gatling em seus testes de carga, “O Gatling criou um painel de métricas detalhado que pode ser visualizado após a execução dos testes sem a necessidade de adicionar nenhum plugin. O relatório é armazenado como um arquivo HTML, que pode ser facilmente salvo para análises futuras e comparação de métricas. Além disso, o relatório é interativo, o que permite realizar análises mais detalhadas e se concentrar em solicitações específicas, além de visualizar o panorama geral.”

4. Test Kitchen da Chef.io

Site: https://kitchen.ci/

Tipo: Código aberto

Suporte: Comunidade Chef.io

Versão mais recente: 2.2.0 (26 de abril de 2019)

O Test Kitchen é o produto da Chef.io que usamos para automatizar a criação e a desativação dos diferentes ambientes da Amazon Web Services utilizados durante nossos testes. O Test Kitchen é uma ferramenta de test harness que permite executar seu código configurado de forma isolada em uma ou mais plataformas. O Kitchen oferece suporte nativo a diversas estruturas de teste, incluindo o Chef InSpec. O Kitchen é usado por todos os cookbooks da comunidade gerenciados pela Chef e é a ferramenta de integração preferida para testar cookbooks.

O Learn.Chef.io oferece uma série bem elaborada de módulos de treinamento e demonstrações, incluindo um excelente módulo chamado Introdução ao Test Kitchen.

5. ScalaTest

Site: http://www.scalatest.org

Tipo: Gratuito, Código aberto

Suporte: Grupo do ScalaTest no Google

Versão mais recente: 3.0.8 (10 de junho de 2019)

Os engenheiros de testes da Threat Stack começaram a trabalhar em parceria com nossos desenvolvedores de software para criar testes de serviço para o código Scala deles usando o ScalaTest.

Nossos testes de integração usam a trait de estilo do ScalaTest, FeatureSpec, que descreve os testes unitários no estilo de desenvolvimento orientado a testes (TDD) em um formato Dado / Quando / Então. Como a documentação do ScalaTest menciona, FeatureSpec é uma “suíte de testes na qual cada teste representa um cenário de uma funcionalidade. FeatureSpec destina-se à criação de testes de ‘nível mais alto’ do que testes unitários — por exemplo, testes de integração, testes funcionais e testes de aceitação.”

O ScalaTest disponibiliza uma ampla variedade de documentação útil em seu site, incluindo um guia detalhado de início rápido, procedimentos de instalação e um guia do usuário.

6. Chef InSpec

Site: https://kitchen.ci/docs/verifiers/inspec/

Tipo: Gratuito, Código aberto

Suporte: Comunidade Chef.io

Versão mais recente: (11 de agosto de 2019)

Na Threat Stack, usamos o Chef InSpec para criar testes baseados em Ruby e verificar se tudo está funcionando conforme o esperado após a criação dinâmica de um ambiente de teste. Os testes do InSpec são projetados para serem legíveis por humanos. Se você conhece frameworks de teste como RSpec, o código do InSpec deve lhe parecer familiar. O InSpec detecta discrepâncias e documenta as diferenças na forma de um relatório. Em seguida, podemos fazer as alterações necessárias no Chef para levar o sistema ao estado desejado.

Para ajudar você a começar, o Learn Chef Rally tem uma seção útil que orienta você na configuração de um ambiente com Docker e Docker Compose, no download do ambiente de exemplo e na exploração do ambiente usando o InSpec.

7. Mocha

Site: https://mochajs.org/

Tipo: Gratuito, Código aberto

Suporte: Grupo do Mocha no Gitter, Grupo do Mocha no Google

Versão mais recente: 3.2.1 (27 de agosto de 2019)

Mocha é um framework de testes JavaScript executado no Node.js e em navegadores, que permite realizar testes assíncronos. Como os testes do Mocha são executados sequencialmente, ele oferece relatórios mais flexíveis e precisos, além da capacidade de associar exceções não capturadas aos casos de teste corretos.

Ao usar o Mocha em um ambiente Node.js, você pode utilizar o módulo assert integrado como sua biblioteca de asserções. Na Threat Stack, combinamos o Mocha com o Chai para criar a estrutura de testes para a funcionalidade Threat Stack Application Security Monitoring .

O site do Mocha disponibiliza uma ampla variedade de documentos sobre diversos assuntos, desde uma visão geral detalhada dos recursos, instalação e primeiros passos até informações sobre recursos e tarefas específicos.

8. Cypress.io

Site: https://www.cypress.io/

Tipo:

  • Executor de testes gratuito e de código aberto test runner
  • Serviço comercial de Dashboard, gratuito para até três usuários

Suporte: Chat no Gitter; suporte por e-mail para usuários de planos pagos

Versão mais recente: 3.4.1 (29 de julho de 2019)

O Cypress.io foi desenvolvido para desenvolvedores front-end de JavaScript que precisam testar seu trabalho apenas no Chrome. O Cypress é executado no mesmo loop de execução que o nosso aplicativo, o que significa que nosso código de teste também pode acessar todas as funções, janelas, elementos da Web, temporizadores e serviços aos quais o aplicativo Threat Stack tem acesso. Também podemos ler e alterar o tráfego de rede em tempo real, o que nos permite adicionar alguns casos interessantes de testes negativos, como testar o que acontece quando um servidor de back-end está inacessível.

O Cypress.io oferece uma documentação bem organizada, com uma visão geral abrangente, informações para começar e conceitos fundamentais, incluindo orientações sobre como escrever e organizar testes. Quer descobrir o que o Cypress é capaz de fazer? A TestAutomationU acaba de lançar um novo curso, Introdução ao Cypress.

9. Jest

Site: https://jestjs.io

Tipo: Gratuito, Código aberto

Suporte: Chat do React no Discord, Grupo do JestJs no Google

Versão mais recente: 24.9 (agosto de 2019)

Nossos desenvolvedores de software full stack migraram os testes do frontend baseado em ReactJS da Threat Stack Cloud Security Platform do Mocha / Chai para o Jest, que oferece melhor suporte nativo para testar os componentes ReactJS que usamos. Com esse framework de testes JavaScript, conseguimos criar testes unitários e de integração melhores. Ambas as ferramentas, ReactJS e Jest, são desenvolvidas pelo Facebook.

Assim como ocorre com a maioria das outras ferramentas mencionadas neste artigo, o site do Jest oferece uma documentação repleta de exemplos, que aborda os primeiros passos, a configuração e uma ampla variedade de cenários de uso.

10. Apache JMeter

Site: https://jmeter.apache.org/

Tipo: Gratuito, Código aberto

Suporte: Grupo do JMeter no Google

Versão mais recente: 5.1.1 (13 de março de 2019)

O Apache JMeter é um software de código aberto desenvolvido para realizar testes de carga do comportamento funcional e medir o desempenho. De acordo com o site oficial, o JMeter “pode ser usado para testar o desempenho tanto de recursos estáticos e dinâmicos quanto de aplicações Web dinâmicas. Ele pode ser usado para simular uma carga intensa em um servidor, grupo de servidores, rede ou objeto, a fim de testar sua capacidade ou analisar o desempenho geral sob diferentes tipos de carga.”

Usamos o JMeter para analisar e medir o desempenho da nossa aplicação e dos nossos serviços. Isso nos permite testar nossa aplicação sob cargas intensas, com tráfego de vários usuários simultâneos, para identificar como podemos melhorar nossa capacidade de escalabilidade.

O JMeter disponibiliza uma série de documentos úteis (incluindo Primeiros Passos, Manual do Usuário e Melhores Práticas), além de diversos tutoriais passo a passo.

Bons testes . . .

Por melhores que sejam nossos engenheiros de testes na Threat Stack, eles não iriam muito longe sem processos sistemáticos apoiados por ferramentas poderosas. À medida que nossa plataforma evolui, nossa equipe continua aprimorando sua experiência, atualizando constantemente suas habilidades e seus conhecimentos, adotando e incorporando novas ferramentas e desenvolvendo novos métodos para garantir que continue agregando valor ao ciclo de vida de desenvolvimento de software (SDLC) da Threat Stack. Esperamos que esta publicação tenha ajudado você a entender melhor como nossa equipe de testes utiliza diversas ferramentas de testes automatizados para atender às várias funções da nossa plataforma de segurança na nuvem.

O Threat Stack agora é o F5 Distributed Cloud App Infrastructure Protection (AIP). Comece a usar o Distributed Cloud AIP com sua equipe hoje.

Compartilhar
Tags: 2019, 2020

Publicações relacionadas no blog

Entrega e proteção de agentes de IA em fábricas de IA: F5 para a arquitetura de referência NVIDIA OpenShell para agentes de IA seguros
Ecossistema F5 | 21/10/2026

Entrega e proteção de agentes de IA em fábricas de IA: F5 para a arquitetura de referência NVIDIA OpenShell para agentes de IA seguros

As soluções da F5 ampliam a Arquitetura de Referência NVIDIA OpenShell para agentes de IA seguros.

Como medir – e minimizar – o custo total de propriedade do seu Kubernetes
Ecossistema F5 | 10/12/2020

Como medir – e minimizar – o custo total de propriedade do seu Kubernetes

O Kubernetes pode ser baixado e executado gratuitamente, mas sua manutenção está longe de não ter custos. Assim como outras grandes plataformas de código aberto que são “gratuitas” apenas em um sentido simplista, o Kubernetes quase certamente exigirá investimentos para ser implantado e operado.

As-Code: a pilha de TI contínua
Ecossistema F5 | 08/10/2018

As-Code: a pilha de TI contínua

Infraestrutura, configuração, pipeline, operações. De repente, tudo é “como código”. Lori MacVittie busca esclarecer a terminologia e identificar os diferentes componentes de uma stack contínua de TI.

O estado da entrega de aplicações em 2017: automação, APIs e DevOps
Ecossistema F5 | 17/04/2017

O estado da entrega de aplicações em 2017: automação, APIs e DevOps

Explore o relatório State of Application Delivery de 2017. Leia o blog retrospectivo da F5 sobre o início da ascensão das redes declarativas e dos pipelines de DevOps.

DevOps Summit: onde a rede foi convidada para a festa
Ecossistema F5 | 11/06/2015

DevOps Summit: onde a rede foi convidada para a festa

No DevOps Summit NY, falou-se muito não apenas sobre DevOps, mas também sobre contêineres, IoT e microsserviços. As sessões se concentraram não só na mudança cultural necessária para crescer em escala com uma abordagem DevOps, mas também fizeram questão de incluir...

F5 e Nutanix convergem em infraestrutura no .NEXT
Ecossistema F5 | 08/06/2015

F5 e Nutanix convergem em infraestrutura no .NEXT

Aplicações empresariais como Microsoft SharePoint e Exchange, juntamente com a VDI, continuam sendo a espinha dorsal da sua empresa. A produtividade, embora não seja tão atraente quanto o lucro, é um fator essencial para o sucesso das operações empresariais atuais. Deixar de...