"Eu acho que a versão azul converte mais" é opinião. Testar as duas versões com o público real e ver qual converte mais é dado. A diferença entre as duas frases é exatamente o que separa teste A/B de discussão de bar disfarçada de estratégia.
Teste A/B é a comparação controlada entre duas versões de uma página, anúncio ou e-mail, expondo cada uma a uma fatia do público simultaneamente para medir qual performa melhor em um objetivo definido antes do teste começar. A palavra chave é "controlada": muda uma variável de cada vez, mede com rigor, e só declara vencedor quando o resultado é estatisticamente confiável, não só "parece que foi melhor".
A relevância do teste A/B está em tirar a decisão da opinião de quem grita mais alto na reunião e colocar no comportamento real de quem paga a conta no fim do mês. Cor de botão, texto de chamada, imagem de capa, assunto de e-mail: tudo isso pode (e deveria) ser testado em vez de decidido por gosto pessoal do diretor de marketing ou do dono da empresa.
O problema mais comum, e mais silenciado, é rodar teste A/B com amostra pequena demais e declarar vencedor no primeiro sinal de diferença. Sem volume suficiente de dados, qualquer variação pode ser ruído estatístico se fingindo de tendência. Isso não é teste A/B, é achismo com gráfico bonito, decisão de opinião maquiada de método científico para impressionar quem não entende de estatística.
A verdade que ninguém gosta de ouvir: a maioria dos "testes A/B" que agência mostra em relatório roda pouco tempo, com pouco tráfego, e é interrompida assim que um resultado favorável aparece. Teste de verdade exige paciência, tamanho de amostra calculado antes de começar e a coragem de aceitar quando o resultado é "sem diferença significativa". Ninguém gosta dessa resposta, mas ela é mais honesta do que fingir certeza que os números não sustentam.
