Taxa de conversão: bandit de IA vs. teste A/B em 30 dias

Parei de colocar na fila o próximo teste A/B da minha landing page com mais tráfego e entreguei a distribuição a um multi-armed bandit de IA. Trinta dias depois, a taxa de conversão em cadastros havia subido, o bandit tinha cortado automaticamente o tráfego da variante perdedora — e eu não conseguia apresentar um número de atribuição com significância estatística, porque não é isso que um bandit produz. Toda a história está nessa troca.

Taxa de conversão: o número — e a ressalva

A página é uma oferta longa que transforma tráfego pago frio e visitantes orgânicos já familiarizados com a marca em cadastros para o período de teste. A taxa de conversão de cadastros nos 30 dias anteriores à entrada do bandit era de 3.41%. Mesma página, mesma oferta, mesma composição de tráfego, 30 dias depois de entregar a alocação ao bandit: 4.62%. Isso representa um ganho relativo de 35.5% no principal evento de conversão.

Eis a ressalva, antes que alguém tire um print desse número: trata-se de um ganho no resultado acumulado, não de um efeito identificado causalmente. Um multi-armed bandit redistribui o tráfego para a variante que está vencendo naquele momento. Ele não mantém uma divisão limpa de 50/50 por tempo suficiente para gerar um intervalo de confiança sobre uma variante específica. Não há p-valor. Não há “a variante B superou a variante A com 95% de confiança”. Há apenas “mais pessoas converteram no conjunto total de visitantes do que no período de controle anterior”. São afirmações diferentes, e um conselho de administração que entende a distinção vai perguntar qual delas está sendo feita.

Para contextualizar o custo: ao longo dos 30 dias, passei ~84,000 visualizações de página pelo bandit. O gasto com ferramentas foi de $299 por um mês de Webflow Optimize no plano de 100K visualizações, mais um piloto da Coframe (preço sob consulta — volto a isso adiante). No total, foram menos de $500 em custo de plataforma para um ganho real numa página que gera um volume relevante de cadastros para teste. A conta fecha. A ressalva sobre atribuição continua valendo.

A configuração — por que descartei o plano de teste A/B

A página fica no fim de dois fluxos de tráfego: mídia paga no Meta, alimentada pela rotação entre AdCreative.ai, Pencil Pro e controle humano que descrevi antes, além do tráfego orgânico e das indicações vindas de mecanismos de IA geradas pelo playbook de GEO de 14 dias. Total: cerca de 2,800 sessões por dia, com uma divisão de 30/70 entre pago e orgânico que varia de uma semana para outra.

Esse perfil de tráfego tem exatamente o formato errado para um teste A/B limpo. Para detectar um ganho relativo de 10% com poder de 80% sobre uma taxa de conversão-base de 3.4%, eu precisava de aproximadamente 50,000 visitantes em cada braço — cerca de 35 dias para um teste de dois braços, mantendo a divisão em 50/50. Seriam cinco semanas mostrando uma variante já reconhecida como perdedora a 50% do tráfego pago enquanto eu esperava pela significância. Com CPL de $24 no lado pago, cada ponto percentual de desempenho perdido nessa variante era dinheiro sendo queimado de propósito.

Esse é o problema do arrependimento. Um teste A/B é exploração pura: a divisão permanece fixa justamente para produzir poder estatístico, e o preço é entregar uma experiência ruim à metade dos visitantes durante toda a execução. O bandit troca essa inferência limpa por resultados acumulados — explora mais a variante líder sem deixar de testar as demais, e comparações empíricas mostram uma redução de 30–60% no arrependimento acumulado em relação ao A/B com divisão igual, quando o problema é estacionário.

Minha regra de decisão antes de começar:

• Bandit quando o tráfego é escasso diante do efeito que quero detectar, exibir a variante perdedora custa caro, a página opera continuamente sem uma janela fixa de campanha e as conversões acumuladas no trimestre importam mais do que um número causal defensável.
• A/B quando preciso defender o ganho diante de quem responde pelo P&L, quando a mudança é grande e rara (preço, hero, posicionamento) ou quando as variantes são diferentes demais para aprender em conjunto.

Essa página atendia a todas as condições para um bandit. Por isso, cancelei o A/B que estava na fila e coloquei o bandit para rodar.

A stack — todas as ferramentas e todos os custos

Avaliei quatro ferramentas que oferecem otimização contínua com IA, e não apenas fluxos clássicos de teste A/B. Duas foram implantadas em produção; as outras duas passaram por uma avaliação séria, mas ficaram fora desta execução. Esta é a leitura sem maquiagem.

Coframe. Um otimizador com multi-armed bandit modificado que gera variantes de texto, elementos visuais e até código de componentes e, depois, distribui o tráfego com seu bandit. Instalação por tag de script. A empresa captou cerca de $9M. O preço é informado pelo time comercial — não existe uma página pública de preços, o que por si só já serve de alerta para o planejamento: orçamento imprevisível, um ciclo de vendas antes de qualquer teste e uma abordagem enterprise pouco amigável ao profissional solo. Rodei um piloto. A qualidade das variantes generativas foi a melhor entre as quatro opções. O atrito para contratar foi o pior.

Webflow Optimize. Construído sobre o mecanismo Intellimize adquirido pela Webflow. O plano Standard custa $299/mês para 100K visualizações de página; as faixas são 25K, 50K, 100K, 250K e 500K. Permite até 5 testes simultâneos. Funciona apenas em páginas hospedadas na Webflow — para mim não era um problema, mas é um bloqueio absoluto para qualquer site em outra plataforma. Foi a solução usada na implantação de produção por 30 dias, porque a página já estava na Webflow e a conta dos planos da Webflow já estava paga.

Optimizely Opal. Experimentação conduzida por agentes sobre a plataforma existente da Optimizely. Segundo os números publicados pela própria empresa, usuários do Opal executam 78.7% mais experimentos e 24.1% mais campanhas de personalização, além de obter um ganho de 9.3% na taxa de sucesso. São números do fornecedor, apurados com a metodologia do fornecedor; eu os apresento para que você aplique o devido desconto. Preço enterprise. Fazia sentido para uma equipe com contrato vigente da Optimizely. Não fazia sentido para uma única landing page.

VWO Copilot. Uma stack de Testing + Insights + Personalize com uma camada de IA por cima. É a plataforma mais consolidada e também a que preserva, sob os recursos de IA, o modelo mental mais clássico de teste A/B. Eu a escolheria se quisesse um fluxo A/B limpo com auxílio de IA, em vez de um fluxo centrado em bandit que oferece A/B como opção.

Nesta execução: Webflow Optimize em produção durante os 30 dias completos e Coframe em um piloto paralelo numa página secundária, para comparar a qualidade das variantes.

O playbook de 30 dias, dia a dia

Dias 0–3: instrumentar e congelar. Um único evento de conversão — cadastro para teste, confirmado pelo servidor, não um clique em botão. Qualquer coisa contabilizada no cliente inflará todas as variantes por igual, e você achará que está vencendo quando, na verdade, só está transformando ruído em resultado. Congelei o controle: a página existente ficou intacta como variante A, com um piso garantido de 20% durante toda a execução para que eu tivesse depois uma coorte de retenção como referência. Sem esse piso, o bandit teria deixado o controle quase sem tráfego assim que surgisse um líder, e eu ficaria sem base de comparação.

Dias 4–10: gerar e deixar aprender. Parti de quatro variantes que cobriam o título do hero e o texto do CTA principal, além da posição do bloco de prova social. A primeira semana é a fase de exploração do bandit. A distribuição parecia quase uniforme — 22%, 19%, 21%, 18% e 20% entre o controle + quatro variantes no dia 7. É aqui que a maioria dos operadores entra em pânico e tenta “ajudar”. Não faça isso. Mexer nas variantes durante o aprendizado reinicia os priors e desperdiça a semana.

Dias 11–21: a curva de redistribuição. Por volta do dia 12, a inclinação do bandit ficou visível. No dia 18, a variante líder recebia 41% do tráfego, o controle mantinha seu piso de 20%, duas variantes intermediárias estavam em ~15% cada e a pior já havia sido limitada a menos de 10%. É o bandit fazendo seu trabalho: cada visitante enviado à perdedora gera arrependimento, e o algoritmo o minimiza em tempo real.

Dias 22–30: fixar e decidir. Fixei a direção vencedora — não a variante literal, mas o padrão: hero mais curto, CTA orientado ao benefício, prova social acima da dobra. Exportei as variantes. A pergunta no dia 30 é: promovo a variante vencedora para um teste A/B limpo contra o controle e recupero um número causal para o conselho, ou mantenho o bandit ativo com a próxima rodada de variantes?

As salvaguardas usadas do início ao fim: piso mínimo de 20% do tráfego para o controle; kill switch caso o limite inferior de confiança de qualquer variante indicasse uma queda relativa de 50% contra o controle por mais de 48 horas; e uma verificação semanal de mudança na composição do tráfego — se a divisão entre pago e orgânico variasse mais de 10 pontos de uma semana para outra, eu congelaria o bandit até a estabilização. Tráfego não estacionário é o assassino silencioso.

O problema da atribuição — o cerne desta análise

Esta é a seção que os guias comparativos não escrevem — e a única razão para este artigo existir.

Por definição, um multi-armed bandit não consegue entregar significância estatística para uma variante isolada. O aparato estatístico do teste A/B — p-valores, intervalos de confiança e cálculos de poder — parte de uma regra fixa de alocação. Toda a proposta de valor do bandit está no fato de a regra de alocação não ser fixa: ela se adapta ao que os primeiros dados indicam. No instante em que a alocação passa a depender dos resultados, a inferência clássica deixa de funcionar. As amostras de todos os braços ficam enviesadas. Ainda é possível medir as conversões acumuladas no conjunto da população. O que não se pode fazer é uma afirmação causal limpa sobre a variante B em comparação com a variante A.

Isso não é bug. É o desenho do sistema. O bandit otimiza outro objetivo: reduzir o arrependimento acumulado e maximizar as conversões acumuladas. Comparações empíricas mostram de forma consistente que, em problemas estacionários, bandits reduzem o arrependimento em 30–60% diante de um A/B com divisão igual. “Menos arrependimento” é a métrica. “Ganho causal comprovado da variante B” não é.

Daí a disciplina necessária na escolha das palavras:

• Defensável: “Depois da implantação do bandit, a página converteu a 4.62% no conjunto de 84,000 visitantes ao longo de 30 dias, contra 3.41% na mesma página durante os 30 dias anteriores.”
• Indefensável: “A variante B causou um ganho de 35% na taxa de conversão.”

A primeira frase descreve um resultado acumulado. A segunda faz uma afirmação causal, e um bandit não fornece base para isso.

Minha solução parcial foi manter 20% do tráfego no controle. Como garanti à página original uma alocação de 20% durante todos os 30 dias, obtive uma coorte comparativa pequena, porém limpa. A coorte de controle converteu a 3.38% no período — praticamente igual à linha de base dos 30 dias anteriores. A coorte fora do controle converteu a 4.93%. Isso oferece uma leitura direcional: o ganho é real, não um artefato sazonal. Ainda não é um resultado A/B limpo — o grupo fora do controle é, ele próprio, uma composição móvel de variantes —, mas basta para dizer ao conselho: “a execução superou seu próprio grupo de retenção; aqui está a diferença, isto é o que afirmamos e isto é o que não afirmamos”.

Se você precisa de um número causal defensável, use o bandit para encontrar a direção candidata e depois promova a variante líder para um teste A/B 50/50 contra o controle. Esse fluxo respeita tanto o orçamento de arrependimento do operador quanto o padrão de prova do analista.

Onde o resultado não apareceu

Apliquei o mesmo playbook a duas páginas nas quais o bandit teve desempenho inferior ao de um teste A/B convencional. A primeira era uma página de preços com pouco tráfego — menos de 400 sessões por dia. O bandit demorou demais para sair da exploração, e as leituras direcionais eram ruidosas. Um A/B simples, dividido em 50/50 por seis semanas, produziu uma resposta mais clara e exigiu menos esforço operacional. A segunda era um fluxo de checkout em que o evento de conversão ocorria 3–5 dias depois da exposição à variante. Bandits pressupõem feedback razoavelmente rápido; com um intervalo longo entre exposição e resultado, o algoritmo redistribui o tráfego com dados defasados e persegue fantasmas.

Variantes generativas que rejeitei: cerca de 40% do que a Coframe produziu e uma parcela menor do Webflow Optimize. Os sinais eram os de sempre — travessões onde não deveriam estar, verbos de impacto genéricos e listas paralelas com o ritmo de um modelo tentando soar como redator publicitário. Tudo que caía no vale da estranheza do tom de voz da marca era eliminado antes de receber tráfego. A taxa de rejeição é o custo que ninguém informa nas páginas de preços.

A armadilha do tráfego não estacionário quase me pegou na terceira semana. A participação do tráfego pago saltou de 30% para 47% em quatro dias quando uma campanha no Meta ganhou escala. A variante líder do bandit havia vencido com uma composição de tráfego diferente daquela que agora chegava, e sua conversão começou a perder força. Congelei o bandit por 48 horas, esperei a composição se estabilizar e reiniciei com uma nova exploração. Se tivesse deixado o sistema rodar, ele teria aprendido a lição errada com uma audiência temporariamente diferente.

O princípio que pode ser repetido

Esta é a regra de decisão em termos gerais, sem as particularidades da minha página:

Use um bandit quando o tráfego for escasso diante do ganho que você precisa detectar; quando mostrar uma variante perdedora à metade dos visitantes tiver um custo relevante; quando a página operar continuamente, sem uma janela de campanha; e quando as conversões acumuladas no trimestre forem mais importantes do que um número causal defensável para uma única variante. Use um teste A/B quando for necessário defender o ganho diante de quem responde pelo P&L; quando a mudança for grande e rara o bastante para justificar uma leitura limpa antes do compromisso; ou quando a intenção for levar a variante vencedora a outros pontos e você precisar saber se ela realmente funcionou.

A maioria dos operadores acabará usando os dois. Bandit nas superfícies de conversão sempre ativas — homepage, página principal da oferta, fluxo de cadastro. A/B nas apostas de direção — preço, posicionamento, nova versão do hero. O erro é tratá-los como metodologias concorrentes. Cada uma otimiza um objetivo diferente. O erro dos guias comparativos é vender o bandit como uma evolução gratuita, sem contrapartida estatística. Não é. O preço é o seu p-valor: pague-o de forma consciente ou não faça a troca.

O custo para operar continuamente na escala descrita: $299/mês pelo Webflow Optimize no plano de 100K visualizações de página, com faixas superiores conforme o tráfego cresce. Reserve também meio dia por semana de um operador para revisar a distribuição, eliminar variantes ruins e monitorar desvios não estacionários. Esse é o número real. Se você está incorporando esse fluxo a uma agência ou estrutura interna de growth e quer ajuda para integrar corretamente a atribuição de conversão ao CRM e ao data warehouse, essa é outra conversa — a implantação do bandit em si exige um operador, uma tarde e uma tag de script.

Um único CTA, porque este texto é longo e você merece um próximo passo claro: o checklist de auditoria de workflows de negócios com IA é o que uso para mapear quais pontos aceitam bandit e quais exigem um A/B limpo. Aplique-o ao seu funil antes de escolher uma ferramenta. Começar pela ferramenta é o caminho para equipes de growth pagarem por uma capacidade que não têm tráfego para usar.