Quarta, 9h17. O relatório semanal da campanha chega antes do café.
Tem resumo executivo, comparação com a semana anterior e recomendações para o próximo período. O arquivo está organizado. O texto, convincente. Até aquele parágrafo que sempre precisava de uma ajeitada ficou bom.
Aí alguém abre a planilha.
“Por que ele está dizendo que a campanha melhorou?”
Silêncio.
“Não sei. O prompt é o mesmo.”
Pronto. O prompt virou testemunha de defesa. Só falta chegar à reunião acompanhado de advogado.
(A cena é hipotética. Mas aposto que você já esteve nela, de um lado ou do outro.)
Eu acho que a gente está confundindo duas conquistas diferentes: fazer uma automação funcionar e conseguir confiar no funcionamento dela ao longo do tempo.
Acertar o primeiro prompt inaugura o processo. Não encerra a responsabilidade por ele.
Uma automação que prepara relatórios é uma linha de produção. O prompt pode ser a instrução colada na parede, mas não é a fábrica inteira. Tem matéria-prima entrando, equipamento trabalhando, passagem entre etapas e alguém recebendo o produto no final.
A instrução continuar igual não prova que nada mudou nessa linha.
O costume também entra na automação

No começo, a gente confere tudo. Abre a planilha, compara números, lê cada conclusão. Depois de algumas entregas boas, o relatório ganha um privilégio: começa a passar sem revista.
É compreensível. Se a ferramenta foi criada para economizar trabalho, ninguém quer reconstruir o relatório inteiro só para conferir se ela trabalhou direito.
Mas existe uma diferença entre revisar melhor e parar de revisar.
Um estudo de Lee e colegas, da Microsoft Research e da Carnegie Mellon, publicado na CHI em 2025, ouviu 319 trabalhadores do conhecimento e reuniu 936 exemplos de uso de IA no trabalho. Maior confiança na IA esteve associada a menos pensamento crítico relatado pelos participantes. Era uma pesquisa de autorrelato, não um experimento demonstrando perda de capacidade. Ainda assim, ela ajuda a formular uma pergunta importante: estamos verificando a entrega ou apenas reconhecendo a aparência de algo que já funcionou? Fonte: estudo de Lee e colegas.
Esse problema não nasceu com o chatbot. Em 1999, Linda Skitka, Kathleen Mosier e Mark Burdick estudaram 80 universitários em tarefas simuladas de voo e monitoramento. Quando o auxílio automático deixava de sinalizar determinados eventos, participantes apoiados por ele deixavam passar mais dessas ocorrências. Não era um estudo com agências, nem sobre IA generativa. Era uma investigação sobre o quanto a presença de uma ajuda pode mudar nossa vigilância. Fonte: Does automation bias decision-making?.
A pesquisa de 2025 foi feita em inglês, com participantes de diferentes países. Nenhum desses trabalhos foi desenhado para representar agências brasileiras. Não estou transformando esses resultados numa estatística sobre o nosso mercado. A conexão com a agência é uma reflexão: se a atenção oscila conforme a confiança, a conferência precisa ter lugar no processo. Não pode depender de alguém acordar desconfiado.
A instrução ficou. A fábrica mudou

O mesmo prompt pode receber uma planilha diferente, mesmo que o arquivo continue com o mesmo nome.
Uma coluna mudou. A plataforma passou a exportar valores em outro formato. O período veio incompleto. Uma campanha foi renomeada. O sistema que buscava informações deixou de encontrar um documento importante.
Também pode mudar o modelo usado pela automação, uma configuração, uma ferramenta conectada ou a forma como as informações chegam até ele. E há variação entre respostas que não depende de alguém ter editado a instrução.
A documentação da OpenAI reconhece a variabilidade das saídas e possíveis diferenças de comportamento entre versões de modelos. Recomenda fixar versões específicas, quando disponíveis, e avaliar o comportamento da aplicação. Isso não significa que toda atualização estrague alguma coisa. Significa que manter o texto do pedido não congela o sistema inteiro. Fonte: documentação da API.
Pensa numa produtora: manter o roteiro não garante que o filme saia igual se mudarem locação, equipamento e material disponível. Às vezes a mudança melhora o trabalho. Às vezes cria um problema. O roteiro sozinho não responde qual das duas aconteceu.
Por isso, antes de reescrever o prompt pela décima vez, eu perguntaria: o que entrou diferente? O que mudou no caminho? Qual foi a última versão que passou pelos nossos testes?
Diferente não é sinônimo de errado

Aqui tem uma armadilha: transformar consistência em obrigação de repetir as mesmas frases.
Se o resumo ficou mais curto e manteve todas as informações necessárias, talvez tenha melhorado. Se trocou “aumento” por “crescimento”, a operação provavelmente sobrevive.
Agora, se comparou períodos incompatíveis, inventou um dado ausente ou recomendou aumentar investimento sem base, a conversa é outra.
O teste precisa separar preferência de redação de falha de entrega.
Num relatório de campanha, por exemplo, eu esperaria que ele identificasse o período analisado, preservasse os números, distinguisse resultado de hipótese e apontasse o que não conseguiu concluir. Se não há dado da semana anterior, a resposta correta pode ser justamente não fazer a comparação.
“Não dá para concluir com os dados disponíveis” não é um relatório preguiçoso. Pode ser o único relatório responsável daquele lote.
A fábrica não precisa entregar todas as caixas com o laço na mesma posição. Precisa garantir que o conteúdo corresponde à etiqueta.
Guarde exemplos, não só o prompt

A pasta da automação costuma ter o prompt campeão. Aquele que finalmente funcionou depois de um monte de ajustes.
Eu guardaria também os exemplos que provam o que “funcionou” quer dizer.
Não precisa começar com um laboratório cinematográfico. Precisa começar com situações que representem o trabalho de verdade, acompanhadas do que a entrega deve respeitar.
Um conjunto inicial poderia incluir um relatório completo, outro com informação faltando, um período sem veiculação e uma planilha com formato inesperado. São exemplos de teste, não uma quantidade mágica nem uma certificação de qualidade.
Em cada um, vale registrar o comportamento esperado. No caso completo, conferir a comparação. No incompleto, exigir que a ausência apareça. No período sem veiculação, não aceitar uma explicação inventada para a falta de resultados. No arquivo inválido, esperar uma interrupção clara em vez de uma conclusão criativa.
A prática de avaliar mudanças, incluir exceções e ampliar os casos conforme surgem problemas aparece também nas orientações técnicas sobre avaliações da OpenAI. Não é preciso comprar uma plataforma específica para adotar esse raciocínio.
A ideia é simples: antes de mudar a linha de produção, passe por ela algumas peças cujo resultado você consegue conferir.
E não teste apenas a resposta isolada. Confira se o arquivo foi lido corretamente, se o período certo chegou à análise e se o relatório final preservou as informações. Um texto pode estar coerente com uma entrada errada.
O teste precisa conhecer o dia ruim

Uma demonstração quase sempre usa uma planilha organizada. O trabalho de verdade manda a aba “final_agora_vai” com uma coluna escondida e dois nomes para a mesma campanha.
Não é porque alguém quer sabotar a automação. É porque a operação acontece entre ferramentas, pessoas, prazos e convenções que nem sempre foram combinadas.
Se o teste só conhece o dia perfeito, ele pouco sabe sobre a agência.
Eu colocaria na conversa quem prepara o dado e quem recebe o relatório. O atendimento pode perceber uma conclusão que cria expectativa errada no cliente. A mídia pode enxergar uma comparação inválida. Operações pode identificar que a informação necessária nunca chega naquele horário.
Não é criar uma comissão para aprovar cada vírgula. É definir o que não pode sair errado antes que o erro chegue ao destinatário.
E tem uma escolha de projeto aqui: cálculo que precisa ser exato pode ficar numa fórmula ou numa rotina determinística, com o modelo ajudando a explicar o resultado. Não há mérito especial em pedir à IA que faça todas as etapas se isso torna a conferência mais difícil.
Automatizar não é entregar a fábrica inteira para uma única máquina. É distribuir o trabalho de um jeito que faça sentido.
Quem percebe quando a qualidade escapa?

A automação passou pelos testes. Entrou em uso. Acabou?
Não. Agora começa a parte menos fotogênica: acompanhar.
Eu faria alguns combinados explícitos:
- Defina o que bloqueia a entrega. Número alterado, conclusão sem evidência e informação confidencial no lugar errado não são ajustes de estilo. O relatório deve parar para revisão.

- Registre o que mudou. Guarde versão do prompt, identificação do modelo quando disponível, configurações relevantes e mudanças nas integrações. Sem isso, a investigação vira adivinhação coletiva.

- Proteja os exemplos. Prefira casos fictícios ou dados tratados para reduzir exposição. Guardar tudo que passou pela automação pode criar um problema de confidencialidade maior do que o problema que você queria resolver.

- Dê nome ao acompanhamento. Combine quem recebe os alertas, revisa amostras e decide se a automação continua. “O time olha” é um jeito simpático de deixar uma tarefa sem dono.

- Tenha uma saída. Se aparecer uma falha relevante, suspenda o envio automático e use a última configuração validada, quando possível, ou um fluxo manual. Recuperar o controle importa mais do que manter a luzinha verde.

O ritmo dessa conferência depende da consequência do erro. Uma sugestão de título e um relatório que orienta investimento não pedem o mesmo cuidado.
Também não existe retorno automático ao passado se o fornecedor retirou uma versão ou uma fonte deixou de funcionar. Por isso, o plano de contingência precisa incluir uma alternativa viável, não apenas o botão imaginário de desfazer.
Manutenção faz parte da economia

A automação economiza tempo. A manutenção consome uma parte dele. As duas coisas podem ser verdade ao mesmo tempo.
Se a conta só fecha quando ninguém confere nada, talvez a gente tenha calculado a economia com uma etapa faltando.
Isso conversa com O tempo que a tecnologia devolve: não basta ganhar minutos. Importa o que a gente faz com eles. Uma parte pode virar atenção melhor distribuída, em vez de desaparecer junto com a conferência.
Eu não quero um profissional refazendo cada relatório do zero. Quero uma operação que saiba onde olhar, o que comparar e quando interromper.
Quando surgir um problema novo, ele vira um exemplo permanente de teste. Assim, o erro não termina apenas numa correção apressada. Ele melhora a capacidade da equipe de perceber aquela falha na próxima mudança.
A frase que eu levaria para a próxima reunião é esta:
“Antes de trocar, vamos rodar os mesmos casos e combinar o que não pode piorar.”
Vale para um modelo novo, uma integração, uma mudança de prompt ou uma nova fonte de dados. Não é uma promessa de eliminar surpresa. É um jeito de parar de receber toda surpresa como se fosse a primeira.
Pra levar deste artigo

- O prompt é uma parte da automação. Dados, modelos, ferramentas e contexto também mudam a entrega.
- Uma resposta diferente só é um problema quando deixa de atender a um critério relevante. Defina esses critérios antes.
- Guarde casos reais tratados ou exemplos fictícios, incluindo ausências, exceções e erros de entrada.
- Teste mudanças antes de liberar e acompanhe o funcionamento depois. Um resultado bom não garante o próximo.
- Combine quem revisa, o que interrompe o fluxo e qual alternativa mantém o trabalho andando quando a automação falha.
No fim, dizer que qualidade importa e montar uma operação sem espaço para conferência são duas mensagens diferentes. É uma conversa que continua em Discurso versus ambiente. A instrução na parede pode ser ótima. Mas é a fábrica funcionando que entrega o trabalho.
Essa é a minha opinião.
No Instagram
Este artigo também virou carrossel no Instagram. Passa lá pra comentar e seguir o Out of Scope.
Ver o carrossel no Instagram (abre em nova aba)ORIGEM E CONTEXTO
Texto de opinião do Mamu.
Conteúdo e reflexões escritas a partir da experiência do(a) autor(a).


