Quarta, 9h17. O relatório semanal da campanha chega antes do café.

Tem resumo executivo, comparação com a semana anterior e recomendações para o próximo período. O arquivo está organizado. O texto, convincente. Até aquele parágrafo que sempre precisava de uma ajeitada ficou bom.

Aí alguém abre a planilha.

“Por que ele está dizendo que a campanha melhorou?”

Silêncio.

“Não sei. O prompt é o mesmo.”

Pronto. O prompt virou testemunha de defesa. Só falta chegar à reunião acompanhado de advogado.

(A cena é hipotética. Mas aposto que você já esteve nela, de um lado ou do outro.)

Eu acho que a gente está confundindo duas conquistas diferentes: fazer uma automação funcionar e conseguir confiar no funcionamento dela ao longo do tempo.

Acertar o primeiro prompt inaugura o processo. Não encerra a responsabilidade por ele.

Uma automação que prepara relatórios é uma linha de produção. O prompt pode ser a instrução colada na parede, mas não é a fábrica inteira. Tem matéria-prima entrando, equipamento trabalhando, passagem entre etapas e alguém recebendo o produto no final.

A instrução continuar igual não prova que nada mudou nessa linha.

O costume também entra na automação

Homem laranja toma café enquanto caixas passam numa esteira; mulher ciano observa uma caixa irregular através de lupa, sem acusação.
Ilustração criada com IA

No começo, a gente confere tudo. Abre a planilha, compara números, lê cada conclusão. Depois de algumas entregas boas, o relatório ganha um privilégio: começa a passar sem revista.

É compreensível. Se a ferramenta foi criada para economizar trabalho, ninguém quer reconstruir o relatório inteiro só para conferir se ela trabalhou direito.

Mas existe uma diferença entre revisar melhor e parar de revisar.

Um estudo de Lee e colegas, da Microsoft Research e da Carnegie Mellon, publicado na CHI em 2025, ouviu 319 trabalhadores do conhecimento e reuniu 936 exemplos de uso de IA no trabalho. Maior confiança na IA esteve associada a menos pensamento crítico relatado pelos participantes. Era uma pesquisa de autorrelato, não um experimento demonstrando perda de capacidade. Ainda assim, ela ajuda a formular uma pergunta importante: estamos verificando a entrega ou apenas reconhecendo a aparência de algo que já funcionou? Fonte: estudo de Lee e colegas.

Esse problema não nasceu com o chatbot. Em 1999, Linda Skitka, Kathleen Mosier e Mark Burdick estudaram 80 universitários em tarefas simuladas de voo e monitoramento. Quando o auxílio automático deixava de sinalizar determinados eventos, participantes apoiados por ele deixavam passar mais dessas ocorrências. Não era um estudo com agências, nem sobre IA generativa. Era uma investigação sobre o quanto a presença de uma ajuda pode mudar nossa vigilância. Fonte: Does automation bias decision-making?.

A pesquisa de 2025 foi feita em inglês, com participantes de diferentes países. Nenhum desses trabalhos foi desenhado para representar agências brasileiras. Não estou transformando esses resultados numa estatística sobre o nosso mercado. A conexão com a agência é uma reflexão: se a atenção oscila conforme a confiança, a conferência precisa ter lugar no processo. Não pode depender de alguém acordar desconfiado.

A instrução ficou. A fábrica mudou

Visão ampla de linha industrial modular; folha lisa fixa na parede, três máquinas coloridas intercambiadas e matérias-primas diferentes, trio verifica conexões.
Ilustração criada com IA

O mesmo prompt pode receber uma planilha diferente, mesmo que o arquivo continue com o mesmo nome.

Uma coluna mudou. A plataforma passou a exportar valores em outro formato. O período veio incompleto. Uma campanha foi renomeada. O sistema que buscava informações deixou de encontrar um documento importante.

Também pode mudar o modelo usado pela automação, uma configuração, uma ferramenta conectada ou a forma como as informações chegam até ele. E há variação entre respostas que não depende de alguém ter editado a instrução.

A documentação da OpenAI reconhece a variabilidade das saídas e possíveis diferenças de comportamento entre versões de modelos. Recomenda fixar versões específicas, quando disponíveis, e avaliar o comportamento da aplicação. Isso não significa que toda atualização estrague alguma coisa. Significa que manter o texto do pedido não congela o sistema inteiro. Fonte: documentação da API.

Pensa numa produtora: manter o roteiro não garante que o filme saia igual se mudarem locação, equipamento e material disponível. Às vezes a mudança melhora o trabalho. Às vezes cria um problema. O roteiro sozinho não responde qual das duas aconteceu.

Por isso, antes de reescrever o prompt pela décima vez, eu perguntaria: o que entrou diferente? O que mudou no caminho? Qual foi a última versão que passou pelos nossos testes?

Diferente não é sinônimo de errado

Bancada com duas caixas de laços diferentes contendo a mesma peça perfeita; uma terceira guarda peça rachada; mulher mais velha distingue conteúdo de embalagem.
Ilustração criada com IA

Aqui tem uma armadilha: transformar consistência em obrigação de repetir as mesmas frases.

Se o resumo ficou mais curto e manteve todas as informações necessárias, talvez tenha melhorado. Se trocou “aumento” por “crescimento”, a operação provavelmente sobrevive.

Agora, se comparou períodos incompatíveis, inventou um dado ausente ou recomendou aumentar investimento sem base, a conversa é outra.

O teste precisa separar preferência de redação de falha de entrega.

Num relatório de campanha, por exemplo, eu esperaria que ele identificasse o período analisado, preservasse os números, distinguisse resultado de hipótese e apontasse o que não conseguiu concluir. Se não há dado da semana anterior, a resposta correta pode ser justamente não fazer a comparação.

“Não dá para concluir com os dados disponíveis” não é um relatório preguiçoso. Pode ser o único relatório responsável daquele lote.

A fábrica não precisa entregar todas as caixas com o laço na mesma posição. Precisa garantir que o conteúdo corresponde à etiqueta.

Guarde exemplos, não só o prompt

Armário de amostras geométricas, uma inteira, uma incompleta e uma deformada; dupla compara saída da pequena máquina com referência da prateleira.
Ilustração criada com IA

A pasta da automação costuma ter o prompt campeão. Aquele que finalmente funcionou depois de um monte de ajustes.

Eu guardaria também os exemplos que provam o que “funcionou” quer dizer.

Não precisa começar com um laboratório cinematográfico. Precisa começar com situações que representem o trabalho de verdade, acompanhadas do que a entrega deve respeitar.

Um conjunto inicial poderia incluir um relatório completo, outro com informação faltando, um período sem veiculação e uma planilha com formato inesperado. São exemplos de teste, não uma quantidade mágica nem uma certificação de qualidade.

Em cada um, vale registrar o comportamento esperado. No caso completo, conferir a comparação. No incompleto, exigir que a ausência apareça. No período sem veiculação, não aceitar uma explicação inventada para a falta de resultados. No arquivo inválido, esperar uma interrupção clara em vez de uma conclusão criativa.

A prática de avaliar mudanças, incluir exceções e ampliar os casos conforme surgem problemas aparece também nas orientações técnicas sobre avaliações da OpenAI. Não é preciso comprar uma plataforma específica para adotar esse raciocínio.

A ideia é simples: antes de mudar a linha de produção, passe por ela algumas peças cujo resultado você consegue conferir.

E não teste apenas a resposta isolada. Confira se o arquivo foi lido corretamente, se o período certo chegou à análise e se o relatório final preservou as informações. Um texto pode estar coerente com uma entrada errada.

O teste precisa conhecer o dia ruim

Bancada de teste recebe papel amassado, peças desiguais e cabo desconectado; equipe prepara testes sob nuvem metafórica de chuva, clima construtivo.
Ilustração criada com IA

Uma demonstração quase sempre usa uma planilha organizada. O trabalho de verdade manda a aba “final_agora_vai” com uma coluna escondida e dois nomes para a mesma campanha.

Não é porque alguém quer sabotar a automação. É porque a operação acontece entre ferramentas, pessoas, prazos e convenções que nem sempre foram combinadas.

Se o teste só conhece o dia perfeito, ele pouco sabe sobre a agência.

Eu colocaria na conversa quem prepara o dado e quem recebe o relatório. O atendimento pode perceber uma conclusão que cria expectativa errada no cliente. A mídia pode enxergar uma comparação inválida. Operações pode identificar que a informação necessária nunca chega naquele horário.

Não é criar uma comissão para aprovar cada vírgula. É definir o que não pode sair errado antes que o erro chegue ao destinatário.

E tem uma escolha de projeto aqui: cálculo que precisa ser exato pode ficar numa fórmula ou numa rotina determinística, com o modelo ajudando a explicar o resultado. Não há mérito especial em pedir à IA que faça todas as etapas se isso torna a conferência mais difícil.

Automatizar não é entregar a fábrica inteira para uma única máquina. É distribuir o trabalho de um jeito que faça sentido.

Quem percebe quando a qualidade escapa?

Posto de observação sobre esteira curva, trio em posições complementares com lupa e amostra; uma peça irregular detectada antes da saída.
Ilustração criada com IA

A automação passou pelos testes. Entrou em uso. Acabou?

Não. Agora começa a parte menos fotogênica: acompanhar.

Eu faria alguns combinados explícitos:

  • Defina o que bloqueia a entrega. Número alterado, conclusão sem evidência e informação confidencial no lugar errado não são ajustes de estilo. O relatório deve parar para revisão.
Barreira física vermelha interrompe caixa com peça rachada na esteira antes da saída; mulher ciano aciona alavanca, sem símbolo escrito.
Ilustração criada com IA
  • Registre o que mudou. Guarde versão do prompt, identificação do modelo quando disponível, configurações relevantes e mudanças nas integrações. Sem isso, a investigação vira adivinhação coletiva.
Homem laranja organiza modelos em miniatura de máquinas e amostras em gavetas coloridas; caminho visual ordenado de versões, sem etiquetas.
Ilustração criada com IA
  • Proteja os exemplos. Prefira casos fictícios ou dados tratados para reduzir exposição. Guardar tudo que passou pela automação pode criar um problema de confidencialidade maior do que o problema que você queria resolver.
Mulher mais velha coloca peças geométricas anônimas em bancada de teste enquanto pasta fechada fica em cofre; privacidade sem textos ou símbolos escritos.
Ilustração criada com IA
  • Dê nome ao acompanhamento. Combine quem recebe os alertas, revisa amostras e decide se a automação continua. “O time olha” é um jeito simpático de deixar uma tarefa sem dono.
Mulher ciano assume posto de revisão com lupa e amostra, colegas entregam caixa de forma cooperativa, responsabilidade clara sem hierarquia hostil.
Ilustração criada com IA
  • Tenha uma saída. Se aparecer uma falha relevante, suspenda o envio automático e use a última configuração validada, quando possível, ou um fluxo manual. Recuperar o controle importa mais do que manter a luzinha verde.
Bifurcação de esteira, máquina parada de um lado e mesa manual organizada do outro; dupla redireciona caixa para trabalho manual seguro.
Ilustração criada com IA

O ritmo dessa conferência depende da consequência do erro. Uma sugestão de título e um relatório que orienta investimento não pedem o mesmo cuidado.

Também não existe retorno automático ao passado se o fornecedor retirou uma versão ou uma fonte deixou de funcionar. Por isso, o plano de contingência precisa incluir uma alternativa viável, não apenas o botão imaginário de desfazer.

Manutenção faz parte da economia

Mulher mais velha ajusta engrenagem enquanto demais conferem amostras, máquina pequena eficiente sem excesso de trabalho; ampulheta sem marcações.
Ilustração criada com IA

A automação economiza tempo. A manutenção consome uma parte dele. As duas coisas podem ser verdade ao mesmo tempo.

Se a conta só fecha quando ninguém confere nada, talvez a gente tenha calculado a economia com uma etapa faltando.

Isso conversa com O tempo que a tecnologia devolve: não basta ganhar minutos. Importa o que a gente faz com eles. Uma parte pode virar atenção melhor distribuída, em vez de desaparecer junto com a conferência.

Eu não quero um profissional refazendo cada relatório do zero. Quero uma operação que saiba onde olhar, o que comparar e quando interromper.

Quando surgir um problema novo, ele vira um exemplo permanente de teste. Assim, o erro não termina apenas numa correção apressada. Ele melhora a capacidade da equipe de perceber aquela falha na próxima mudança.

A frase que eu levaria para a próxima reunião é esta:

“Antes de trocar, vamos rodar os mesmos casos e combinar o que não pode piorar.”

Vale para um modelo novo, uma integração, uma mudança de prompt ou uma nova fonte de dados. Não é uma promessa de eliminar surpresa. É um jeito de parar de receber toda surpresa como se fosse a primeira.

Pra levar deste artigo

Trio ao redor de mesa iluminada com pequena linha de produção em miniatura, caixa-amostra e ferramentas guardadas, operação estável; composição calorosa de fechamento.
Ilustração criada com IA
  • O prompt é uma parte da automação. Dados, modelos, ferramentas e contexto também mudam a entrega.
  • Uma resposta diferente só é um problema quando deixa de atender a um critério relevante. Defina esses critérios antes.
  • Guarde casos reais tratados ou exemplos fictícios, incluindo ausências, exceções e erros de entrada.
  • Teste mudanças antes de liberar e acompanhe o funcionamento depois. Um resultado bom não garante o próximo.
  • Combine quem revisa, o que interrompe o fluxo e qual alternativa mantém o trabalho andando quando a automação falha.

No fim, dizer que qualidade importa e montar uma operação sem espaço para conferência são duas mensagens diferentes. É uma conversa que continua em Discurso versus ambiente. A instrução na parede pode ser ótima. Mas é a fábrica funcionando que entrega o trabalho.

Essa é a minha opinião.

ORIGEM E CONTEXTO

Texto de opinião do Mamu.

Conteúdo e reflexões escritas a partir da experiência do(a) autor(a).

Uma conversa puxa a outra.

FEITO PARA VOCÊ

No seu e-mail.

Receba conteúdos novos e boas referências sobre projetos, operações, pessoas e IA, sempre que uma edição ficar pronta.

Contato

Essa conversa pode ajudar alguém?

Compartilhe com quem trabalha com você. E aproveitem para trocar ideias sobre o que dá para colocar em prática.