Saturno tem um lago de chocolate no polo norte, tia, disse o Davi, oito anos, sem piscar. Ele estava no meio da explicação do trabalho de ciências e tinha acabado de acertar que os anéis do planeta são de gelo e poeira. A Rosana, que ajudava o sobrinho com a cartolina na mesa da sala, levou uns segundos para perceber. A frase veio no mesmo tom das outras, com a mesma segurança e o mesmo encaixe num raciocínio que fazia sentido até ali. O Davi não mentiu. Tinha uma tarefa e um buraco no que sabia, e preencheu o buraco com algo que combinava com o resto.

Alucinação da IA é o nome que se dá quando o sistema inventa uma informação falsa, inexistente ou distorcida e entrega como se fosse verdade. Pode ser um número, uma data, o nome de um estudo, uma citação, um link, uma lei ou um detalhe sobre uma empresa. O termo vem da psicologia, mas a comparação vale só pelo efeito. A máquina não vê coisas. Ela produz um texto plausível no lugar de um fato que não tem, do mesmo jeito que o Davi fez com o lago. Saber disso ajuda a decidir quando confiar, quando desconfiar e como conferir antes que o erro chegue ao cliente.

Por que a máquina preenche o buraco

Um modelo de linguagem, que é o motor dos assistentes de conversa, foi treinado para continuar textos de um jeito convincente. A cada passo, ele escolhe o pedaço seguinte com base no que costuma vir depois. Se a pergunta tem uma resposta que aparece muito nos dados de treino, como a capital da França ou a fórmula da água, a continuação mais provável bate com o fato. Se a pergunta é rara, específica ou recente, a continuação mais provável pode ser só algo que soa como resposta.

O ponto delicado é que o modelo não tem um alarme confiável que dispara quando não sabe. Ele foi moldado para ser útil e responder. Peça três estudos sobre consumo de chá gelado entre jovens e a forma de uma resposta útil é uma lista com nome de instituto, ano e conclusão. Se os estudos não estiverem guardados, ele pode montar a lista mesmo assim, com nomes de cara oficial e anos que parecem recentes.

As ferramentas melhoraram. Várias admitem incerteza, pesquisam na internet ou mostram fontes. Melhorar, porém, não quer dizer que o problema acabou. Até com link é preciso abrir. Já aconteceu de a fonte existir e não dizer o que a resposta afirmava.

Criança aprende cedo em que assunto a imaginação entra. Com IA dá para fazer o mesmo mapa de terrenos de risco. Quanto mais específico, verificável e raro o dado, maior a chance de invenção. Em agência e produtora, os casos mais comuns são estes:

  • Números de mercado, porcentagens e tamanhos de público.
  • Nomes de pesquisas, institutos, relatórios e autores.
  • Citações entre aspas atribuídas a pessoas reais.
  • Datas de lançamento, de campanhas antigas e de prêmios.
  • Leis, artigos de lei, normas de publicidade e regras de plataforma.
  • Links e referências bibliográficas.
  • Detalhes sobre empresa ou pessoa pouco conhecida, inclusive o próprio cliente.
  • Especificações de equipamento, formatos e prazos de veiculação.

A apresentação de quinta

Esse episódio foi inventado, mas quem trabalha em agência vai reconhecer o roteiro. Na Taquara Comunicação, a planejadora Mariana Okoye fechava uma apresentação para uma marca de bebidas. Faltava um slide de contexto sobre hábitos de consumo, e o prazo era a manhã seguinte.

Ela perguntou para a IA e recebeu um parágrafo excelente: um dado de pesquisa atribuído a um instituto de nome convincente, mais uma frase de especialista entre aspas. Colou no slide. O diretor de criação, Leandro Fujimoto, gostou tanto do número que quis usá-lo como gancho da campanha. E quem garante que ele existe? Ninguém, até alguém procurar.

Quem salvou a reunião foi o Rui Albuquerque, do atendimento, que tinha o hábito de pedir a fonte de qualquer número antes de apresentar. A Mariana foi atrás do estudo. Não achou o relatório, nem o instituto, nem o especialista. O dado tinha sido fabricado do começo ao fim, com a mesma tranquilidade do lago de chocolate.

A correção levou meia hora. Ela trocou o número por uma pesquisa pública que conseguiu verificar e reescreveu o gancho a partir de uma observação real sobre o público. O estrago que não aconteceu seria bem maior. Imagine o cliente perguntando de onde saiu o número, na frente da diretoria dele.

Depois disso, a Taquara adotou uma regra curta: número sem fonte aberta, lida por alguém do time, não entra em apresentação. Não importa de onde veio.

Rotina de conferência em quatro perguntas

Não dá para conferir cada vírgula, e nem precisa. Um texto de abertura para redes sociais tem risco baixo. Um dado que sustenta campanha tem risco alto. A rotina abaixo leva poucos minutos e fica mais rigorosa quando a resposta vai virar fato diante de alguém.

  • Isso é opinião, sugestão ou fato? Sugestão de título não precisa de fonte. Número, nome, data e citação precisam.
  • Dá para achar a fonte original? Abra o link, leia o trecho e confira se ele diz o que a resposta afirma.
  • Uma segunda fonte, independente, confirma? Se só a IA e um blog desconhecido dizem aquilo, desconfie.
  • Se estiver errado, quem passa vergonha e quanto custa? Quanto maior o estrago possível, mais gente deve revisar.

Experimente com IA

A IA ajuda a ganhar tempo e a organizar o raciocínio, mas a palavra final sobre o que é verdade fica com você. Dados sigilosos do cliente, como vendas ou pesquisas pagas, não vão para ferramenta que a agência não liberou.

  • “Responda à pergunta abaixo e, no fim, separe em uma lista o que é fato verificável, o que é estimativa e o que é sugestão sua. Para cada fato, diga onde eu poderia confirmar. Se não souber, diga que não sabe: [pergunta].”
  • “Revise este texto de apresentação e marque cada número, nome de pesquisa, data e citação que precisa de verificação antes da reunião, sem corrigir nada por conta própria: [cole o texto].”
  • “Liste cinco perguntas que um cliente cético faria sobre os dados deste slide, para eu me preparar antes da reunião: [cole o conteúdo].”

Leve com você

  • Alucinação é a IA apresentar como fato algo que gerou para preencher um buraco.
  • Tom confiante não garante resposta certa.
  • Número, citação, lei, data e link são os terrenos mais perigosos.
  • Link mostrado pela ferramenta também precisa ser aberto e lido.
  • Dado que vai ao cliente precisa de fonte que alguém do time conferiu.

Para fechar

A Rosana não brigou com o Davi por causa do lago. Riu, disse que ninguém sabe disso, e os dois foram ao livro da escola ver o que havia de verdade sobre Saturno. Pergunte de onde vem cada afirmação antes de repassar. O tom seguro da resposta não substitui a fonte aberta e lida ;)

ORIGEM E CONTEXTO

Este conteúdo reúne práticas de gestão de projetos em agências e produtoras. Os exemplos são fictícios.

Conteúdo e reflexões escritas a partir da experiência do(a) autor(a).

Uma conversa puxa a outra.

FEITO PARA VOCÊ

No seu e-mail.

Receba conteúdos novos e boas referências sobre projetos, operações, pessoas e IA, sempre que uma edição ficar pronta.

Contato

Essa conversa pode ajudar alguém?

Compartilhe com quem trabalha com você. E aproveitem para trocar ideias sobre o que dá para colocar em prática.