Máquina própria ou tokens?

Pergunta que sempre rola em alguma call, quando envolve IA: "não é mais barato montar uma máquina e rodar o tudo internamente?"


A resposta honesta é: depende... de muita coisa. E mesmo quando o caminho parece óbvio, tem pontos que ninguém leva em conta.


Na prática, quanto uma ação de marketing se apoia em IA, a escolha fica entre dois modelos:


Ambiente próprio: custos mais sob controle. A gente aluga (ou pode até montar) uma máquina com GPU, instala modelos de terceiros, geralmente abertos, e roda tudo ali dentro. Tem um custo alto no começo, mas em troca tem custo baixo por geração.


Modelos prontos, pagos por volume de uso: a gente chama a API de quem já tem o modelo rodando e paga por token, ou tempo de uso. Quase sempre, tem custo zero de entrada, mas o custo fica maior com o uso.


Um caminho pesa mais no investimento inicial e o outro na despesa variável. Saber qual vale mais depende do tipo de ação que irá rolar.


Olhando mais a fundo...


Já em uma ação pontual: token WINS!


Pela minha experiência, em ação de marketing pontual montar ambiente nunca compensa. Nunca!


Uma campanha de duas ou três semanas tem um pico de uso curto e depois a demanda cai. Sem falar que o sucesso sempre é uma variável. O tempo de montar, configurar, testar e estabilizar a máquina tomaria boa parte do investimento/cronograma, que sempre é apertado. E no final, a estrutura precisa ser desmontada.


Com modelo pronto, você paga pelo que usa, faz um scale up no dia do pico e encerra a conta no dia seguinte do fim da ação.


Longa duração: aí a máquina própria pode fazer sentido, se...


Quando a ação roda por meses (um bot sempre ativo, uma plataforma que gera peças todo dia, um hub de conteúdo), a conta se inverte.


O custo por token, que parecia pequeno, vira uma valor constante e imprevisível. Com ambiente próprio, o custo de entrada se dilui com o tempo e cada geração adicional sai bem mais barata quando comparada ao token.


E tem ganhos além do preço: os dados do cliente ficam em um ambiente controlado, você ajusta o modelo para o estilo da ação/cliente e não fica no risco de uma mudança de preços.


E por que eu disse "se..." Pontos de atenção:

  • Já viu agência de publicidade se contentar com uma entrega que não seja a melhor possível? Modelos livres muitas vezes estão um pouco atrás dos modelos de ponta. Muito atrás? Não... mas nunca batem aquele PILOTO que o Diretor de Arte mandou para o cliente, feito artesanalmente no Midjourney.
  • Você monta o ambiente, estabiliza, treina, ajusta tudo. Três meses depois, sai um modelo novo que gera melhor, mais rápido e mais barato. Ficou defasado...
  • Toda ação tem momentos de baixa demanda, só que o custo do ambiente é fixo e constante.
  • A licença é gratuita, mas se seu produto/serviço ultrapassar X milhões de usuários ativos mensais, exige licença comercial.
  • E pode ser que sua ação precise de mais de 1 serviço, ou seja, esforço dobrado ou triplicado.


Como eu decido? Antes de escolher o caminho, passo por três perguntas:

  • Quanto tempo a ação vai viver?
  • Qual o volume estimado e se ele é previsível?
  • Qualidade de ponta é decisiva para o resultado?

E uso o bom senso.


Não existe cenário perfeito. Na teoria, ação curta pede API e ação longa pede ambiente próprio. Mas na prática, tudo depende das entrelinhas e de uma análise mais profunda.


Não existe resposta definitiva, existe decisão consciente: saber o que você está trocando quando escolhe um caminho, e deixar uma porta aberta para mudar quando o mercado mudar. E ele vai mudar.


E vocês, como fazem essa conta? Já montaram ambiente próprio e se arrependeram, ou o contrário? Conta para mim. :-)

ORIGEM E CONTEXTO

Texto de Borba

Conteúdo e reflexões escritas a partir da experiência do(a) autor(a).

Uma conversa puxa a outra.

FEITO PARA VOCÊ

No seu e-mail.

Receba conteúdos novos e boas referências sobre projetos, operações, pessoas e IA, sempre que uma edição ficar pronta.

Contato

Essa conversa pode ajudar alguém?

Compartilhe com quem trabalha com você. E aproveitem para trocar ideias sobre o que dá para colocar em prática.