Menos tokens não é menos custo.

Em setembro, a Fireworks lançou o Ember-1: um modelo aberto (o Kimi K3) treinado de novo para raciocinar mais curto. A promessa é "a qualidade do K3 com 40% menos tokens".

A tabela da própria Fireworks, em cinco testes públicos, mostra reduções de 5,9% a 51,9%. A do meio é 23,7%. No teste mais parecido com um atendimento real, um agente de companhia aérea, a redução foi de 5,9%. O número de 40% vem de um índice interno e de um teste com um cliente sem nome, em que a resposta caiu de 49,3 mil para 29,9 mil tokens com nota praticamente igual (0,753 contra 0,751).

Nada disso é mentira. É que "40% menos tokens" fala de um tipo de token, o que o modelo escreve. A conta que você paga tem dois.

Um agente é um programa que conversa com o modelo várias vezes para terminar uma tarefa: pergunta, chama uma ferramenta, lê o resultado, pergunta de novo. O modelo não guarda memória entre chamadas. Então a cada rodada o agente reenvia tudo: as instruções, os documentos e o histórico inteiro até ali.

O histórico cresce a cada rodada, e o que foi mandado na primeira é pago de novo na segunda, na terceira, na décima quinta. O que o modelo escreve em cada rodada fica mais ou menos do mesmo tamanho. Com poucas rodadas, a saída domina; com muitas, a entrada engole a conta.

O cache ajuda: o trecho que se repete sai 90% mais barato. Mas ele barateia a repetição, não perdoa um contexto inchado. E um modelo que "pensa menos" não toca em nada disso: ele corta só a faixa estreita de cima.

Os dois exemplos do espécime lá em cima, com os preços da Fireworks, mostram os dois extremos.

Uma pergunta difícil (classificar um caso complicado, resolver uma conta, planejar): uma rodada, pouca entrada, muito raciocínio. Quase todo o custo é saída, e cortar 40% dela economiza 39% do custo. A promessa se cumpre quase inteira.

Um atendimento de 15 rodadas, com instruções longas, histórico crescendo e cache: a mesma troca de modelo economiza 17%. E isso supondo o corte de 40%, quando o teste de atendimento da própria Fireworks mediu 5,9%.

Existe um ganho que a conta de dinheiro não mostra: tempo. O modelo escreve token por token, então escrever menos é responder antes. Quando alguém está esperando na tela, isso pode valer mais que o dinheiro.

A IBM mediu 417 tarefas de agente com dois modelos. O que tinha o token mais barato custou quase o dobro por tarefa: US$ 155 contra US$ 79. O motivo é o mesmo desta página: em trabalho de agente, a entrada se repete, e quem aproveita melhor o cache ganha a conta, não quem tem a etiqueta menor.

O mesmo vale ao contrário. Um modelo pode ter token barato e gastar muito mais tokens para chegar à resposta, ou precisar de mais rodadas. O preço que importa é o custo por tarefa terminada, medido no seu próprio uso, com o mesmo nível de esforço dos dois lados.

E o pior gasto não aparece em nenhuma tabela: o agente que entra em laço. Um caso brasileiro publicado em agosto: uma API devolveu dado quebrado, o agente tentou de novo sem parar, e cada tentativa levava o erro anterior no histórico. A primeira custou mil tokens; a décima quinta, vinte mil. A sessão de um único usuário custou US$ 800.