O barato absolve, o caro confere a acusação.

Pegamos artigos de leis brasileiras e pedimos a modelos de IA que os resumissem. Para metade, pedimos um resumo fiel. Para a outra metade, pedimos que mudassem o sentido jurídico sem avisar: trocar "proibido" por "permitido", tirar uma exceção, mudar quem tem o direito.

Isso dá uma vantagem rara: a resposta certa não depende da opinião de ninguém, nem de outra IA. Sabíamos qual resumo era qual porque fomos nós que pedimos.

Depois pusemos três conferentes para dizer "fiel" ou "adulterado": regras fixas que comparam palavras-chave, um modelo pequeno que roda de graça no nosso computador e um modelo grande, dos melhores do mercado, pago por uso.

Um conferente pode errar de dois jeitos: deixar passar um resumo adulterado ou acusar à toa um resumo fiel. O primeiro erro é o perigoso; o segundo é o que cansa, porque alguém vai ter de conferir de novo.

As regras fixas quase não acusam à toa, mas deixam passar quase metade. O modelo pequeno, somado às regras, pega 97 de cada 100 adulterados. O grande pega todos.

A surpresa está na outra coluna: o grande acusa à toa tanto quanto o pequeno, uns 10 em cada 100 fiéis. Pagar mais não comprou precisão por si só. Então a pergunta deixa de ser "qual conferente é melhor" e passa a ser "quem decide o quê".

O modelo pequeno tem um jeito de errar muito útil: ele acusa demais, mas quase nunca libera o que não devia. Dos 79 resumos adulterados que chegaram até ele, não liberou nenhum. Então, quando ele diz "fiel", dá para confiar e seguir. Isso resolve de graça a maior parte do tráfego, que é de resumos fiéis.

Quando ele diz "adulterado", o caso sobe para o modelo grande. E aqui apareceu o dado que mais nos ensinou: nas 84 acusações corretas, o grande não mudou nenhuma. Nas 13 acusações injustas, desfez 7.

Ou seja: o grande não achou nada que o pequeno tivesse deixado escapar. Ele funcionou como tribunal de apelação, e todo o valor dele foi desfazer acusação injusta.

Invertendo a regra, com o barato condenando sozinho e o caro revendo só o que ele liberou, o alarme falso sobe para 17 em cada 100 fiéis. É pior do que mandar tudo para o caro, e custa mais, porque quase tudo o que o barato faz é liberar.

Toda regra que manda uma parte dos casos para o conferente caro gasta dinheiro. Então é preciso perguntar: se, em vez da regra, a gente sorteasse a mesma quantidade de casos para o caro, daria no mesmo?

Fizemos o sorteio 4.000 vezes. A regra "o barato libera, o grande confere a acusação" pega todos os adulterados, o que o sorteio não faz. Mas o alarme falso dela, 7,7%, cai dentro da faixa do sorteio. Nessa medida ela não ganha do acaso: não dá para creditar à regra a redução que medimos antes.

A regra que ganha do sorteio nas duas medidas é outra: o grande só entra quando os dois conferentes gratuitos discordam. Pega todos, acusa à toa só 3,6% e chama o grande em 29% dos casos. Ela é a regra marcada no espécime lá em cima.

Levamos a mesma pergunta para a revisão de código: o que merece o olho humano primeiro? Pedimos a um modelo pequeno uma nota de risco para 200 mudanças reais, sabendo quais depois precisaram de conserto. A nota acertou praticamente como cara ou coroa. Pior: ela reagiu a haver código na tela, não a qual código era.

A regra que funcionou foi a mais simples possível: o tamanho da mudança. Em 3.358 mudanças de quatro projetos, barrar as que passam de 400 linhas retém 19% delas e junta 36% das que depois deram defeito. É quase o dobro da concentração que se esperaria ao acaso.

Não existe um corte mágico: quanto mais apertado, mais se pega e mais se barra, numa curva sem joelho. Onde cortar é decisão de negócio, e agora ela pode ser tomada com o preço na mesa.