O silêncio quando perguntam como a IA funciona

Yuri conversou com um recrutador que entrevista engenheiros de IA toda semana. A descrição foi direta: todo mundo constrói agentes, todo mundo monta sistemas que buscam informação antes de responder. Quase ninguém explica por que aquilo funciona. Pergunte por que o texto é cortado em pedaços antes de ser guardado para busca, por que o tamanho do pedaço muda a qualidade do resultado, ou o que acontece dentro do modelo antes da primeira palavra aparecer na tela, e a sala fica quieta.

Yuri reconheceu a si mesmo nessa sala. Ele usa essas ferramentas há tempo suficiente para confiar nelas, o que não é o mesmo que saber explicar o motor por baixo. Dessa vez, decidiu não deixar passar. Separou uma sessão inteira, pegou cada pergunta descrita pelo recrutador e foi até o fundo dela. Não até a resposta do manual, mas até o mecanismo.

O padrão que encontrou é simples. A resposta baseada em experiência real tem sempre o mesmo formato: nomeia o mecanismo e diz quanto ele custa quando está em produção, com usuários e prazos reais. A resposta de quem só usou a ferramenta descreve o que ela faz. A resposta de quem responde pelo sistema inteiro descreve o que acontece quando a peça falha, e o preço dessa falha.

Considere o tamanho do pedaço de texto. A maioria explica que é preciso dividir documentos grandes antes de guardá-los. Fim da resposta. Mas existe um motivo para o tamanho importar: um pedaço grande demais mistura vários assuntos num único resumo numérico. Esse resumo não corresponde bem a nada quando alguém busca por um fato específico. Em testes publicados, reduzir o pedaço de mil fragmentos de texto para pouco mais de sessenta melhorou a taxa de acerto da busca em dez a quinze pontos percentuais, especificamente em documentos cheios de nomes e números. Citar um número assim mostra que a pessoa testou várias configurações antes de escolher uma. Dizer que usa pedaços de quinhentos porque é o padrão significa apenas repetir algo que outra pessoa mediu, em outro contexto, para outro problema.

O mesmo vale para o motivo da resposta demorar a aparecer. Existe uma fase em que o modelo processa o pedido inteiro de uma vez, antes de escrever qualquer palavra. Essa fase é limitada pela capacidade de cálculo disponível. Depois vem a fase de escrever palavra por palavra, limitada por outra coisa: a velocidade do modelo em ler a própria memória. São gargalos diferentes, pedindo soluções diferentes. Um teste publicado mostrou a espera inicial subir de menos de meio segundo para pouco mais de dois segundos apenas ao aumentar o tamanho do pedido. Compreender essa divisão explica por que pedidos longos deixam o sistema travado no início, mesmo que depois ele escreva rápido. Quem não entende acha que o sistema está lento e troca de modelo sem resolver o problema de fundo.

A busca por significado talvez seja a peça mais ignorada. O sistema não guarda palavras. Guarda um conjunto de números que representa o significado daquele texto, num espaço onde conceitos parecidos ficam próximos. É por isso que digitar "esqueci minha senha" encontra o artigo sobre "como redefinir seu login", mesmo sem nenhuma palavra em comum. É também por isso que trocar o modelo que gera esses números obriga a reprocessar e reorganizar todo o conteúdo já guardado. Os números antigos vivem num espaço, os novos vivem noutro. Comparar os dois é como comparar metros com quilos, uma transição cara que requer planejamento.

Yuri saiu dessa sessão com uma conclusão clara. Ferramentas mudam de nome a cada ano. Modelos ficam obsoletos em meses. O motivo por trás de cada decisão, por que este tamanho de pedaço, por que esta demora, por que esta busca encontra o que encontra, não envelhece no mesmo ritmo. É esse motivo que sobrevive à próxima atualização. É ele que separa quem usou a ferramenta de quem consegue responder pelo sistema.

Isso explica por que os recrutadores perguntam do jeito que perguntam. Eles não querem saber se o candidato opera bem uma biblioteca popular de código aberto. Querem saber se, tirando a biblioteca da frente, a pessoa consegue montar a mesma coisa com instruções diretas e explicar por que cada peça está ali. É um teste de mecanismo, não de ferramenta. A ferramenta terá um nome novo ano que vem.