Melhores Modelos: Piores Ferramentas
Notas do episódio
Armin Ronacher notou um comportamento intrigante com os modelos Anthropic mais recentes (Opus 4.8, Sonnet 5). Apesar de serem mais avançados, eles estão piorando na chamada de ferramentas, especificamente inventando campos extras e inválidos em arrays aninhados, como no edit tool do Pi. O conteúdo principal da chamada está correto, mas esses campos "inventados" fazem com que a invocação seja rejeitada, exigindo retentativas. A hipótese é que essa regressão seja um artefato de treinamento, onde os modelos foram fortemente otimizados para o Claude Code da Anthropic, que pode ter schemas de ferramentas mais simples, gerando ruído ao lidar com estruturas mais complexas.
Why it matters: Isso expõe uma fragilidade nos modelos SOTA: o treinamento excessivo para um ambiente específico pode degradar a confiabilidade das chamadas de ferramentas em outros contextos, exigindo maior atenção à validação de schemas.
Fontes: