LLMs recompensam a perícia
Nos anos 2010, se você tivesse lacunas técnicas — digamos, não conseguisse escrever CSS de forma decente — precisava contar com um colega habilidoso ou torcer para que a resposta exata para o seu problema já estivesse em algum fórum na internet. Era uma era de dependência e busca manual. Hoje, com a ascensão dos Large Language Models (LLMs), qualquer um pode gerar um CSS "mais ou menos" delegando a tarefa a uma inteligência artificial. Os LLMs, à primeira vista, parecem transformar todos em generalistas, democratizando o acesso a habilidades que antes exigiam anos de estudo ou experiência.
Por causa disso, muitas pessoas acreditam que trabalhar com LLMs não exige nenhuma habilidade particular. Se você quer o produto que um LLM pode entregar — matemática de nível de doutorado, código razoável (mas às vezes sem gosto), ou textos no estilo LinkedIn — basta pedir. Já que todos estão conversando com os mesmos modelos, a percepção é que "prompters habilidosos" estão obtendo os mesmos resultados que pessoas usando LLMs pela primeira vez. Mas essa percepção está equivocada. A habilidade mais crucial no prompting — a arte de formular as entradas para a IA — é, na verdade, a expertise no domínio sobre o qual você está solicitando informações.
A Conversa de Terence Tao e a Prova da Expertise
Um exemplo notável que ilustra essa verdade é a conversa do renomado matemático Terence Tao com o ChatGPT sobre um contraexemplo recentemente descoberto para a Conjectura Jacobiana. Para quem não está familiarizado, Terence Tao é frequentemente chamado de "o Mozart da matemática", um dos maiores matemáticos vivos. A forma como ele interage com o modelo é completamente diferente da minha. Eu, com acesso ilimitado a tokens (as unidades de texto processadas pelo modelo, que determinam o tamanho da sua interação), não conseguiria chegar onde Tao chega.
Há muito a aprender sobre bom prompting a partir da interação de Tao. Algumas observações importantes:
- Objetividade: As mensagens de Tao são muito curtas e diretas ao ponto. Ele não responde ponto a ponto ao modelo, mas foca na essência do que importa.
- Modo Profissional: As saídas do modelo são muito mais concisas do que quando eu tento conversar sobre matemática com um LLM. Ao sinalizar sua expertise, Tao direciona o modelo para o "modo de conversa com matemáticos", e não para o "modo de explicação para amadores".
- Contestação Sutil: Tao questiona quando as respostas do modelo parecem erradas, mas ele não contradiz diretamente. Em vez disso, ele usa frases como "isso parece mais complexo do que eu esperava".
- Iniciativa Humana: Tao faz várias inferências e sugestões por conta própria. Ele quase nunca aceita o conselho do modelo sobre qual caminho seguir.
No entanto, você não pode simplesmente replicar o prompting de Tao em questões matemáticas apenas seguindo essas dicas. A chave de sua técnica é, na verdade, a compreensão profunda da matemática. É essa expertise que lhe permite extrair a ideia relevante de uma resposta de múltiplos parágrafos do ChatGPT, sugerir abordagens ou formulações alternativas e identificar o que "parece estranho" ou incorreto.
Da Matemática ao Código: A Expertise Como Multiplicador
Terence Tao é um matemático melhor do que eu sou um programador. Mas a ideia central aqui — que o conhecimento de domínio te torna melhor no uso de LLMs — é algo que também experimentei em meu próprio trabalho. Se você tem uma boa teoria do seu codebase (a base de código de um software), pode exigir muito mais do LLM do que se não tiver familiaridade alguma. Porque você tem sua própria percepção de como uma boa solução deve ser, pode dizer "não, acho que pode ser mais simples aqui", ou "mas já não fazemos X?", ou "podemos expressar este problema nestes termos familiares?".
Isso se conecta a uma ideia que já abordei antes: que os problemas de design de sistemas são dominados por especificidades concretas, e não por princípios genéricos. É claro que ambos são úteis, mas eu prefiro ter familiaridade com o codebase do que uma compreensão geral profunda de sistemas de software. Em sua conversa, Terence Tao faz muitas perguntas específicas como "X funciona aqui?", ou "dados Y e Z, por que A?". Eu não consigo fazer essas perguntas sobre a Conjectura Jacobiana, mas posso fazê-las sobre os sistemas que gerencio no GitHub.
Se você não tem conhecimento de domínio, pode se apegar ao LLM para pelo menos obter algo. E isso não é ruim! Mas se você tem conhecimento de domínio, pode extrair muito mais valor do mesmo LLM, direcionando-o com firmeza na direção que deseja. A maioria de nós terá que fazer uma mistura dessas duas abordagens, já que temos conhecimento de domínio em algumas áreas, mas não em outras.
Por Que Isso Importa Para Você
A utilidade do conhecimento de domínio sugere que a expertise humana continuará sendo valiosa mesmo com o avanço dos modelos de IA. Para muitas tarefas, o gargalo é o ser humano, não o modelo, porque a parte difícil está em comunicar ao modelo exatamente o tipo de solução que o humano deseja. A informação já está "no modelo", mas é preciso um ser humano muito inteligente para extraí-la e moldá-la.
Para você, desenvolvedor, líder técnico ou fundador, isso significa que investir em conhecimento de domínio não é uma aposta perdida na era da IA. Pelo contrário, sua expertise é o superpoder que amplifica a capacidade dos LLMs. Não se trata de ser um "mestre do prompt" genérico, mas de ser um mestre no seu campo, capaz de guiar a IA com precisão cirúrgica. Sua capacidade de discernir, questionar e refinar as saídas da IA é o que realmente trará valor e inovação, transformando um generalista em um especialista que usa a IA como uma ferramenta poderosa e não como um substituto.
Fontes
📬 Gostou? Assine a newsletter do Vaccari's Code e receba as próximas tendências em software e IA direto no seu e-mail: Assinar aqui