Few-Shot Prompting: guia prático com exemplos antes/depois

Few-shot prompting é uma das técnicas mais eficazes de prompt engineering na prática, e também uma das mais mal entendidas. A maioria dos guias trata o assunto como exercício de formatação: escreve três pares input/output bem alinhados, cola no prompt, coleta resultados melhores. O que esses guias pulam é que a ordem dos exemplos costuma importar mais do que a qualidade deles, e um único exemplo final mal posicionado pode puxar seus outputs na direção errada, independente do que veio antes. Este guia cobre a mecânica, casos reais de antes/depois, e o comportamento de ordenação que a maioria dos profissionais nunca testa, mas deveria.

O que few-shot prompting realmente faz (e quando pular)

A técnica funciona incluindo exemplos rotulados diretamente no prompt, deixando o modelo inferir o padrão da tarefa sem nenhuma atualização de pesos ou fine-tuning. Alguns pares input/output são suficientes para o modelo capturar formato, tom, lógica de classificação ou convenções estilísticas que são genuinamente difíceis de descrever em instruções diretas.

A documentação da Anthropic sobre boas práticas de prompt descreve isso como "mostrar em vez de dizer", e a analogia é precisa. Exemplos esclarecem requisitos sutis que instruções sozinhas deixam ambíguos: a diferença entre um tom de marca confiante e um agressivo, ou entre uma intenção de busca transacional e uma navegacional.

Dito isso, few-shot não é sempre o ponto de partida correto. A orientação da OpenAI para seus modelos de raciocínio da série o recomenda começar com zero-shot, porque modelos mais capazes generalizam bem sem exemplos. A árvore de decisão prática fica assim: se sua tarefa envolve um formato específico mais fácil de demonstrar do que descrever, ou se você já tentou instruções claras e o output ainda é inconsistente, adicione exemplos. Comece com um (one-shot) e só adicione mais se os outputs ainda errarem o alvo.

Um ponto de custo que vale considerar: cada bloco de exemplo é tokenizado e cobrado como input em cada chamada de API. Com o prompt caching da Anthropic (disponível desde agosto de 2024), um bloco de exemplos estático colocado no topo do prompt qualifica para descontos de cache, o que torna o few-shot prompting significativamente mais barato em escala se você mantiver o conjunto de exemplos estável entre as requisições. Vale estruturar isso desde o início se você rodar qualquer volume relevante.

Antes/depois: o que muda quando você adiciona exemplos

As diferenças entre zero-shot e few-shot são mais visíveis em tarefas com formatos de output restritos ou requisitos específicos de tom. Um caso concreto: classificação de intenção de busca em e-commerce.

Prompt zero-shot:

Classifique a seguinte query de busca como transacional, informacional ou navegacional.

Query: melhores tênis de trilha para pés largos

Output típico: um parágrafo explicando o que a query provavelmente significa, linguagem com ressalvas, às vezes a categoria errada.

Prompt few-shot:

Classifique cada query como transacional, informacional ou navegacional.

Query: tênis de corrida barato promoção
Intenção: transacional

Query: como limpar tênis de camurça
Intenção: informacional

Query: Netshoes login devolução
Intenção: navegacional

Query: melhores tênis de trilha para pés largos
Intenção:

Output típico: transacional ou informacional, limpo, sem ressalvas. O formato não é mais ambíguo porque você o demonstrou três vezes.

Um preprint do arXiv sobre few-shot prompting com recuperação de exemplos dá números sobre isso em tarefas de predição estruturada: zero-shot chegou a um F1 de 36,35%. Com 10 shots, subiu para 71,43%. Com 20 shots, 74,05%. O salto entre zero e few-shot é grande; o salto entre 10 e 20 shots é menor, o que sugere retornos decrescentes rápidos. Para a maioria dos casos de uso em produção, três a cinco exemplos é o teto prático antes de você estar pagando tokens sem ganhar precisão.

A documentação da Anthropic recomenda envolver os exemplos em tags XML para que o modelo os distinga das instruções de forma clara:

<examples>
<example>
<input>tênis de corrida barato promoção</input>
<output>transacional</output>
</example>
</examples>

Isso não é apenas organização visual. Para o Claude especificamente, a marcação estruturada reduz a chance de o modelo tratar o conteúdo dos exemplos como instruções ativas em vez de demonstrações.

O efeito do último exemplo: por que a ordem é uma etapa legítima de debugging

Esta é a parte que a maioria dos guias pula completamente, e é a mais útil operacionalmente para entender sobre few-shot prompting.

Pesquisas de Liu et al. e Min et al. sobre in-context learning documentaram que os LLMs são desproporcionalmente influenciados pelo exemplo final em uma sequência few-shot. O mecanismo é viés de recência: a atenção em modelos transformer pesa mais os tokens recentes, então a última demonstração é aquela em que o modelo mais se apoia ao gerar a resposta. Dois exemplos bem construídos no início da sequência podem ser parcialmente anulados por um exemplo mais fraco ou desalinhado no final.

A consequência prática é diretamente testável. No Claude e no GPT-4, pegue um prompt few-shot para uma tarefa como geração de descrição de produto ou classificação de sentimento. Mantenha os exemplos idênticos e troque apenas a ordem deles. O tom, o formato e a tendência de classificação do output vão mudar visivelmente com base em qual exemplo fica por último.

Um caso específico: se você está escrevendo copy de anúncio com três exemplos, dois mostrando voz de marca forte e um mostrando copy neutro e informacional, colocar o exemplo neutro por último puxa os outputs consistentemente para o registro neutro, mesmo sendo minoria dois-para-um. A maioria não ganha aqui.

A implicação para prompts em produção é direta. Seu exemplo mais forte e representativo deve ficar por último, não primeiro. Se a qualidade do seu output é inconsistente e você ainda não rotacionou a ordem dos exemplos como etapa diagnóstica, está pulando um dos movimentos de debugging mais baratos disponíveis. Mude a ordem antes de reescrever os exemplos ou adicionar mais deles.

Isso também interage com chain-of-thought prompting: se seus exemplos incluem etapas de raciocínio, a qualidade e o estilo do raciocínio no exemplo final têm um efeito desproporcional sobre como o modelo aborda a tarefa nos outputs seguintes.

Viés de recência na prática: antes/depois de tom

Um antes/depois concreto que ilustra o efeito de ordenação para uma tarefa de descrição de produto.

Configuração: três exemplos para gerar descrições curtas de produtos. Os exemplos A e B usam voz de marca confiante e específica ("Feito para corredores de alta quilometragem que precisam de amortecimento confiável sem peso extra"). O exemplo C é neutro e genérico ("Este é um tênis de corrida com recursos de amortecimento").

Ordem 1 (C por último):

<example>Input: tênis de trilha / Output: [Exemplo A — voz forte]</example>
<example>Input: tênis de asfalto / Output: [Exemplo B — voz forte]</example>
<example>Input: tênis casual / Output: [Exemplo C — neutro]</example>

Input: bota de trekking impermeável
Output:

Resultado: copy plano, informacional, com mínima voz de marca. O modelo aproxima o registro do último exemplo.

Ordem 2 (A por último):

<example>Input: tênis casual / Output: [Exemplo C — neutro]</example>
<example>Input: tênis de asfalto / Output: [Exemplo B — voz forte]</example>
<example>Input: tênis de trilha / Output: [Exemplo A — voz forte]</example>

Input: bota de trekking impermeável
Output:

Resultado: copy específico e confiante, correspondendo à voz de marca dos exemplos A e B. Mesmos três exemplos, ordem diferente, output visivelmente diferente.

Testar isso leva menos de dez minutos. Se você trabalha com qualquer volume de copy de produto ou conteúdo classificado, a questão de ordenação deve fazer parte de como você avalia seu prompt antes de assumir que o problema está na camada de instrução.

Na prática

No meu trabalho gerenciando catálogos de produtos, o problema de inconsistência de formato aparece o tempo todo. Extração de atributos de dados de fornecedores, geração de descrições curtas em escala, classificação de queries de clientes em buckets de intenção para rankeamento de busca: todas essas são tarefas em que instruções zero-shot produzem outputs direcionalmente corretos, mas com formato inconsistente, o que cria problemas downstream em pipelines no Snowflake ou importações de catálogo no VTEX que esperam campos limpos e previsíveis.

Adicionar dois ou três exemplos bem ordenados costuma ser suficiente para resolver o problema de formato sem tocar em mais nada no prompt. O detalhe da ordem importa de verdade nesses contextos: quando uso um exemplo mais fraco ou genérico como final (muitas vezes porque foi o mais fácil de escrever), os outputs derivam para esse registro. Mover o melhor exemplo para a posição final é uma correção confiável que não exige nenhuma reescrita.

O que a maioria dos guias não menciona: custo e cache juntos

A maioria dos tutoriais de few-shot prompting não fala de custo porque parte do pressuposto de que você está explorando no playground. Em produção, o cálculo muda.

Cada exemplo adicional aumenta linearmente o custo de input por chamada. Com três exemplos de 50 tokens cada, você está adicionando 150 tokens de input em cada requisição. Em escala, isso soma. A solução documentada da Anthropic é o prompt caching: se você mantém o bloco de exemplos estático no topo do prompt e usa a marcação correta, o cache é reutilizado entre chamadas, reduzindo o custo de input consideravelmente.

A implicação prática é estrutural: decida seu conjunto de exemplos com cuidado antes de colocar em produção. Trocar exemplos frequentemente invalida o cache e elimina o benefício de custo. O investimento em escolher e ordenar bem os exemplos uma vez tem retorno direto no custo por chamada.

FAQ

Quantos exemplos são suficientes para few-shot prompting?

Comece com um. A orientação da Anthropic recomenda partir do one-shot e adicionar exemplos só se os outputs continuarem inconsistentes. A pesquisa sobre few-shot com recuperação sugere retornos decrescentes depois de cerca de 10 exemplos, e para a maioria das tarefas de formatação ou classificação, três a cinco é suficiente. Mais exemplos também significa mais tokens por chamada, então o custo escala linearmente a menos que você use prompt caching.

Few-shot funciona diferente no Claude e no GPT-4?

A mecânica geral é a mesma: ambos os modelos capturam padrões a partir de exemplos em contexto. A documentação do Claude recomenda especificamente usar tags XML para separar exemplos de instruções, algo que o modelo responde bem. Para GPT-4 e os modelos da série o, a orientação da OpenAI sugere tentar zero-shot primeiro com modelos de raciocínio, já que eles generalizam com mais facilidade. O viés de recência no exemplo final parece afetar as duas famílias de modelos, com base na pesquisa subjacente sobre atenção em transformers.

Quando usar fine-tuning em vez de few-shot?

Few-shot é o ponto de partida certo para a maioria dos casos em produção porque não exige infraestrutura de treinamento, é fácil de ajustar, e funciona bem para tarefas de formato e estilo. Fine-tuning faz sentido quando você tem centenas de exemplos rotulados de alta qualidade, a tarefa é altamente especializada e consistente, ou você precisa reduzir custos de tokens em volume muito alto. Para a maioria dos times, few-shot com prompt caching cobre o alcance prático antes de o fine-tuning valer o overhead.

A ordem dos exemplos realmente pode sobrescrever a qualidade deles?

Na prática, sim, dentro de limites. Um exemplo final genuinamente ruim vai prejudicar independente do que veio antes, mas um exemplo final mediano pode puxar os outputs para longe do padrão estabelecido por exemplos mais fortes anteriores. O efeito é mais visível em tarefas onde o modelo precisa calibrar tom ou estilo em vez de seguir regras lógicas estritas. Trocar a ordem não custa nada e leva um minuto, então deve ser sempre testado antes de reescrever exemplos ou adicionar mais.

Few-shot prompting tem menos a ver com ter os exemplos certos e mais com saber qual exemplo o modelo vai realmente seguir. O último exemplo da sequência tem peso desproporcional sobre o output, e a maioria dos profissionais descobre isso só depois de gastar tempo reescrevendo exemplos que apenas precisavam ser reordenados.