Destilar e servir modelos pela metade do custo

O que aconteceu

Um projeto aberto mostra como transformar modelos grandes de linguagem e visão em versões enxutas e baratas. O processo treina um modelo aluno sobre as saídas de um modelo professor mais capaz. O resultado é acurácia próxima ao estado da arte, inferência mais rápida e menos computação. Os modelos destilados rodam em GPU comum ou em CPU, o que reduz o custo de hospedagem em cerca de metade.

O repositório inclui uma camada leve de serviço, com API REST, inferência em lote e integrações com provedores de nuvem — encaixando em fluxos de n8n ou em pipelines de agentes.

Por que isso importa para quem constrói

• Custo — cortar pela metade o custo de inferência libera orçamento para experimentar mais, atender mais gente ou realocar.
• Publicação mais rápida — modelo menor sobe mais rápido e ocupa menos memória, o que importa em chatbot de tempo real.
• Escala mais barata — demanda menor de computação torna o crescimento horizontal viável sem superdimensionar.
• Atualização — basta reexecutar a destilação sobre um professor mais recente para manter o modelo atual, sem retreino completo.
• Menos dependência de fornecedor — rodar em hardware comum facilita operação local ou híbrida.
• Licenciamento permissivo — poucas dependências e licença aberta permitem bifurcar e adaptar.

A leitura da Tyna

O número que merece leitura cuidadosa é o "mais de 90% da acurácia do professor". Ele soa excelente e esconde a pergunta que importa: quais 10% ficaram para trás?

Se a perda se distribui por igual entre casos fáceis e difíceis, 90% é ótimo negócio. Mas destilação tende a preservar bem o comportamento comum e perder justamente o caso raro — porque o caso raro apareceu pouco no conjunto usado para treinar o aluno. E em automação de empresa, o caso raro costuma ser o caro: a exceção contratual, o cliente fora do padrão, a solicitação que precisa ser escalada.

Um modelo que acerta 95% do fluxo normal e degrada na exceção pode ter métrica agregada melhor e resultado de negócio pior. Vale medir acurácia separada por segmento, não só no conjunto inteiro.

Isso conecta diretamente com o que vimos sobre a destilação do DeepSeek, e vale juntar as duas peças: aquele estudo mostrou que a destilação transfere comportamento não documentado; este mostra que ela retém a maior parte da capacidade. As duas coisas são verdadeiras ao mesmo tempo. O aluno herda tanto a competência quanto as idiossincrasias do professor — e você só tem visibilidade sobre a primeira.

O ponto mais durável do projeto talvez seja o menos chamativo: reexecutar a destilação sobre um professor novo. Isso transforma atualização de modelo em rotina reproduzível em vez de projeto. Times que conseguem repetir esse processo com um comando ficam atualizados; os que tratam cada troca como migração ficam presos ao modelo que escolheram no primeiro dia.

Perguntas frequentes

P: Funciona com qualquer modelo?

R: O projeto mira modelos baseados em transformer que exponham logits ou embeddings. Os exemplos usam modelos de linguagem e de visão conhecidos, mas o script se adapta a outras arquiteturas que suportem o esquema professor-aluno.

P: Como a qualidade do destilado se compara ao original?

R: Os benchmarks apontam mais de 90% da acurácia do professor em tarefas padrão, com redução de 2 a 3 vezes no tamanho. Em classificação de intenção ou marcação de imagem, a perda tende a ser pequena diante da economia.

P: O que preciso para rodar a camada de serviço num fluxo de n8n?

R: Uma máquina com pelo menos 4 GB de memória, e GPU para inferência mais rápida. Basta encapsular a API REST em um nó de requisição HTTP e usar a resposta nos nós seguintes.