Small language models: quando uma IA menor faz sentido

Small language models, ou pequenos modelos de linguagem, merecem um teste quando é possível delimitar a tarefa, conferir a resposta e tratar as exceções. Comece avaliando um modelo de 1B a 4B parâmetros para uma tarefa específica. Se a política de dados permitir, mantenha uma API de um modelo de ponta disponível para trabalhos que exigem conhecimento mais amplo ou raciocínio mais confiável.

A decisão de negócio é saber se um modelo menor consegue atender ao seu padrão de qualidade no hardware disponível. Uma resposta rápida e plausível que acaba criando mais uma fila de revisão não resolve o problema.

O que são small language models?

Um pequeno modelo de linguagem, ou SLM, abre mão de parte da capacidade generalista para exigir menos recursos computacionais. No planejamento prático, adote como referência a faixa de 100 milhões a 10 bilhões de parâmetros, com algumas exceções acima disso. Não existe um limite universal: a IBM fala em milhões a poucos bilhões, enquanto a Mistral inclui explicitamente um modelo de 14B em sua família de modelos pequenos. Essa fronteira muda conforme o hardware, os métodos de treinamento e a capacidade dos maiores modelos evoluem. A definição da IBM e a família de modelos da Mistral ilustram essa diferença.

Um parâmetro é um peso numérico aprendido no treinamento que influencia a resposta do modelo. Um token é um fragmento de texto que o modelo processa. Modelos generativos de chat produzem respostas prevendo os próximos tokens a partir do contexto recebido. Um modelo menor usa menos pesos aprendidos, mas a arquitetura e a qualidade do treinamento também contam. A introdução do Google aos modelos de linguagem explica esse mecanismo.

Pense na cozinha compacta de uma padaria, equipada para um cardápio definido. Ela pode atender muito bem aos mesmos pedidos de todos os dias; preparar qualquer prato que um cliente invente já é outra exigência. Um modelo pequeno não é automaticamente um especialista, mas um fluxo de trabalho bem delimitado permite concentrar sua capacidade onde ela faz diferença.

Modelos pequenos podem ser treinados diretamente ou desenvolvidos por destilação, técnica que ensina um modelo menor a partir das respostas de um maior. Já a quantização armazena pesos numéricos com menor precisão para reduzir o espaço ocupado. São técnicas diferentes: quantizar um modelo grande não reduz sua quantidade de parâmetros nem o torna equivalente a um modelo muito menor. A IBM descreve essas técnicas separadamente.

SLM vs LLM: como escolher entre modelos pequenos e grandes

Avalie primeiro a qualidade na tarefa e, depois, as necessidades de implantação. Uma API de um modelo de ponta disponibiliza pela internet um modelo de alta capacidade do provedor e dispensa a operação do hardware de inferência. Um modelo pequeno oferece mais opções de implantação, inclusive a possibilidade de executar todo o trabalho no próprio dispositivo.

Tamanho e local de execução são decisões distintas. É possível hospedar um modelo pequeno e acessá-lo por API, assim como alguns modelos abertos maiores podem rodar na sua infraestrutura. O termo “mini” no nome de um produto não informa a quantidade de parâmetros nem significa que seus pesos estejam disponíveis para download.

Essas são diferenças de implantação, não resultados de benchmarks. A visão geral da Microsoft sobre SLMs descreve as vantagens no uso de recursos e as limitações de capacidade. A comparação que importa usa a sua carga de trabalho real, inclusive as entradas difíceis.

Por que uma empresa escolheria um modelo pequeno?

Custo por chamada: a inferência de um modelo menor pode consumir menos recursos. Mas execução local não é gratuita: hardware, energia, suporte, capacidade ociosa e novas tentativas entram na conta. Compare o custo por resultado aceito, incluindo revisão e encaminhamento, em vez de comemorar apenas o fim da fatura da API. Para um serviço pouco utilizado, contratar pode ser mais simples do que operar.

Latência: a execução local elimina a ida e volta ao serviço de inferência remoto. Isso não garante uma resposta mais rápida. O carregamento do modelo, o processamento de um prompt longo, a memória lenta e as solicitações simultâneas podem dominar o tempo total. Para quem acompanha o preenchimento automático de um formulário, a medida relevante é o tempo até ele aparecer completo e válido.

Privacidade: a inferência local pode manter o prompt no dispositivo. Essa vantagem desaparece se uma ferramenta de busca conectada, uma alternativa remota ou um log da aplicação enviar o mesmo texto para outro lugar. Confira o percurso inteiro, inclusive arquivos sincronizados e telemetria, antes de afirmar que o fluxo preserva a privacidade.

Uso offline: depois de baixar a aplicação, o modelo e os arquivos necessários, um fluxo local pode continuar disponível sem internet. Isso faz diferença para um técnico de campo que redige um relatório de serviço em um subsolo. Consultas ao estoque em tempo real ainda exigem conexão, a menos que também exista uma cópia local dos dados. A documentação de uso offline do LM Studio explicita a diferença entre inferência com arquivos já baixados e operações conectadas.

Para um fundador que já captou investimento, usar um serviço hospedado como referência costuma ser o caminho mais rápido para descobrir se a funcionalidade é útil. Para o CTO de uma empresa de médio porte, a implantação local ganha força quando uma carga de trabalho repetível ou uma restrição sobre onde os dados podem ficar justifica assumir a operação. Para um profissional sênior de operações, o indicador decisivo é quanto trabalho chega a um resultado utilizável sem correção. Para quem desenvolve por conta própria, um piloto no notebook pode comprovar a viabilidade antes de qualquer compra de hardware.

Cinco tarefas em que modelos pequenos podem funcionar bem

Os melhores candidatos têm saídas delimitadas e uma forma clara de rejeitar erros. Os exemplos abaixo são propostas de fluxos de trabalho, não uma afirmação de que todos os modelos citados já dão conta da sua tarefa.

1. Classificação

Use o modelo para distribuir textos entre categorias predefinidas. Uma equipe de suporte pode classificar chamados como billing, access, bug ou other. Forneça definições e exemplos de casos duvidosos e, depois, meça os erros de cada categoria separadamente.

O escopo útil é “escolher uma fila”, não “resolver o problema da conta do cliente”. Mantenha a opção other para mensagens que não se encaixem na classificação. Se regras simples já classificam as entradas de forma confiável, continue usando essas regras.

2. Extração

Transforme o texto fornecido em um registro de estrutura fixa: número da fatura, fornecedor, vencimento e moeda, por exemplo. Exija o trecho de origem de cada campo extraído e permita null quando a informação estiver ausente. Um schema define a estrutura e os tipos de dados permitidos na saída; ele verifica o formato, mas não comprova que os valores estejam corretos.

Em documentos digitalizados, o reconhecimento de texto é uma etapa separada, a menos que o modelo e o ambiente de execução escolhidos aceitem imagens como entrada. Valide datas, totais e identificadores em código antes de enviar um registro ao sistema contábil. Nunca peça ao modelo que invente um número de fatura ausente.

3. Roteamento

Deixe um modelo pequeno sugerir qual fluxo especializado deve receber uma solicitação. Uma central de suporte interno poderia distinguir entre “encontrar uma política”, “restabelecer o acesso” e “falar com um atendente”. A aplicação verifica, então, se esse encaminhamento é permitido.

O modelo de roteamento não deve assumir o papel do sistema de permissões. Trate a rota selecionada como uma proposta, aplique uma lista de destinos permitidos e encaminhe solicitações ambíguas para outra instância. A confiança declarada pelo próprio modelo não é uma probabilidade calibrada de acerto.

4. Assistentes no próprio dispositivo

Um assistente pode reescrever a anotação de um técnico, resumir instruções armazenadas localmente ou preparar uma consulta de busca sem enviar o texto original a um modelo remoto. O escopo precisa ser explícito: “ajudar com estes manuais baixados”, em vez de “responder a qualquer dúvida de manutenção”.

Inclua o trecho relevante na solicitação. O modelo não passa a conhecer um procedimento novo só porque a aplicação o baixou em algum lugar. Mantenha um caminho visível até o documento original e teste no celular que será usado, considerando as limitações de bateria e aquecimento.

5. Redação a partir de formatos predefinidos

Gere um rascunho com campos aprovados e um formato já estabelecido. Um gerente de contas pode transformar um registro de reunião verificado em um e-mail de acompanhamento, com seções para decisões, responsáveis e próximos passos.

Mantenha compromissos, preços e datas em campos de origem validados. Quando faltar um valor, omita-o ou solicite a informação. É mais fácil controlar a redação com um modelo pequeno quando ele muda as palavras e a aplicação fornece os fatos.

Pequenos modelos de linguagem open source: tamanhos e licenças

Estes são modelos com pesos abertos listados por seus desenvolvedores, verificados em 14 de outubro de 2026, e não um ranking baseado em testes práticos. O termo “open source” costuma ser usado de forma imprecisa nesse contexto: pesos disponíveis para download não significam direitos iguais. Confira a licença do checkpoint exato que será colocado em produção, inclusive de qualquer pacote derivado ou quantizado.

Os tamanhos abaixo seguem os nomes usados pelos desenvolvedores, com destaque para diferenças importantes na contagem. Um runtime é o software que carrega os pesos e executa o modelo; ainda é preciso conferir a compatibilidade e a memória disponível.

Vale avaliar o Google Gemma 4 quando um assistente local precisa receber texto e também imagens ou áudio. Os nomes E2B e E4B descrevem contagens efetivas de parâmetros, portanto não calcule a memória apenas pelo nome. O Google oferece formatos de implantação e orientações sobre memória, com opções locais e móveis.

O Microsoft Phi-4-mini-instruct é um modelo de texto cuja ficha traz instruções para disponibilizá-lo localmente e alerta explicitamente para as limitações de conhecimento factual. Por isso, é um candidato razoável para tarefas com contexto fornecido, desde que seja avaliado com cuidado no idioma e nos documentos que você usa. Ele não substitui uma fonte de conhecimento atualizada.

O Alibaba Qwen3.5 oferece uma variedade útil de tamanhos pequenos para comparar a mesma tarefa com diferentes exigências de hardware. A ficha do modelo de 4B documenta as opções de execução como serviço, enquanto a licença do checkpoint apresenta os termos de uso. Confira a compatibilidade do runtime e o pacote multimodal completo, sem presumir que toda aplicação local aceita qualquer variante.

O Meta Llama 3.2 oferece modelos exclusivamente de texto pequenos o suficiente para viabilizar testes no próprio dispositivo, com quantização para uso móvel documentada pela Meta. Sua licença própria é um acordo diferente das licenças MIT e Apache 2.0. Considere-o para um fluxo de texto delimitado; se houver necessidade de interpretar imagens, será preciso escolher outro modelo.

O Mistral AI Ministral 3 oferece variantes base, instruct e de raciocínio em seus diferentes tamanhos pequenos, com compreensão de imagens. Para uma tarefa rotineira, comece avaliando uma variante instruct, ou seja, treinada para seguir solicitações. Uma resposta com raciocínio mais longo pode aumentar a latência quando basta uma categoria curta ou um campo extraído. A página atual do modelo de 3B documenta o modelo hospedado.

Como escolher os melhores modelos pequenos para um primeiro piloto

Comece pelo menor candidato que ofereça o tipo de entrada necessário, suporte ao idioma, uma licença aceitável e um runtime compatível. Compare-o com um candidato maior usando exatamente os mesmos exemplos. Sem essa carga de trabalho, não há como defender um vencedor universal.

Para escolhas orientadas pelo hardware e que abrangem uma faixa maior de modelos, consulte o guia dos melhores LLMs locais. A seleção acima mantém o foco em explicar a decisão de adotar um modelo pequeno.

O que cabe em um notebook, celular ou uma única GPU?

Os pesos do modelo são apenas o ponto de partida para calcular a memória necessária. Também é preciso reservar memória de trabalho para o runtime e para o contexto, isto é, o texto e as demais entradas que o modelo está processando.

Veja uma conta propositalmente simplificada: 4 bilhões de parâmetros × 4 bits ÷ 8 = 2 GB de pesos brutos, usando gigabytes decimais. Essa é uma conta nossa, não um benchmark nem uma afirmação de que um modelo de 4B roda com 2 GB de RAM. Metadados de quantização, pesos armazenados em precisões diferentes, o runtime e o cache de contexto acrescentam consumo de memória.

O cache KV é uma memória de trabalho que evita recalcular partes do contexto anterior. Entradas mais longas, saídas mais longas e mais solicitações simultâneas podem aumentar a memória necessária. As orientações de planejamento de memória do Google separam explicitamente os pesos estáticos do contexto e do software de apoio.

Um celular precisa de um runtime móvel compatível e de uma carga de trabalho que continue útil sob as limitações do dispositivo durante o uso prolongado. Um notebook precisa deixar memória livre para o sistema operacional e para os aplicativos que você realmente usa. Uma GPU não é uma especificação: o que cabe nela depende da memória de vídeo disponível, do software compatível e da carga de solicitações.

Mesmo cabendo na memória, um modelo pode ser lento demais. Meça tanto a primeira execução, com o modelo ainda descarregado, quanto as solicitações repetidas. Depois, teste o tamanho de prompt e a carga simultânea previstos. Não reserve toda a janela de contexto só porque a ficha do modelo anuncia esse limite.

Como rodar um pequeno modelo de linguagem

Use o Ollama quando uma linha de comando e uma API local se encaixarem no seu fluxo. Escolha o LM Studio se preferir baixar, carregar e comparar modelos em uma interface de desktop. Ambos são runtimes e aplicações, não o modelo em si. O comparativo entre Ollama e LM Studio detalha essa escolha.

Execução local com Ollama

O Ollama oferece um executor local de modelos e uma interface HTTP. Instale e inicie o programa seguindo o guia oficial de início rápido e, depois, baixe um modelo pelo seu nome específico. A página do Llama 3.2 na biblioteca lista os dois tamanhos pequenos.

1. 1

   Baixe um modelo pequeno

   Após instalar o Ollama, execute estes comandos em um terminal:

   ollama pull llama3.2:3b
   ollama run llama3.2:3b

   O primeiro comando baixa o modelo. O segundo abre uma sessão interativa. Esse é um caminho inicial documentado, não uma afirmação de que o modelo já foi aprovado para a sua tarefa.

2. 2

   Teste uma solicitação de escopo definido pela API

   Com o Ollama em execução, a solicitação abaixo pede a classificação de um chamado de suporte e uma saída em JSON. Execute-a em um shell com curl disponível:

   curl http://localhost:11434/api/generate \
     -H 'Content-Type: application/json' \
     -d '{
       "model": "llama3.2:3b",
       "prompt": "Classify the ticket as billing, access, bug, or other. Return JSON with one key: category. Ticket: I cannot sign in after resetting my password.",
       "format": "json",
       "stream": false
     }'

   Leia o texto gerado no campo response da resposta. O endpoint generate também aceita um JSON Schema quando é necessário impor uma estrutura de saída mais rígida. Sua aplicação ainda precisa rejeitar categorias desconhecidas e avaliar se a classificação está correta.

3. 3

   Confira onde a execução acontece

   Use ollama ps para verificar se o modelo está carregado na CPU, na GPU ou em ambas. Se o fluxo precisar permanecer local, desative os recursos de nuvem com OLLAMA_NO_CLOUD=1 no ambiente do serviço Ollama em execução e reinicie-o. O Ollama documenta esses controles nas perguntas frequentes. Deixe ferramentas conectadas e alternativas remotas de fora do teste offline.

Execução local com LM Studio

O LM Studio é uma aplicação de desktop para baixar e executar modelos locais compatíveis. A documentação da aplicação descreve o suporte a GGUF, um formato de arquivo de modelos locais, e a MLX em Apple Silicon.

Abra Discover, pesquise o modelo e escolha um arquivo compatível que caiba na sua máquina. Carregue-o em um chat e cole a mesma solicitação de classificação usada acima. Registre o arquivo exato do modelo e a quantização, pois dois downloads da mesma família podem ter exigências de recursos e qualidade diferentes. Consulte o guia de download de modelos para seguir a interface atual.

Para testar o uso offline, baixe primeiro o modelo e o runtime necessário, desconecte-se da internet e repita a tarefa. O modelo pode funcionar localmente, enquanto a busca por modelos, os downloads ou as ferramentas externas ainda exigem conexão. Um teste de chat offline não comprova que todas as integrações da aplicação preservam a privacidade.

Uso de uma API hospedada

Uma API hospedada de modelo pequeno permite avaliar o modelo sem gerenciar uma GPU. O serviço hospedado da Mistral, por exemplo, lista o Ministral ao lado dos modelos maiores. Siga o guia de início rápido da API: crie uma conta e uma chave, selecione na página do modelo o identificador atual do modelo pequeno e envie o mesmo prompt delimitado pelo endpoint de conclusão de chat.

Mantenha a chave no servidor. Compare as respostas aceitas, o tempo de resposta e o esforço de revisão usando o mesmo conjunto de dados da execução local. Um modelo pequeno hospedado continua fazendo inferência remota; ter poucos parâmetros não lhe dá funcionamento offline nem a privacidade de uma execução no dispositivo.

Onde os modelos pequenos falham e quais promessas exageram

As falhas mais difíceis aparecem quando a tarefa vai além dos exemplos usados no planejamento. Um classificador pode parecer confiável em chamados simples e errar diante de uma mensagem que reúne uma contestação de cobrança e um problema de acesso. Um modelo de redação pode seguir o formato pedido e, ainda assim, inventar um compromisso.

Conhecimento amplo e raciocínio em situações ambíguas continuam sendo pontos fracos a avaliar. A ficha do Phi, da Microsoft, descreve explicitamente a capacidade factual limitada e alerta para problemas com conversas longas, diferenças entre idiomas e informações pouco confiáveis. Fornecer fontes relevantes ajuda a suprir lacunas de conhecimento, mas não garante uma interpretação correta.

“Pequeno significa preciso” é uma afirmação sem respaldo. Delimitar uma tarefa facilita a avaliação e a imposição de restrições. Isso não faz o modelo dizer a verdade. Mantenha verificações de evidências e um caminho para recusar ou encaminhar a solicitação.

“Local significa privado” descreve uma arquitetura que você precisa construir. Logs, ferramentas externas, sincronização de documentos e alternativas remotas podem ultrapassar esse limite mesmo quando a inferência é local.

“Uma janela de contexto longa significa que ele entende o manual inteiro” é exagero. A capacidade de entrada anunciada não garante que tudo caiba na memória nem que o modelo raciocine corretamente sobre cada trecho. Recupere a seção relevante, envie-a com a pergunta e confira a resposta com base na fonte.

Pequenos modelos de linguagem para áreas específicas

A especialização começa no fluxo de trabalho, antes do treinamento. Forneça ao modelo o vocabulário, as saídas permitidas e os documentos relevantes para a tarefa. Geração aumentada por recuperação, ou RAG, significa encontrar fontes relevantes e incluí-las na solicitação. Isso permite atualizar o conhecimento fornecido sem alterar os pesos do modelo.

Em um assistente de manutenção de equipamentos, recupere as instruções correspondentes à máquina e à revisão exatas. Não entregue uma pasta com manuais sem relação entre si esperando que o modelo faça a escolha certa. Mantenha a identificação da revisão da fonte junto à resposta para que o profissional possa conferi-la.

Quando fazer fine-tuning de modelos pequenos

O fine-tuning, ou ajuste fino, modifica um modelo pré-treinado com exemplos adicionais. Considere essa opção quando uma tarefa estável apresentar falhas recorrentes que os ajustes de prompt e a recuperação de fontes não resolveram, e você tiver exemplos representativos e corretamente rotulados.

Em um classificador de suporte, isso pode significar ensinar a distinção específica da empresa entre incidentes e pedidos de funcionalidades. Reserve um conjunto de avaliação que nunca entre no treinamento. Se o problema for uma política de reembolso que muda, atualize primeiro a política fornecida; não use o fine-tuning como substituto de uma fonte de referência atualizada.

Quem deve começar agora, esperar ou manter a solução atual?

Comece agora se a tarefa se repete, a saída pode ser verificada e a disponibilidade local ou a localização dos dados resolve um problema concreto. Um profissional sênior de operações com uma fila de triagem manual tem um piloto mais promissor do que um fundador que pretende substituir todos os assistentes da empresa.

Adie a migração se você não consegue definir quais erros são aceitáveis, não tem exemplos representativos ou precisa de um agente sem escopo delimitado para tomar decisões de grande impacto. Primeiro, estabeleça o fluxo de trabalho e a referência de avaliação.

Mantenha a API existente se ela já atende ao requisito e nem a localização dos dados, nem a disponibilidade offline, nem o desempenho operacional medido justificam a mudança. O tamanho do modelo, por si só, não é motivo para reconstruir a solução.

Para começar na segunda-feira: escolha uma fila, um schema de saída e um responsável. Reúna 100 casos iniciais, por exemplo, 70 rotineiros, 20 complicados e 10 fora do escopo. Essas quantidades são sugestões de ponto de partida, não uma garantia estatística. Separe exemplos para a avaliação final e acrescente falhas raras conforme elas aparecerem.

Execute um modelo pequeno e a solução de referência atual nos mesmos casos reservados para avaliação. Registre acertos, saídas inválidas, encaminhamentos, uso de memória e latência de ponta a ponta, incluindo o percentil 95, o tempo em que 95% das solicitações terminam. Defina o limite de aceitação antes de comparar os resultados e examine os erros por categoria, em vez de se apoiar em uma média geral. Comece em modo sombra: o modelo propõe uma resposta, mas o fluxo existente continua no controle.

Perguntas frequentes

Para que servem os SLMs?

Pequenos modelos de linguagem são candidatos a tarefas de linguagem delimitadas, como classificação, extração, roteamento, assistência local e redação a partir de formatos predefinidos. A adequação depende do modelo, do contexto fornecido e das verificações aplicadas à saída.

O que são modelos de linguagem pré-treinados?

São modelos cujos pesos já aprenderam padrões a partir de um conjunto de dados de treinamento. É possível usá-los como estão ou adaptá-los. Uma versão ajustada para seguir instruções recebe treinamento adicional para atender a solicitações e costuma ser o ponto de partida prático para um assistente.

Quais são outros grandes modelos de linguagem?

Gemma, Phi, Qwen, Llama e Mistral são famílias de modelos de linguagem. Algumas incluem modelos menores e maiores. SLM é uma descrição relativa de tamanho, não uma tecnologia completamente separada de um LLM.

O que é um modelo de linguagem baseado em rede neural?

É um modelo que usa pesos numéricos aprendidos em uma rede neural para estimar padrões da linguagem, como qual token provavelmente virá a seguir. Muitos modelos de linguagem generativos atuais usam arquiteturas transformer.

O ChatGPT é uma rede neural?

O ChatGPT é uma aplicação baseada em modelos neurais de linguagem. A aplicação e o modelo subjacente são camadas diferentes; “ChatGPT” não designa uma rede de tamanho fixo. A OpenAI separa os conceitos de modelos do modelo usado no ChatGPT.

Por que uma CNN seria melhor do que uma ANN?

Uma rede neural convolucional, ou CNN, é um tipo de rede neural artificial, ou ANN. Ela não é melhor em todos os casos. As convoluções são úteis para padrões espaciais, como os encontrados em imagens; a arquitetura adequada depende da tarefa.

O YOLO é apenas uma CNN?

YOLO é uma família de sistemas de detecção de objetos. Muitas versões usam componentes convolucionais, mas um detector funcional inclui arquitetura, processo de treinamento e lógica de predição. Ele não é um pequeno modelo de linguagem. A Ultralytics documenta essa família de modelos.

O TensorFlow é um modelo CNN?

Não. TensorFlow é um framework de software usado para criar e executar modelos de aprendizado de máquina. Uma CNN é um dos tipos de modelo que podem ser construídos com ele, como mostra o tutorial de CNN.

Quais são os quatro tipos de redes neurais?

Não existe uma lista universal com exatamente quatro tipos. Redes feedforward, convolucionais, recorrentes e transformers são quatro categorias frequentemente citadas, mas as classificações de arquiteturas variam. O tamanho do modelo é uma propriedade separada. Consulte o glossário de aprendizado de máquina do Google.

Assine a newsletter para receber guias práticos sobre como escolher e operar sistemas de IA.