Texto da publicação no LinkedIn
Roteadores de LLMs
🚀 Roteadores de LLMs: o que a literatura realmente mostra
Compartilho um artigo técnico (documento completo + 41 slides) sobre a camada que decide qual modelo de IA responde a cada requisição, e que também autentica, controla orçamento, faz fallback e audita.
🟣 Por que existem: o preço de saída varia de 60× a cerca de 100× entre modelos (RouteLLM). Escolher bem, requisição a requisição, pesa no orçamento.
🔵 O padrão OpenAI (/v1/chat/completions) é o contrato: trocar de modelo vira configuração, não reescrita de código.
🟢 Evidência: roteadores aprendidos cortam o custo em mais de 2× com qualidade mantida (RouteLLM). Mas no LLMRouterBench (33 modelos, 21 conjuntos de dados), muitos métodos convergem e vários não superam um baseline simples.
🟠 Governança: NIST AI RMF, ISO/IEC 42001, EU AI Act e LGPD mapeados a controles do gateway. Atenção: o Digital Omnibus adiou o alto risco do AI Act para dez/2027 e ago/2028.
🔴 Segurança: CVEs reais em gateways (SSRF, RCE, vazamento em logs) e ataques ao próprio algoritmo de roteamento, que na maioria dos casos reroteou quase 100% das consultas em roteadores abertos.
Minha leitura: o plano de controle já é maduro; a decisão inteligente ainda precisa provar ganho contra um baseline simples, e latência e robustez adversarial são as lacunas.
Todas as fontes foram auditadas (43 referências).
© Aridio Silva @aridiosilva — Outubro 2026