Texto da publicação no LinkedIn
LoRA: como uma ideia de 2021 virou o padrão para personalizar modelos de IA
Adaptar um modelo gigante a cada tarefa custava caro. No GPT-3 175B, cada versão ajustada ocupava 350 GB, e o ajuste fino completo consumia 1,2 TB de memória de GPU.
Em 2021, Edward J. Hu, Yelong Shen e mais seis pesquisadores da Microsoft propuseram a LoRA (Low-Rank Adaptation; arXiv:2106.09685, ICLR 2022). A técnica congela o modelo e treina só uma pequena correção de baixo posto, W₀ + BA.
📊 Resultado no artigo original: cerca de 10.000 vezes menos parâmetros treináveis, checkpoint de 35 MB em vez de 350 GB e nenhuma latência extra após a fusão.
Neste infográfico, cubro:
- 🟣 Origem teórica (dimensão intrínseca, 2018–2020) e os autores
- 🔵 Matemática e workflow de engenharia: treino, fusão e serviço multiadaptador (Punica, S-LoRA, vLLM)
- 🟢 Linha do tempo das variantes: QLoRA, AdaLoRA, rsLoRA, VeRA, LoftQ, LongLoRA, DoRA, LoRA+ e PiSSA
- 🟡 Resultados e limites, de “LoRA Learns Less and Forgets Less” (2024) a “LoRA Without Regret” (2025)
- 🟠 Comparação com adaptadores, prompt tuning, BitFit, (IA)³, GaLore e RAG
- 🔴 Adoção documentada: Azure OpenAI, Apple Intelligence, Tinker e Hugging Face
- 🛡️ Prós, contras e cuidados de governança e segurança (GRC)
✅ Conclusão: a LoRA iguala o ajuste fino completo no pós-treino e no aprendizado por reforço quando aplicada a todas as camadas. Ela fica atrás, porém, quando é preciso absorver grandes volumes de conhecimento novo. A melhor combinação costuma ser LoRA para ensinar comportamento e RAG para fornecer fatos.
📚 Cada slide traz a importância do tema e suas implicações positivas e negativas. No fim estão o glossário e as referências primárias, conferidas uma a uma.
Qual desses temas faz mais diferença no seu trabalho hoje?