Texto da publicação no LinkedIn
Revisão por pares com IA: o que o “73%” da Sakana AI realmente mede
A Sakana AI publicou o MLR (Multi-Layered Review), um revisor automático baseado em Claude. A manchete: “detecta 73% dos erros nas alegações centrais”. Conferi o paper (TMLR; arXiv:2610.11087) e o apêndice. O número é real, mas descreve o melhor caso:
- 🟢 73,43%: contradições SINTÉTICAS na alegação principal, com 4 revisões (basta uma acertar)
- 🔵 40,95%: todas as distâncias do benchmark (1.164 contradições em 257 papers de ML)
- 🟠 16,11% a 26,07%: motivos reais de retratação (exato / similar)
- 🟣 Os 73% vêm de 1 agente (Review Agent, Claude Sonnet 4), não dos 3
- 🔴 Precisão (falsos alarmes): não medida no paper
⚙️ Como funciona: cadeia de 3 passos (outline → leitura crítica → revisão), PDF em texto e imagem, cerca de US$ 0,47 por revisão.
⚠️ Risco: injeção de prompt (texto oculto) influenciou todos os sistemas; o MLR detectou em 8 de 50 casos.
📊 Evidência independente (45 cientistas, 82 artigos Nature): revisores de IA de fronteira erram em 14–18% dos itens e cobrem 27–39% das críticas validadas por humanos.
✅ Conclusão: útil como segunda leitura, com humano no circuito. Antes de adotar, meça precisão e recall com seus próprios erros reais.
📑 Infográfico com 54 slides: tabelas, gráficos, linha do tempo, glossário e bibliografia.
© Aridio Silva (@aridiosilva) · 13-Outubro-2026