A narrativa sobre o progresso da IA atingiu um paradoxo crítico. De um lado, vozes proeminentes declaram que as leis de escalonamento estão encontrando um muro, apontando para retornos decrescentes ao simplesmente adicionar mais parâmetros e dados. Do outro, benchmarks objetivos mostram que as capacidades da IA estão melhorando mais rápido do que nunca. O comprimento das tarefas que agentes autônomos de IA podem completar tem dobrado a cada 7 meses nos últimos 6 anos, acelerando para cada 4 meses recentemente. Este paradoxo se resolve quando paramos de confundir um vetor de escalonamento com toda a fronteira de capacidade.
O Fim de 'Escala é Tudo que Você Precisa'
O paradigma original, onde melhorias proporcionais em capacidade vinham de escalar entradas em uma arquitetura fixa de transformador, está de fato produzindo retornos decrescentes. No entanto, a utilidade dos sistemas de IA está acelerando independentemente do que a escala sozinha está fazendo.
Múltiplos Vetores de Progresso
A fronteira de capacidade está sendo impulsionada por vários programas de pesquisa simultaneamente:
- Escalonamento de tempo de teste: Cadeia de pensamento, busca e uso de ferramentas
- Inovações arquitetônicas: Mistura de especialistas e modelos de espaço de estado
- Andaimes de agente: Uso melhorado de ferramentas e melhorias pós-treinamento
- Receitas de treinamento melhores: RLHF, DPO, dados sintéticos e auto-aprendizagem
A Conexão Compressão-Inteligência
Uma lacuna fundamental permanece entre máquinas e cérebros: eficiência amostral. Cérebros humanos podem generalizar a partir de alguns exemplos, enquanto o aprendizado de máquina requer milhões ou bilhões. O cérebro humano opera em aproximadamente 20 watts de energia, enquanto sistemas de IA requerem megawatts para alcançar muito menos generalização.
DeepSeek: Estudo de Caso em Eficiência
A abordagem do DeepSeek valida a metodologia de compressão primeiro:
- Redução de tokens visuais: Alcançou redução de 7-20x em tokens ao fazer a IA ler texto visualmente
- Eficiência arquitetônica: Atenção latente multi-cabeça comprime vetores chave-valor
- Eficiência computacional: Completou pré-treinamento em 14 trilhões de tokens com apenas 2.8 milhões de horas GPU H800 a aproximadamente $5 milhões
| Métrica | Abordagem Tradicional | Abordagem DeepSeek | Fator de Melhoria |
|---|---|---|---|
| Uso de tokens | Tokens de texto padrão | Compressão visual de tokens | Redução de 7-20x |
| Custo de treinamento | $100M+ | ~$5M | Redução de 20x |
| Demanda de memória | Alta | Baixa (arquitetura MLA) | Redução significativa |
O Futuro: Eficiência Amostral é Tudo que Você Precisa
O paradigma dominante mudou de 'atenção é tudo que você precisa' (2017) para 'escala é tudo que você precisa' (2020-2024) para agora 'eficiência amostral é tudo que você precisa'. Isso reformula nossa definição de inteligência. O verdadeiro desafio não é escalar parâmetros, mas escalar profundidade de abstração, fidelidade de modelo causal e eficiência de aprendizado.
📅 Data de referência: 2024-05-24
