Laboratório Trillium defende pesquisa aberta em IA de alto risco
Em um momento em que grandes empresas de inteligência artificial (IA) mantêm seus modelos mais avançados sob sigilo, o Trillium Labs, uma organização sem fins lucrativos, busca uma abordagem radicalmente diferente. Fundado por Nathan Lambert e Tom Zick, o laboratório pretende publicar detalhes de experimentos em áreas como o autoaperfeiçoamento recursivo (RSI) e agentes autônomos, permitindo que pesquisadores de fora estudem e replicuem os resultados.
Lambert, ex-cientista da Ai2 e Hugging Face, argumenta que a falta de transparência nos laboratórios de IA de vanguarda limita a capacidade da comunidade científica de analisar riscos e propor soluções. ‘A ciência tem sido nossa ferramenta para mitigar danos ao longo da história’, afirma. ‘O caminho fechado da IA atual está nos empurrando para trás.’
Enquanto empresas como OpenAI e Anthropic restringem o acesso a seus modelos por meio de APIs, outras, como Xiaomi, têm adotado práticas mais abertas. Pesquisadores da Stanford também estão testando modelos pré-treinados de forma transparente. O Trillium Labs, por sua vez, focará inicialmente no pós-treinamento de modelos e na análise de RSI, um processo que permite que a IA contribua para sua própria evolução.
A iniciativa enfrenta desafios significativos, como a necessidade de recursos computacionais e experimentação cuidadosa para entender como técnicas como o aprendizado por reforço afetam o comportamento dos modelos. ‘Publicar detalhes de treinamento pode revelar insights surpreendentes’, diz Zick, que busca atrair investimentos para expandir o trabalho do laboratório.
Tim Fist, da Instituição de Progresso, elogia a abordagem do Trillium Labs, mas ressalta que o debate entre transparência e segurança ainda está em aberto. O laboratório pretende arrecadar até US$ 100 milhões e investir US$ 30 milhões em treinamento nos próximos 18 meses.
