Os 16GB de memória GDDR6 e a largura de banda de 448GB/s da PS5 são especificações promissoras para rodar modelos de inteligência artificial locais. Um usuário chamado u/metover, no Reddit, conseguiu transformar a console em um servidor de IA com um projeto intitulado “PS5LM”, utilizando a CPU como carga útil e otimizando a memória disponível. A iniciativa, no entanto, exigiu compromissos significativos, como a limitação de memória e a necessidade de uma modificação no sistema.
Limitações de Memória e Uso de Quantização
Para rodar o modelo Qwen3.8-27B, um LLM (Large Language Model) com 27 bilhões de parâmetros, o usuário teve que reduzir a memória disponível para apenas 6GB. Com uma otimização adicional, esse valor foi elevado para 11,4GB, permitindo a execução de uma versão altamente quantizada do modelo. A quantização, que reduz a precisão dos cálculos, diminuiu o tamanho do modelo de 54GB (em 16 bits) para 6,8GB (em 2 bits), mas comprometeu a qualidade das respostas e a capacidade de raciocínio do modelo.
Desempenho e Consumo de Energia
Com a memória otimizada, o modelo Qwen3.8-27B atingiu uma velocidade de 20,9 tok/s (tokens por segundo), com a GPU operando em 100% e a CPU em apenas 2%. Modelos menores, como o Gemma 4 E4B e o Llama 3.2 3B, obtiveram resultados mais expressivos, alcançando até 124 tok/s. O consumo de energia total foi de 86W, mantendo a temperatura da PS5 em 54°C, um valor considerado estável para o hardware.
Compromissos e Riscos
Apesar do desempenho impressionante, o projeto apresenta limitações importantes. A memória de 16GB da PS5 restringe a execução de modelos de IA a versões altamente quantizadas ou modelos significativamente menores. Além disso, a instalação de uma versão nativa do llama.cpp na console exige uma modificação no sistema, o que anula a garantia e pode resultar em banimentos de jogos online.
Fonte: WccFtech
