Desempenho recorde com infraestrutura local
O modelo DeepSeek V4.1-Flash, com 552 bilhões de parâmetros, alcançou uma taxa de processamento de 494 tokens por segundo ao ser executado em um sistema composto por quatro unidades NVIDIA DGX Spark. A configuração, desenvolvida pelo especialista Patrick Moorhead, utiliza uma topologia de anel sem switch e oferece uma memória unificada de 512 GB.
Especificações técnicas do sistema
- Quatro unidades NVIDIA DGX Spark com CPU de 20 núcleos (10 Cortex-X925 e 10 Cortex-A725)
- GPU GB10 com 31 TFLOPs de FP32 e 1000 TOPS de NVFP4
- Memória LPDDR5X de 128 GB por unidade (bandwidth de 273 GB/s)
- Conectividade via ConnectX-7 SmartNIC com portas 200 Gb/s e suporte a Wi-Fi 7
- Armazenamento de 1–4 TB em NVMe SSD
Desempenho e eficiência
A configuração atingiu os seguintes resultados:
- Pico de 494 tokens/s (código, 32 requisições simultâneas)
- 280 tokens/s em prosa (32 requisições)
- Processamento de prompt: ~4.764 tokens/s
- Tempo para primeiro token: ~0,2 segundo
Custo e operação
O sistema custa entre US$ 25.000 e US$ 40.000, incluindo quatro unidades DGX Spark, cabos QSFP e equipamentos adicionais. Cada unidade consome entre 400 e 600 W sob carga, permitindo operação contínua com baixos custos elétricos.
Fonte: WCCF Tech
