A NVIDIA RTX 3090 conseguiu um aumento de até 4,6x na velocidade de geração de tokens ao aplicar otimizações de inferência em um modelo de linguagem de 27 bilhões de parâmetros.
A NVIDIA RTX 3090, com sua largura de banda de memória de 936,2 GB/s, é uma das GPUs mais capazes para processamento de prompts e geração de tokens. No entanto, sua memória de 24 GB pode limitar o desempenho em tarefas complexas. Um desenvolvedor que testou o modelo Qwen3.8-27B na GPU conseguiu uma taxa de 82 tokens por segundo (tok/s), mas ao implementar um motor de inferência personalizado, a velocidade subiu para 382 tok/s, um aumento próximo a 5x.
Como a otimização funciona
Para entender por que a geração de texto por IA é lenta, é essencial compreender como os modelos de linguagem (LLMs) funcionam. Cada token gerado depende do anterior, e a GPU precisa buscar constantemente os pesos do modelo na memória. Esse processo de busca, e não os cálculos em si, é o gargalo do desempenho.
Para resolver esse problema, o usuário do Reddit “u/iamMess” utilizou a técnica de decodificação especulativa, onde um “redator” rápido adivinha vários tokens futuros. O modelo principal verifica todos os tokens em uma única passada, mantendo os corretos e descartando os demais. Isso reduz significativamente o tempo de processamento.
Avanços e limitações
A otimização do MTP (Multi-Token Prediction) interno do Qwen3.8-27B elevou a velocidade para cerca de 114 tok/s. Com a adição do método DFlash2, que propõe sete tokens por vez, e do “redator” de busca, que analisa o texto já escrito para prever palavras repetidas, a velocidade subiu para 138 tok/s.
O “redator” de busca permitiu que o motor verificasse 16 tokens por etapa, aumentando a eficiência. Quando o modelo cita um documento, cerca de 15 dos 16 tokens adivinhados são aceitos, elevando a velocidade de 260 para 382 tok/s em tarefas com 25.000 tokens. Em conversas comuns, a taxa chegou a 133 tok/s.
Além disso, o desenvolvedor expandiu a janela de contexto para 138.696 tokens ao armazenar a memória de trabalho do modelo em um formato mais compacto. No entanto, essa abordagem tem desvantagens: o processo de verificação mais longo consome metade das vagas de solicitação e 8.000 tokens de contexto, tornando-o opcional. O formato compacto também dobra o tempo inicial de leitura de documentos, sendo ideal para casos em que um documento é carregado uma vez e várias perguntas são feitas.
Fora de tarefas de repetição de texto, esse modo opera a cerca de 50% da velocidade do MTP padrão. Para conversas cotidianas, a taxa de 133 tok/s ainda representa uma melhoria significativa em relação aos 82 tok/s anteriores. No entanto, como essa informação não foi verificada independentemente, é recomendável tratá-la com cautela.
Fonte: Reddit
