O maior gargalo para a execução de modelos de inteligência artificial mais densos em smartphones é a quantidade de memória disponível. Com a situação atual do mercado de DRAM, é improvável que os dispositivos ultrapassem a barreira dos 16 GB em breve. No entanto, o CEO da Qualcomm, Cristiano Amon, acredita que, em breve, vivenciaremos uma era em que os celulares poderão rodar continuamente modelos de linguagem de 100 bilhões de parâmetros (LLMs) e confirma que empresas de IA estão desenvolvendo smartphones capazes de realizar essa tarefa.
Quanto à viabilidade de executar modelos mais densos, Amon mencionou que os fabricantes de celulares incorporarão grandes quantidades de RAM, especialmente quando o suprimento é escasso e os preços estão em alta. As únicas formas de rodar LLMs de 100B em smartphones até 2028 seriam por meio do streaming a partir da memória flash ou pela execução de modelos de IA sparsos com arquitetura MoE (Mixture of Experts).
Em conversa com a Fireside Alpha, Amon não revelou os nomes das empresas de IA que desejam smartphones capazes de rodar LLMs de 100B, mas sua afirmação audaciosa de que dispositivos com essa capacidade chegarão em 2028 é, de fato, uma tarefa hercúlea. Devido à crise de memória, muitos fabricantes de smartphones já desistiram de lançar variantes com mais RAM, apesar de, há apenas um ano, termos visto dispositivos Android com impressionantes 24 GB de memória LPDDR5X.
Se fizermos os cálculos, rodar um modelo de 100 bilhões de parâmetros quantizado em 4 bits exigiria que um smartphone tivesse pelo menos 50 GB de RAM, com memória suficiente para o sistema operacional, aplicativos e cache de contexto. Um modelo quantizado em 2 bits ainda seria impossível de executar, já que os smartphones precisariam ter 25 GB de memória apenas para o LLM de 100B.
Assumindo que os obstáculos de custo e suprimento de DRAM sejam superados, ainda não consideramos que a execução contínua de modelos mais densos contribui significativamente para o aquecimento, causando o desempenho reduzido devido ao aquecimento excessivo. Apple e Qualcomm já começaram a abordar esse problema com a mudança no empacotamento de chips, como no A20 Pro e no Snapdragon 8 Elite Extreme Gen 6, mas o gargalo de memória persistirá a menos que sejam adotadas abordagens mais inovadoras para rodar modelos de 100B de forma eficiente.
Por exemplo, a quantização agressiva pode reduzir drasticamente os requisitos de memória, permitindo que variantes de 1 bit se encaixem na DRAM. No entanto, a qualidade dos LLMs degrada significativamente além da quantização em 4 bits, especialmente para tarefas de raciocínio. Outra alternativa é a arquitetura MoE (Mixture of Experts), com desempenho de especialistas, onde apenas uma pequena parcela de especialistas está ativa por token, ficando na RAM, enquanto o restante reside na memória flash.
Quanto à memória flash, a Apple já pesquisou a execução de LLMs na memória interna, mas as velocidades de inferência podem cair devido à lentidão dos armazenamentos UFS e NVMe em comparação com a DRAM. Um modelo distilado de 20B a 30B pode atingir a qualidade de um modelo de 100B ao ser executado em um smartphone. Isso parece ser a estratégia mais viável para as empresas, já que é a mais realista.
Infelizmente, as declarações do CEO da Qualcomm, sem apresentar um plano de ação claro, não nos aproximam de executar modelos mais densos em smartphones, mas ainda é uma ideia interessante imaginar dispositivos com as mesmas capacidades de máquinas maiores.
Fonte: WccFtech
