Um usuário da rede Reddit descobriu que conectar um iPhone 17 Pro Max a um MacBook Pro M4 Pro por meio de um porto USB-C e usar software personalizado permite acelerar o prefill de modelos de IA em até 44%. O experimento envolveu a divisão de cálculos entre os dois dispositivos, com o MacBook executando as primeiras camadas de um lote de 256 tokens e o iPhone assumindo as camadas restantes com sua GPU A19 Pro.
Segundo o Redditor ‘u/StayLameBro’, a combinação supera a limitação de 24GB de memória unificada do MacBook, que restringe o contexto a 64K. O iPhone, por sua vez, reduz o tempo de escrita por token em 140K contexto, passando de 279ms para 176ms com a ajuda do Neural Engine. Em testes, o sistema conseguiu 177 tok/segundo em 8K de contexto e 157 tok/segundo em 16K, um aumento de 35% e 44%, respectivamente.
Apesar dos ganhos, o usuário ressalta limitações: o iPhone só acelera o processamento acima de 64K de contexto, enquanto o MacBook continua responsável pela geração de texto abaixo desse limite. Além disso, o chip A20 Pro, presente no iPhone 18 Pro, poderia oferecer melhorias com seu Neural Engine dual-16-core.
O software ‘backburner’, responsável pela integração, está disponível como código aberto no GitHub. A descoberta demonstra o potencial de dispositivos móveis em tarefas de IA, mas também alerta sobre possíveis gargalos de memória e desempenho em escala maior.
