Novo Benchmark Compara Humanos e LLMs em Teste de Escrita Criativa
A Vulsar AI lançou um benchmark que avaliou o desempenho de 24 modelos de linguagem de grande porte (LLMs) contra escritores humanos amadores e profissionais. Com base em 475 prompts, o estudo revela que apenas modelos de fronteira, como o GPT 6 Astra, conseguem superar levemente escritores amadores, enquanto profissionais ainda mantêm uma vantagem significativa.
Resultados Principais
- GPT 6 Astra liderou com 87,8% de taxa de vitória prevista, superando escritores amadores (86,6%).
- OpenAI’s GPT 5.6 Sol obteve 77,6%, seguido por Anthropic’s Claude Fable 5.1 com 70,3%.
- Modelos como Claude Opus 5, Kimi K3 e Grok 4.6 ficaram na faixa de 50–65%.
- Modelos menos densos, como Qwen3.8-27B (23,2%) e Gemma 4 26B (10,9%), tiveram desempenho inferior.
Escritores Humanos e Geração de Tokens
Escritores humanos produziram a maior quantidade de tokens por prompt (2.592), seguidos por GPT 6 Astra (1.537 tokens) e Claude Fable 5.1 (2.114 tokens). O debate em fóruns como Reddit aponta que modelos menores tendem a perder coerência em prompts longos, repetindo frases e falhando em manter complexidade narrativa.
Lacunas de Habilidades
Apesar da proximidade entre modelos de fronteira e escritores amadores, profissionais ainda demonstraram superioridade. A Vulsar AI destaca que humanos são capazes de adaptar estilos e ritmo de escrita de forma espontânea, algo que modelos atuais ainda não replicam plenamente.
Crédito: Vulsar AI
Crédito: Vulsar AI
Fonte: Vulsar AI
