SubQ: O Primeiro LLM Totalmente Subquadrático — Comparação de Custos com Transformers [2026]

Há um problema fundamental em todos os grandes modelos de linguagem que você usa hoje — e ele tem a ver com matemática do ensino médio.

O coração do Transformer é a atenção: cada token precisa se comparar com todos os outros tokens. Um texto de 1.000 palavras exige 1 milhão de comparações (1.000²). Um texto de 1 milhão de tokens exige 1 trilhão de comparações. O custo computacional cresce com o quadrado do contexto — O(n²). É a razão pela qual modelos “quebram” com entradas muito longas, pela qual usamos RAG, chunking e agentes em vez de simplesmente dar o documento inteiro para o modelo.

O SubQ, desenvolvido pela Subquadratic AI, é o primeiro LLM a quebrar essa barreira de forma prática. Sua arquitetura de Atenção Esparsa Subquadrática (SSA) escala linearmente — O(n) — com o comprimento do contexto. O resultado: 64,5× menos FLOPs e 56× mais rápido que a atenção densa em contextos de 1 milhão de tokens. Com capacidade comprovada de recuperação em até 12 milhões de tokens.

O que é SubQ?

SubQ é um modelo de linguagem construído sobre Subquadratic Sparse Attention (SSA), uma reformulação completa de como a atenção funciona. Em vez de comparar cada token com todos os outros (O(n²)), o SSA usa um mecanismo de roteamento esparso aprendido que identifica seletivamente quais pares de tokens são relevantes — e ignora o restante.

O modelo parte de pesos abertos de fronteira, substitui a atenção densa por SSA, e passa por continuação de pré-treino (CPT) em ~1 trilhão de tokens de artefatos longos naturais (livros, documentos, repositórios de código).

Comparação de Arquiteturas

A tabela abaixo mostra onde o SubQ se encaixa no espectro de arquiteturas de modelos de linguagem:

A diferença crucial: SubQ é o primeiro a combinar O(n) end-to-end (incluindo seleção e indexação) com recuperação dependente de conteúdo e acesso a posições arbitrárias — algo que modelos como Mamba (que comprimem o contexto em um estado de tamanho fixo) não conseguem fazer.

Custos: SubQ vs. Transformers

FLOPs por Camada de Atenção

A vantagem computacional do SSA cresce dramaticamente com o contexto:

Medido em H100 (FLOPs) e NVIDIA B200 (wall clock).

A 12 milhões de tokens, o SSA atende a apenas 0,13% de todos os pares de tokens — a redução chega a ~1.000× em relação à atenção densa.

O Problema da Parede Quadrática

Para contextualizar, veja como o custo da atenção densa explode:

• 128K tokens: 8,6 bilhões de operações por camada — tolerável
• 1M tokens: 549 bilhões de operações — caro
• 2M tokens: 2,2 trilhões de operações — proibitivo
• 12M tokens: impraticável

O FlashAttention resolveu o problema de memória da atenção quadrática. O SSA resolve o problema de computação.

Impacto em Treinamento

O maior benefício de custo do SSA pode estar em P&D, não apenas em inferência:

• A equipe da Subquadratic executou mais de 100 experimentos de contexto longo em 6 gerações de modelos — algo impossível sob atenção densa
• Iteração de treino em menos de 1 minuto por passo em contextos de 1M de tokens
• Isso permitiu buscar receitas ótimas de treinamento empiricamente, em vez de chutar

Impacto em Inferência

• 56× de speedup em wall clock vs. FlashAttention-2 a 1M tokens (camada única)
• O speedup cresce com o contexto: 6,88× a 128K → 56,2× a 1M
• “SubQ melhora tudo de uma vez. Não incrementalmente, mas em uma ordem de grandeza que torna milhões de tokens de contexto uma realidade prática.” — Justin Dangel, CEO da Subquadratic

Benchmarks de Performance

Precisão em Contexto Longo

Raciocínio e Conhecimento

O SubQ 1.1 Small compete com modelos muito maiores em raciocínio, enquanto usa uma fração do compute por token de contexto.

A Parede Quadrática dos Transformers em Números

O problema não é apenas teórico. A indústria gasta bilhões em workarounds — RAG, chunking, sumarização em pipeline, agentes — porque a arquitetura Transformer não consegue processar o que importa de uma vez. Cada workaround adiciona latência, complexidade e perda de informação.

Em 128K tokens, um Transformer já consome 8,6B operações por camada de atenção. A 1M de tokens, são 549B. A 2M, 2,2 trilhões. A conta simplesmente não fecha para aplicações que exigem contexto longo real — análise de codebases inteiros, revisão de documentos jurídicos extensos, processamento de históricos longos de conversa.

SubQ demonstra que essa barreira pode ser superada com uma abordagem arquitetural — não com mais hardware ou engenharia de prompt.

Disponibilidade

• API SubQ: disponível em beta privado via subq.ai
• SubQ Code: CLI que carrega repositórios inteiros em uma única janela de contexto
• SubQ Search: ferramenta de busca long-context (Deep Research em velocidade de chatbot)
• Preço: ainda não divulgado publicamente
• Lançamento geral: previsão para o final de 2026

A empresa levantou $29M em seed e afirma ter modelos planejados de 2M a 12M de tokens para lançamento geral.

Controvérsias

O público continua cético principalmente pela falta de detalhes técnicos da arquitetura ou dos kernels, ao contrário de laboratórios chineses que costumam publicar especificações completas — o que gera desconfiança. Outros defendem que faz sentido esconder a “vantagem competitiva” de um laboratório pequeno diante de players maiores, especulando até que a empresa possa estar buscando ser adquirida em vez de competir diretamente, já que provavelmente não tem capacidade computacional para servir o modelo em escala. Há também questionamentos técnicos sobre se os resultados se sustentam além dos 12 milhões de tokens, se a comparação com o FlashAttention-2 (uma baseline já com cerca de dois anos) é justa, e inconsistências nos tamanhos de contexto testados entre diferentes benchmarks citados no relatório.

Conclusões

Essa nova arquitetura é muito animadora, principalmente pelo fato de que eventualmente poderemos ter modelos abertos e que rodem em máquinas domésticas. Com o ceticismo cada vez mais crescente com o modelo de negócios da Anthropic e OpenAI, é imperativo que surjam alternativas, sejam de modelos quanto também de arquiteturas. Eventualmente esse pode até ser um momento de inflexão para essas empresas, já que a Anthropic mesmo vem sofrendo com a falta de capacidade de computação para a demanda pelos seus serviços.

Fontes

• Subquadratic AI — Introducing SubQ
• SubQ 1.1 Small — Technical Report (PDF)
• How SSA Makes Long Context Practical
• Appen — Independent Benchmark Evaluation
• The New Stack — “12-million-token context window”
• Hacker News — Discussão 132 pontos
• Vídeo: “AI is cooked …” (Pooja Dutt, YouTube)
• Subquadratic no X/Twitter
• NVIDIA nvSubquadratic (GitHub)

Leia também:

• claude-code-review-cli-ia
• gitbutler-gerenciador-branchs-review
• claude-code-review-cli-ia

Pode entrar em contato para falar sobre este e outros assuntos no email [email protected]