devzymer · benchmark animado

Claude antes e depois do devzymer

O devzymer indexa o repositório localmente e entrega, por MCP, o símbolo e a faixa de linhas exatos que o agente precisa. Esta página compara o contexto que o agente teria de ler (leitura do arquivo inteiro) com o contexto que o devzymer entrega, e mostra o efeito do motor de recuperação v2.1 na precisão da busca.

1 · Contexto entregue ao agente

Mesma pergunta, mesmo repositório. Sem o índice, o agente só descobre a função lendo o arquivo inteiro — ou pior, varrendo o repositório. Com o índice, ele resolve o símbolo e lê o trecho.

sem devzymer

0 tokens de contexto

com devzymer

0 tokens de contexto

2 · Economia de contexto por repositório

Tokens de contexto entregues pelo índice comparados com a leitura do arquivo inteiro (baseline_tokens). Estimativa local do próprio devzymer (heuristic-chars-v1), não é a conta de cobrança do Claude.

3 · Precisão da recuperação: motor anterior × motor v2.1

Mesmos dados, mesma semente, mesma invocação. O v2.1 indexa o corpo do código, pesa a evidência pela raridade do termo e expande a pergunta com o vocabulário do próprio repositório.

4 · Conjunto independente de 36 investigações

Verdade de base lida no código, nunca tirada do próprio resolvedor. Metade éreserved para desenvolvimento, metade é holdout e não foi usada para ajustar nada.

Métrica	Antes (v21)	Agora (v2.1)	Δ

5 · O caso que motivated o motor v2.1

Pergunta real, em inglês, sobre um repositório de produção: "Find the implementation responsible for transferring an active VOICE call from AI to an available human attendant." A verdade de base (o símbolo e a faixa de linhas) foi confirmada lendo o código.

antes · v21

agora · v2.1

Como reproduzir

devzymer benchmark --root <projeto> --tasks 64 --seed 20260319 --format json
devzymer status  --root <projeto> --json
devzymer doctor --root <projeto>

Como ler estes números

Os tokens de contexto são estimativas locais (estimador heuristic-chars-v1), não o tokenizador nem a cobrança do Claude Code. O consumo real do host é medido por outro procedimento, descrito em docs/end-to-end-benchmark.md.
A linha de base é a leitura do arquivo inteiro. O valor é reportado com sinal: quando o índice entrega mais contexto do que o arquivo inteiro custaria, a redução é negativa e aparece como tal.
O contexto entregue agora inclui o corpo completo dos candidatos (até 60.000 caracteres), e não um recorte de 4.000. Por isso os tokens entregues subiram em relação ao motor anterior — e a precisão também.
Os conjuntos de generalização (REG e HOLDOUT) e o conjunto independente de 36 casos têm tasks 64 e semente 20260319.