Prova
Quanto a memória acerta em conversas longas
O LoCoMo mede se a sessão com a resposta chega entre os 10 primeiros resultados; o BEAM mede se a resposta final sai correta. Cada número traz uma métrica só, o run, o leitor e se a configuração é a do produto, e o que os scores não medem fica na mesma página.
LoCoMo · recall@10 por sessão
96,58%
1918/1986 perguntas · run 2026-07-29
Sorteio de 10 sessões
42,25%
Cada conversa tem de 19 a 32 sessões, e o acerto é ter a sessão com a evidência entre as 10 primeiras. Devolver 10 sessões ao acaso já acerta 42,25%. É contra esse número que os 96,58% devem ser lidos.
Configuração: só recuperação, sem leitor; um documento por sessão (19 a 32 por conversa), segmentação do próprio benchmark (o produto ingere conversas em janelas de 6 turnos); ranking com a configuração de produção, 0 chamadas de LLM; sortear 10 sessões ao acaso dá 42,25%; run 2026-07-29
Tabela completa por conversa
Run de 2026-07-29 com 1986 perguntas em 10 conversas. O total da tabela é o número acima, mesma conta; a última coluna é o sorteio de 10 sessões na mesma conversa.
| Conversa | Sessões | Acertos | Perguntas | recall@10 | Sorteio |
|---|---|---|---|---|---|
| 26 | 19 | 191 | 199 | 96,0% | 56,4% |
| 30 | 19 | 102 | 105 | 97,1% | 55,8% |
| 41 | 32 | 188 | 193 | 97,4% | 36,5% |
| 42 | 29 | 252 | 260 | 96,9% | 40,2% |
| 43 | 29 | 236 | 242 | 97,5% | 40,1% |
| 44 | 28 | 154 | 158 | 97,5% | 44,4% |
| 47 | 31 | 180 | 190 | 94,7% | 35,4% |
| 48 | 30 | 230 | 239 | 96,2% | 37,2% |
| 49 | 25 | 187 | 196 | 95,4% | 47,2% |
| 50 | 30 | 198 | 204 | 97,1% | 38,0% |
| Total | 272 | 1918 | 1986 | 96,58% | 42,25% |
LoCoMo · acurácia de resposta
Ainda sem número publicado. O run completo no staging terminou, mas não vale como número do produto: lá o banco é remoto, a busca estoura o orçamento de tempo e o reranqueamento fica de fora em quase todas as consultas, enquanto em produção ele roda. O número sairia abaixo do que o produto entrega. Ele entra aqui, com leitor, juiz e data, quando o staging rodar com o mesmo ranking da produção.
BEAM-100K · média do juiz
75,5%
Aqui o score vai para a resposta final, depois da busca e da leitura. A média é a métrica do placar AMB: o juiz dá de 0 a 1 por pergunta.
Binário (corretas sobre o total): 80,8% (323/400)
Configuração: leitor GLM-5.3 Flash (Ox Alpha) com effort=max — configuração de benchmark, não é o padrão do produto (o leitor é o LLM do cliente; ~44% mais lento que o effort padrão); juiz GLM-5.2; memória pelo caminho de produção (memory_prepare); 20 conversas, 400 perguntas; N = 1 run; run 2026-08-23
A ablação deste númeroBEAM-10M · média do juiz
51,2%
A escala de 10 milhões de tokens por conversa, com o mesmo leitor e o mesmo juiz do BEAM-100K.
Binário (corretas sobre o total): 56,0% (112/200)
Configuração: mesmo leitor (GLM-5.3 Flash (Ox Alpha), effort=max, não é o padrão do produto) e mesmo juiz (GLM-5.2); 10 conversas de ~10M tokens, 200 perguntas; N = 2 runs (o segundo deu média 50,7%); run 2026-08-24. Contexto: no mesmo placar AMB, o Hindsight tem média 64,1% com outro leitor (Gemini 3.1 Pro) e outro juiz (Gemini 2.5 Flash Lite), por isso os dois números não se comparam diretamente
Refaça a conta no GitHubO que não medimos
Os dois benchmarks usam conversas sintéticas ou públicas. Permissão, origem e continuidade entre pessoas e agentes pertencem à camada de produto e ficam fora dos scores.
Os scores cobrem
- Recuperação de evidência em conversas longas (LoCoMo, recall@10 por sessão)
- Respostas finais em conversas longas (BEAM, média do juiz e binário)
- Ranking sem chamada de LLM no caminho de recuperação
Ficam fora dos scores
- Isolamento multi-tenant ou filtragem de permissão por papel
- Handoffs de equipe, gaps de conhecimento ou selos de origem e veracidade
- Fidelidade das citações do Ask ou latência sob carga real de tenants
Leia antes de citar
- Benchmarks internos, não peer-reviewed; cada número declara a métrica, o leitor e o run.
- recall@10 por sessão: a sessão que contém a evidência aparece entre os 10 primeiros resultados. A unidade é a sessão inteira, e o recall por trecho fica de fora.
- Acurácia de resposta: fração de respostas que o juiz marcou como corretas.
- Média do juiz (BEAM): média da nota de 0 a 1 por pergunta. Binário: fração de perguntas marcadas como corretas.
- Cada run declara o leitor que usou. No produto, quem lê é o LLM do cliente.