Prueba
Con qué frecuencia acierta la memoria
LoCoMo mide si la sesión con la respuesta llega entre los 10 primeros resultados; BEAM mide si la respuesta final sale correcta. Cada número tiene una sola métrica, su run, el lector y si la configuración es la estándar del producto, y lo que los scores no miden está en la misma página.
LoCoMo · recall@10 por sesión
96,58%
1918/1986 preguntas · run 2026-07-29
Sorteo de 10 sesiones
42,25%
Cada conversación tiene de 19 a 32 sesiones, y el acierto es que la sesión con la evidencia esté entre las 10 primeras. Devolver 10 sesiones al azar ya acierta el 42,25%. Lee el 96,58% contra ese número.
Configuración: solo recuperación, sin lector; un documento por sesión (19 a 32 por conversación), segmentación del propio benchmark (el producto ingiere conversaciones en ventanas de 6 turnos); ranking con la configuración de producción, 0 llamadas de LLM; sortear 10 sesiones al azar da 42,25%; run 2026-07-29
Tabla completa por conversación
Run del 2026-07-29 con 1986 preguntas en 10 conversaciones. El total de la tabla es el número de arriba, la misma cuenta; la última columna es el sorteo de 10 sesiones en la misma conversación.
| Conversación | Sesiones | Aciertos | Preguntas | recall@10 | Sorteo |
|---|---|---|---|---|---|
| 26 | 19 | 191 | 199 | 96,0% | 56,4% |
| 30 | 19 | 102 | 105 | 97,1% | 55,8% |
| 41 | 32 | 188 | 193 | 97,4% | 36,5% |
| 42 | 29 | 252 | 260 | 96,9% | 40,2% |
| 43 | 29 | 236 | 242 | 97,5% | 40,1% |
| 44 | 28 | 154 | 158 | 97,5% | 44,4% |
| 47 | 31 | 180 | 190 | 94,7% | 35,4% |
| 48 | 30 | 230 | 239 | 96,2% | 37,2% |
| 49 | 25 | 187 | 196 | 95,4% | 47,2% |
| 50 | 30 | 198 | 204 | 97,1% | 38,0% |
| Total | 272 | 1918 | 1986 | 96,58% | 42,25% |
LoCoMo · exactitud de respuesta
Todavía sin número publicado. El run completo en staging terminó, pero no vale como número del producto: allí la base de datos es remota, la búsqueda agota su presupuesto de tiempo y el rerankeo queda fuera en casi todas las consultas, mientras que en producción corre. El número saldría por debajo de lo que entrega el producto. Entra aquí, con lector, juez y fecha, cuando staging corra con el mismo ranking de producción.
BEAM-100K · media del juez
75,5%
Aquí el score va a la respuesta final, después de la búsqueda y la lectura. La media es la métrica del marcador AMB: el juez da de 0 a 1 por pregunta.
Binario (correctas sobre el total): 80,8% (323/400)
Configuración: lector GLM-5.3 Flash (Ox Alpha) con effort=max — configuración de benchmark, no es el estándar del producto (el lector es el LLM del cliente; ~44% más lento que el effort estándar); juez GLM-5.2; memoria por el camino de producción (memory_prepare); 20 conversaciones, 400 preguntas; N = 1 run; run 2026-08-23
La ablación de este númeroBEAM-10M · media del juez
51,2%
La escala de 10 millones de tokens por conversación, con el mismo lector y el mismo juez que BEAM-100K.
Binario (correctas sobre el total): 56,0% (112/200)
Configuración: mismo lector (GLM-5.3 Flash (Ox Alpha), effort=max, no es el estándar del producto) y mismo juez (GLM-5.2); 10 conversaciones de ~10M tokens, 200 preguntas; N = 2 runs (el segundo dio media 50,7%); run 2026-08-24. Contexto: en el mismo marcador AMB, Hindsight tiene media 64,1% con otro lector (Gemini 3.1 Pro) y otro juez (Gemini 2.5 Flash Lite), por eso los dos números no se comparan directamente
Rehaz la cuenta en GitHubLo que no medimos
Los dos benchmarks usan conversaciones sintéticas o públicas. Permisos, origen y continuidad entre personas y agentes pertenecen a la capa de producto y quedan fuera de los scores.
Los scores cubren
- Recuperación de evidencia en conversaciones largas (LoCoMo, recall@10 por sesión)
- Respuestas finales en conversaciones largas (BEAM, media del juez y binario)
- Ranking sin llamadas de LLM en el camino de recuperación
Quedan fuera de los scores
- Aislamiento multi-tenant o filtrado de permisos por rol
- Handoffs de equipo, gaps de conocimiento o sellos de origen y veracidad
- Fidelidad de las citas de Ask o latencia bajo carga real de tenants
Lee antes de citar
- Benchmarks internos, no peer-reviewed; cada número declara la métrica, el lector y el run.
- recall@10 por sesión: la sesión que contiene la evidencia aparece entre los 10 primeros resultados. La unidad es la sesión entera; el recall por fragmento queda fuera.
- Exactitud de respuesta: fracción de respuestas que el juez marcó como correctas.
- Media del juez (BEAM): media de la nota de 0 a 1 por pregunta. Binario: fracción de preguntas marcadas como correctas.
- Cada run declara el lector que usó. En el producto, quien lee es el LLM del cliente.