La Calidad de la Memoria Vale Más Que el Lector: Evidencia del BEAM-100K

Corrección (11/10/2026). Dos afirmaciones de este post no se sostienen. Primero: el juez del run de 70,9% no fue Gemini 3.6 Flash — el archivo del run registra judge_llm: gateway:deepseek-v4-flash (el nombre del run, "gemini-judge", sugería lo contrario). Segundo: la descomposición "58% ingeniería de memoria / 42% lector" mezclaba runs con jueces, conteos de preguntas y métricas distintas, y sus pasos no suman el total declarado; queda retirada. La descomposición que cierra — mismo juez, mismas 400 preguntas — está en el post de reasoning effort: ahí, del baseline al número principal, toda la ganancia vino del lado del lector.

ValorBrain puntúa 70,9% de media en BEAM-100K (20 conversaciones, 400 preguntas) usando GLM-5.2 como modelo de respuesta y deepseek-v4-flash como juez (ver la corrección arriba). El 73,4% de media del Hindsight (single-query, Gemini 3.1 Pro como lector, Gemini 2.5 Flash Lite como juez) usa un lector y un juez distintos de los nuestros — contexto, no una comparación directa. La misma salvedad vale para la tabla por categoría de abajo.

Lo que sobrevive hoy: la mejora medida hasta ahora vino del lado del lector; la parte de memoria sigue siendo necesaria, pero los números de este post no prueban cuánto contribuyó.

---

Resultados

---

Por Categoría vs Hindsight

ValorBrain gana en 5 de las 10 categorías. Las pérdidas están concentradas en Abstención (-30,0, una distinción semántica del lado del lector) y Orden de Eventos (-34,1, donde la estructura cronológica necesita más trabajo).

---

La Descomposición: Memoria vs Lector

Retirada el 11/10/2026. La tabla que estaba aquí (+10,1 consolidación, +3,6 consolidación rica + timeline, +7,3 GLM-5.2 + max_tokens, +1,5 varianza = "total +22,5") mezclaba runs con jueces, conteos de preguntas y métricas distintas, y sus pasos no suman el total declarado — no cierra. La descomposición verificable está en el post de reasoning effort, recalculada por script a partir de los archivos de run; ahí, del baseline al número principal, toda la ganancia viene del lado del lector.

---

Por Qué Funciona la Consolidación

La mayor mejora individual (+10,1 puntos) vino de incluir hechos pre-sintetizados de la conversación como un documento sintético en la salida de recuperación. En vez de forzar al LLM a extraer hechos específicos de ventanas de conversación dispersas, la consolidación los entrega pre-extraídos.

Esto es reader-agnostic por diseño. La consolidación se genera offline y se almacena. Cualquier LLM de respuesta recibe los mismos hechos pre-sintetizados. La mejora se transfiere entre lectores porque reduce el trabajo de extracción, no porque dependa de razonamiento específico del lector.

El impacto fue más visible en Sumarización (0,8% a 64,5%) y Razonamiento Multi-sesión (32,5% a 57,2%). Ambos exigen agregar hechos dispersos por muchos turnos. La consolidación hace ese trabajo por adelantado.

---

GLM-5.2 vs Gemini 3.1 Pro

GLM-5.2 puntúa más alto que Gemini 3.1 Pro en el Artificial Analysis Intelligence Index (51 vs 46), con fuerza particular en tareas agentic. GLM-5.2 cuesta la mitad (USD 0,86 vs USD 1,74 por 1M tokens), es más rápido (187 vs 131 tokens/s) y es open-weights.

GLM-5.2 no es un compromiso en calidad de lector. Puntúa más alto en inteligencia, cuesta la mitad y es open-weights.

---

Un Endpoint, Cualquier Consumidor

ValorBrain expone recuperación a través de un único endpoint /api/v1/memory/prepare que devuelve delivered_documents: chunks limpios y agnósticos al consumidor. El mismo endpoint sirve a nuestro agente de producción, al benchmark AMB y a cualquier cliente externo.

No existe modo benchmark versus modo producción. La calidad de memoria medida por el benchmark es la calidad de memoria entregada a los usuarios.

---

Limitaciones

• Los resultados reflejan el conjunto completo de 20 conversaciones del BEAM-100K. El BEAM-10M se midió el 2026-08-24 (media 51,2%, binario 56,0%); BEAM-500K y BEAM-1M todavía no se han corrido.
• Solo GLM-5.2 y deepseek-v4-flash fueron probados como LLMs de respuesta. Resultados con Claude o GPT-4o pueden diferir. Las mejoras reader-agnostic deberían transferir.
• Abstención: la verificación léxica de disponibilidad que implementamos no cubre los casos sutiles de abstención del BEAM (el tópico existe, el detalle no). Eso necesita razonamiento semántico más allá de lo que un sistema de memoria puede proveer sin el lector.
• Orden de Eventos: la entrega de la línea de tiempo mejoró los resultados pero todavía queda detrás del Hindsight. Un documento estructurado de secuencia de eventos (no solo hechos ordenados) puede cerrar la brecha.
• Varianza del juez: el juez LLM del BEAM introduce varianza de puntuación. Las comparaciones entre implementaciones deben considerar modelos juez diferentes.

---

Conclusión

ValorBrain puntúa 70,9% de media en BEAM-100K usando GLM-5.2, con el juez declarado arriba; los números del Hindsight usan otro lector y otro juez, y sirven de contexto, no de comparación directa.

Para una plataforma de memoria multi-tenant donde los usuarios traen su propio LLM, la implicación es práctica. Invertir en ingeniería de memoria (consolidación, línea de tiempo, entrega estructurada) beneficia a todo usuario independientemente del LLM que elija. Invertir en un lector más fuerte beneficia solo a ese lector.

---

Reproduciendo

Los resultados son reproducibles vía el Agent Memory Benchmark con el provider ValorBrain. Crea una cuenta ValorBrain en valorbrain.valor.digital para obtener una clave de API.

---

Referencias

1. Tavakoli et al. (2025). "Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs." ICLR 2026.
2. Vectorize/Hindsight. "Agent Memory Benchmark (AMB)." https://github.com/vectorize-io/agent-memory-benchmark
3. Artificial Analysis. "GLM-5.2 vs Gemini 3.1 Pro Preview." https://artificialanalysis.ai/models/comparisons/glm-5-2-vs-gemini-3-1-pro-preview