Investigaciones
Quién lo corrió, con qué juez, comparado con qué, y qué no funcionó. Los papers del equipo detrás del motor, con fuente en cada afirmación.
Investigación11 de octubre de 20266 min de lectura
Un benchmark abierto para el ciclo de vida de la memoria de agentes: decisiones reemplazadas, reglas vencidas, handoffs concluidos y notas privadas. ValorBrain y un RAG vectorial simple indexan los mismos textos y la evaluación es por exact match, sin LLM juez. Primera ronda: staging, 3 runs × 42 preguntas.
Leer paperInvestigación19 de septiembre de 202618 min de lectura
Ocho ciclos de investigación y más de 900 fuentes sobre memoria para agentes: los frameworks resuelven la memoria dentro de su propio perímetro, los practitioners improvisan el resto, y la continuidad, la cosa que hace que un equipo de agentes no rehaga trabajo, no tiene dueño. Benchmarks, costos ocultos, las nueve brechas no publicadas y la realidad regulatoria brasileña.
Leer paperInvestigación24 de agosto de 202611 min de lectura
Un lector stealth y un parámetro de API llevaron nuestra puntuación media en BEAM-100K del 69,3% al 75,5% (323/400 correctas). No es SOTA. Lo interesante es de dónde vinieron los puntos, y de dónde se negaron a venir.
Leer paperInvestigación4 de agosto de 20268 min de lectura
Medición de 70,9% de media en BEAM-100K con GLM-5.2 como lector, y la corrección publicada después: la descomposición de este post no cierra y su juez está declarado mal.
Leer paper