KikoCis commited on
Commit
022d4ca
·
verified ·
1 Parent(s): 0be9487

README: los numeros del gestor de contexto, con referencias

Browse files
Files changed (1) hide show
  1. README.md +32 -0
README.md CHANGED
@@ -61,3 +61,35 @@ all in one tab: **<https://bitacora.utopiaia.com/#elffuss>**
61
  - 💻 Source (Apache-2.0): <https://github.com/KikoCis/elffuss-code>
62
  - ✳️ Sibling project — Elffuss Claw (agentic OS): <https://huggingface.co/spaces/KikoCis/elffuss-claw>
63
  - 🧬 Shared core: <https://github.com/KikoCis/elffuss>
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
61
  - 💻 Source (Apache-2.0): <https://github.com/KikoCis/elffuss-code>
62
  - ✳️ Sibling project — Elffuss Claw (agentic OS): <https://huggingface.co/spaces/KikoCis/elffuss-claw>
63
  - 🧬 Shared core: <https://github.com/KikoCis/elffuss>
64
+
65
+ ## Gestión de contexto — cómo se mide
66
+
67
+ El empaquetador de contexto no se elige por intuición. Números medidos a **igual presupuesto de tokens**:
68
+
69
+ **Sesiones reales de agente** (25 sesiones, 174 sondas, recuerdo de hechos, sin juez LLM):
70
+
71
+ | | recuerdo |
72
+ |---|---|
73
+ | truncar por la cola | 7,0 % |
74
+ | versión anterior | 15,1 % |
75
+ | **esta** | **65,3 % ± 8,5** |
76
+
77
+ **Memoria a largo plazo** (200 preguntas, F1 del propio repo del banco, modelo real respondiendo, ~8 % del contexto):
78
+
79
+ | | F1 |
80
+ |---|---|
81
+ | **el contexto COMPLETO, sin comprimir** | **22,56** |
82
+ | truncar por la cola | 6,62 |
83
+ | heurísticas escritas a mano | 6,07 |
84
+ | BM25 sin IDF | 20,34 |
85
+ | BM25 | 23,59 |
86
+ | embeddings | 23,95 |
87
+ | **fusión por rangos (BM25 + embeddings)** | **28,09** |
88
+
89
+ **Recuperar bien bate a tenerlo todo**: 28,09 frente a 22,56 usando el 8 % de los tokens. Lo irrelevante no es lastre neutro — distrae.
90
+
91
+ Otras dos cosas que se miden y no se suponen: activar las heurísticas costaba **−3,02 F1**, y quitar la IDF cuesta **−3,25**. Lo semántico no sustituye al léxico, le cubre el punto ciego: sin solape de vocabulario entre pregunta y respuesta los embeddings ganan (24,28 vs 18,60), con solape gana BM25 (29,33 vs 23,58), y la fusión se queda con los dos.
92
+
93
+ Referencias: BM25 (Robertson et al., TREC-3 1994) · IDF (Spärck Jones, 1972) · RRF (Cormack et al., SIGIR 2009) · MMR (Carbonell & Goldstein, SIGIR 1998) · sumideros de atención (Xiao et al., ICLR 2024) · tiempo de validez (Snodgrass & Ahn, SIGMOD 1985).
94
+
95
+ La historia completa, con lo que salió mal: <https://bitacora.utopiaia.com/posts/16-beaten-by-doing-nothing.html>