Spaces:
Running
Running
README: los numeros del gestor de contexto, con referencias
Browse files
README.md
CHANGED
|
@@ -61,3 +61,35 @@ all in one tab: **<https://bitacora.utopiaia.com/#elffuss>**
|
|
| 61 |
- 💻 Source (Apache-2.0): <https://github.com/KikoCis/elffuss-code>
|
| 62 |
- ✳️ Sibling project — Elffuss Claw (agentic OS): <https://huggingface.co/spaces/KikoCis/elffuss-claw>
|
| 63 |
- 🧬 Shared core: <https://github.com/KikoCis/elffuss>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 61 |
- 💻 Source (Apache-2.0): <https://github.com/KikoCis/elffuss-code>
|
| 62 |
- ✳️ Sibling project — Elffuss Claw (agentic OS): <https://huggingface.co/spaces/KikoCis/elffuss-claw>
|
| 63 |
- 🧬 Shared core: <https://github.com/KikoCis/elffuss>
|
| 64 |
+
|
| 65 |
+
## Gestión de contexto — cómo se mide
|
| 66 |
+
|
| 67 |
+
El empaquetador de contexto no se elige por intuición. Números medidos a **igual presupuesto de tokens**:
|
| 68 |
+
|
| 69 |
+
**Sesiones reales de agente** (25 sesiones, 174 sondas, recuerdo de hechos, sin juez LLM):
|
| 70 |
+
|
| 71 |
+
| | recuerdo |
|
| 72 |
+
|---|---|
|
| 73 |
+
| truncar por la cola | 7,0 % |
|
| 74 |
+
| versión anterior | 15,1 % |
|
| 75 |
+
| **esta** | **65,3 % ± 8,5** |
|
| 76 |
+
|
| 77 |
+
**Memoria a largo plazo** (200 preguntas, F1 del propio repo del banco, modelo real respondiendo, ~8 % del contexto):
|
| 78 |
+
|
| 79 |
+
| | F1 |
|
| 80 |
+
|---|---|
|
| 81 |
+
| **el contexto COMPLETO, sin comprimir** | **22,56** |
|
| 82 |
+
| truncar por la cola | 6,62 |
|
| 83 |
+
| heurísticas escritas a mano | 6,07 |
|
| 84 |
+
| BM25 sin IDF | 20,34 |
|
| 85 |
+
| BM25 | 23,59 |
|
| 86 |
+
| embeddings | 23,95 |
|
| 87 |
+
| **fusión por rangos (BM25 + embeddings)** | **28,09** |
|
| 88 |
+
|
| 89 |
+
**Recuperar bien bate a tenerlo todo**: 28,09 frente a 22,56 usando el 8 % de los tokens. Lo irrelevante no es lastre neutro — distrae.
|
| 90 |
+
|
| 91 |
+
Otras dos cosas que se miden y no se suponen: activar las heurísticas costaba **−3,02 F1**, y quitar la IDF cuesta **−3,25**. Lo semántico no sustituye al léxico, le cubre el punto ciego: sin solape de vocabulario entre pregunta y respuesta los embeddings ganan (24,28 vs 18,60), con solape gana BM25 (29,33 vs 23,58), y la fusión se queda con los dos.
|
| 92 |
+
|
| 93 |
+
Referencias: BM25 (Robertson et al., TREC-3 1994) · IDF (Spärck Jones, 1972) · RRF (Cormack et al., SIGIR 2009) · MMR (Carbonell & Goldstein, SIGIR 1998) · sumideros de atención (Xiao et al., ICLR 2024) · tiempo de validez (Snodgrass & Ahn, SIGMOD 1985).
|
| 94 |
+
|
| 95 |
+
La historia completa, con lo que salió mal: <https://bitacora.utopiaia.com/posts/16-beaten-by-doing-nothing.html>
|