ATOM (atom-ai): code snapshot (100fae0 + batched-train), README with measured numbers, curated checkpoints (part 3)
969c687 verified | { | |
| "checkpoints/mix_long_memory_bench/recall_k128_base.pt": { | |
| "overall_acc": 0.09833333333333333, | |
| "d<32": { | |
| "n": 30, | |
| "acc": 0.43333333333333335 | |
| }, | |
| "d32-63": { | |
| "n": 126, | |
| "acc": 0.15873015873015872 | |
| }, | |
| "d64-127": { | |
| "n": 238, | |
| "acc": 0.06302521008403361 | |
| }, | |
| "d128+": { | |
| "n": 206, | |
| "acc": 0.05339805825242718 | |
| } | |
| }, | |
| "fresh": { | |
| "overall_acc": 0.09333333333333334, | |
| "d<32": { | |
| "n": 30, | |
| "acc": 0.23333333333333334 | |
| }, | |
| "d32-63": { | |
| "n": 126, | |
| "acc": 0.18253968253968253 | |
| }, | |
| "d64-127": { | |
| "n": 238, | |
| "acc": 0.058823529411764705 | |
| }, | |
| "d128+": { | |
| "n": 206, | |
| "acc": 0.05825242718446602 | |
| } | |
| }, | |
| "checkpoints/mix_long_memory_bench/recall_k128_slow.pt": { | |
| "overall_acc": 0.17833333333333334, | |
| "d<32": { | |
| "n": 30, | |
| "acc": 0.5 | |
| }, | |
| "d32-63": { | |
| "n": 126, | |
| "acc": 0.3888888888888889 | |
| }, | |
| "d64-127": { | |
| "n": 238, | |
| "acc": 0.12184873949579832 | |
| }, | |
| "d128+": { | |
| "n": 206, | |
| "acc": 0.06796116504854369 | |
| } | |
| }, | |
| "fresh_slow": { | |
| "overall_acc": 0.14333333333333334, | |
| "d<32": { | |
| "n": 30, | |
| "acc": 0.2 | |
| }, | |
| "d32-63": { | |
| "n": 126, | |
| "acc": 0.1746031746031746 | |
| }, | |
| "d64-127": { | |
| "n": 238, | |
| "acc": 0.15966386554621848 | |
| }, | |
| "d128+": { | |
| "n": 206, | |
| "acc": 0.0970873786407767 | |
| } | |
| }, | |
| "checkpoints/mix_long_memory_bench/recall_k256_base.pt": { | |
| "overall_acc": 0.12166666666666667, | |
| "d<32": { | |
| "n": 30, | |
| "acc": 0.43333333333333335 | |
| }, | |
| "d32-63": { | |
| "n": 126, | |
| "acc": 0.24603174603174602 | |
| }, | |
| "d64-127": { | |
| "n": 238, | |
| "acc": 0.06302521008403361 | |
| }, | |
| "d128+": { | |
| "n": 206, | |
| "acc": 0.06796116504854369 | |
| } | |
| }, | |
| "checkpoints/mix_long_memory_bench/recall_k256_slow.pt": { | |
| "overall_acc": 0.195, | |
| "d<32": { | |
| "n": 30, | |
| "acc": 0.6 | |
| }, | |
| "d32-63": { | |
| "n": 126, | |
| "acc": 0.48412698412698413 | |
| }, | |
| "d64-127": { | |
| "n": 238, | |
| "acc": 0.10084033613445378 | |
| }, | |
| "d128+": { | |
| "n": 206, | |
| "acc": 0.06796116504854369 | |
| } | |
| } | |
| } |