vbench-model / multiple_objects /dev_metrics.jsonl
winbeau's picture
model(multiple_objects): publish best retained v6-8b step 900
c4c7c52 verified
Raw History Blame Contribute Delete
693 Bytes
{"dev_exact_match": 0.8333333333333334, "dev_parseable_rate": 1.0, "dev_samples": 24, "step": 150}
{"dev_exact_match": 0.8333333333333334, "dev_parseable_rate": 1.0, "dev_samples": 24, "step": 300}
{"dev_exact_match": 0.9166666666666666, "dev_parseable_rate": 1.0, "dev_samples": 24, "step": 450}
{"dev_exact_match": 0.9166666666666666, "dev_parseable_rate": 1.0, "dev_samples": 24, "step": 600}
{"dev_exact_match": 0.9166666666666666, "dev_parseable_rate": 1.0, "dev_samples": 24, "step": 750}
{"dev_exact_match": 0.9166666666666666, "dev_parseable_rate": 1.0, "dev_samples": 24, "step": 900}
{"dev_exact_match": 0.9166666666666666, "dev_parseable_rate": 1.0, "dev_samples": 24, "step": 900}