Append Gooo semantic-model roadmap and independent eight-job CI audit
Browse files
research/paired-compiler-20261002/independent-ci-audit.json
ADDED
|
@@ -0,0 +1,12 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"audited_report_sha256": "3b64b379bb27ad8e2fd46b4d2fb52f5fccd40b00b59f704772ea05898a0b6e88",
|
| 3 |
+
"maximum_absolute_nll_rounding_difference": 1.1102230246251565e-16,
|
| 4 |
+
"new_model_predictions": 0,
|
| 5 |
+
"new_native_calls": 0,
|
| 6 |
+
"nll_absolute_tolerance": 1e-12,
|
| 7 |
+
"reconstructed_nll_comparisons": 198,
|
| 8 |
+
"schema": "gooo/paired-compiler-independent-audit/v1",
|
| 9 |
+
"scope": "independently reconstructed arithmetic actuals and counters exactly; only derived NLL accepts bounded CPU-architecture rounding; does not redo training or model inference",
|
| 10 |
+
"selected_candidate": "js0-qat_ternary",
|
| 11 |
+
"status": "PASS"
|
| 12 |
+
}
|
research/paired-compiler-20261002/iteration-finalization.json
ADDED
|
@@ -0,0 +1,51 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"schema": "gooo/paired-compiler-iteration-finalization/v1",
|
| 3 |
+
"status": "BOUNDED_STUDY_PUBLISHED_AND_VERIFIED",
|
| 4 |
+
"training_source_revision": "b0dd6fe96d76deceef7ef937f85f6f514b765ca6",
|
| 5 |
+
"tested_runner_revision": "1d17bde6a9a9f5a68f40287725072ae1f125c722",
|
| 6 |
+
"native_revision": "b431ef7547a968e2532fa2dcf0891ee44ec2ee86",
|
| 7 |
+
"dataset_sha256": "8c2b4fb884e001f7a58fa84ce862f61abe0f99b26855064d0011f631d67cecb3",
|
| 8 |
+
"parameters": 12728,
|
| 9 |
+
"exported_models": 9,
|
| 10 |
+
"optimizer_steps": 840,
|
| 11 |
+
"actual_go_predictions": 4608,
|
| 12 |
+
"actual_native_calls": 120,
|
| 13 |
+
"actual_native_predictions": 80,
|
| 14 |
+
"compiled_go_executions": 15,
|
| 15 |
+
"go_function_invocations": 180,
|
| 16 |
+
"selected_candidate": "js0-qat_ternary",
|
| 17 |
+
"new_independent_intentions": 0,
|
| 18 |
+
"source_runtime_language": "Go",
|
| 19 |
+
"offline_optimizer_language": "Python/MPS",
|
| 20 |
+
"inherited_or_upstream_laya_weights": false,
|
| 21 |
+
"external_model_provider_calls": 0,
|
| 22 |
+
"subagents_used": 0,
|
| 23 |
+
"default_model_promoted": false,
|
| 24 |
+
"public_model_revision": "26903f8197310700b465a96a491daca43ee6045e",
|
| 25 |
+
"public_appendix": "research/paired-compiler-20261002",
|
| 26 |
+
"verified_payload_files": 30,
|
| 27 |
+
"archive_entries": 260,
|
| 28 |
+
"manifest_sha256": "4e33dbdf1c0bc78c7aeb4d21f8f0f6d60948950aa25546d7e80cda5cf4f8e9d0",
|
| 29 |
+
"final_ci": {
|
| 30 |
+
"id": 36894785845,
|
| 31 |
+
"source_sha": "1d17bde6a9a9f5a68f40287725072ae1f125c722",
|
| 32 |
+
"conclusion": "success",
|
| 33 |
+
"successful_jobs": 8,
|
| 34 |
+
"artifact_id": 11178393367,
|
| 35 |
+
"zip_bytes": 2025475,
|
| 36 |
+
"declared_and_downloaded_zip_sha256": "66952b21ca791fcd160d6dc2d7762ab9c720da4925037c66005d3038d89f9a14",
|
| 37 |
+
"independent_go_arithmetic_audit": "PASS",
|
| 38 |
+
"independent_native_capture_audit": "PASS",
|
| 39 |
+
"audit_report_sha256": "3b64b379bb27ad8e2fd46b4d2fb52f5fccd40b00b59f704772ea05898a0b6e88",
|
| 40 |
+
"nll_rounding_tolerance": 1E-12,
|
| 41 |
+
"max_observed_nll_rounding": 1.1102230246251565E-16
|
| 42 |
+
},
|
| 43 |
+
"preserved_failure": {
|
| 44 |
+
"ci_run": 36891320795,
|
| 45 |
+
"reason": "new consumer used disk-format digest instead of canonical document digest",
|
| 46 |
+
"retained_native_captures": 1,
|
| 47 |
+
"model_predictions": 1,
|
| 48 |
+
"compiled_go_executions": 0
|
| 49 |
+
},
|
| 50 |
+
"scope": "reused bilingual diagnostic cohort; all nine variants kept, explicit calibration-selected dogfood candidate; finite completeness after bounded continuation, no general correctness or untouched benchmark claim"
|
| 51 |
+
}
|
research/paired-compiler-20261002/roadmap.md
ADDED
|
@@ -0,0 +1,77 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# Gooo ๋
์ ์ํ ๋ชจ๋ธ ๊ฐ๋ฐ ๋ฐฉํฅ
|
| 2 |
+
|
| 3 |
+
## ํ์ฌ ๊ธฐ์ค
|
| 4 |
+
|
| 5 |
+
์์ฒด ์ด๊ธฐํํ 12728 ํ๋ผ๋ฏธํฐ ๋ชจ๋ธ์ Gooo main์ ์ ์ธ๋ IR ๊ฒฝ๋ก ์ ํ์
|
| 6 |
+
์ง์ ์ฌ์ฉํ๋ค. ํ๊ตญ์ดยท์์ด ์๋, ๋ณ์ ์ฐธ์กฐยทํ ๋น, ํผ์ฐ์ฐ์ ์์, ๋ถ๊ธฐ ๋ฐฐ์น,
|
| 7 |
+
์คํ ์์๋ฅผ ํ๋จํ๋ค. ์ผ๋ฐ ์ธ์ด ๋ชจ๋ธ์ด๋ ์์ ๋ฐ๋ ์์ฑ๊ธฐ๋ ์์ง ์๋๋ค.
|
| 8 |
+
Laya์ ๊ฐ์ค์นยท๋ฏธ์ธ ์กฐ์ ยท์ถ๋ก ์๋น์ค์ ์์กดํ์ง ์๋๋ค.
|
| 9 |
+
|
| 10 |
+
์ด๋ฒ ํ์ ์ผ์น ํ์ต์ 840 GPU ์
๋ฐ์ดํธ, ๋ชจ๋ธ 9๊ฐ, Go ํ๋จ 4608ํ์
|
| 11 |
+
์ค์ ์ปดํ์ผ๋ฌ 120ํ๋ก ์ธก์ ํ๋ค. PTQ์ ์ถ๊ฐ ํ๋ณด๋ 143โ135ํ๋ก ์ค์์ง๋ง
|
| 12 |
+
๊ฐ์ 8ํ๋ ํ๊ตญ์ด ๋ณ์ ํ ๋น์ ์ง์ค๋๋ค. FP32์๋ ๊ฐ์ ์ด ์์๊ณ ๋ณด์
|
| 13 |
+
๋ฐ์ดํฐ๊ฐ ๊ณ ๋ฅธ QAT๋ ํ๊ฐ ๋ฐ์ดํฐ์์ FP32๋ณด๋ค ์ถ๊ฐ ํ๋ณด๋ฅผ ๋ ์ฌ์ฉํ๋ค.
|
| 14 |
+
์ด ๊ฒฐ๊ณผ๋ฅผ ๋ชจ๋ธ ํฌ๊ธฐ๋ฅผ ๋ฌด์์ ํค์ฐ๋ ๊ทผ๊ฑฐ๋ก ์ฌ์ฉํ์ง ์๋๋ค.
|
| 15 |
+
|
| 16 |
+
## ๋ค์ ๊ตฌ์กฐ ์คํ
|
| 17 |
+
|
| 18 |
+
**์ปดํ์ผ๋ฌ๊ฐ ์๋ฏธ ํน์ง์ ๋ง๋ค๊ณ , ๋ชจ๋ธ์ด ํฉ๋ฒ ํ๋ณด๋ฅผ ์์ํํ๋ค.**
|
| 19 |
+
ํ์ฌ 256์ฐจ์ ์ค ๊ตฌ์กฐ 64์ฐจ์์ ๋ฌธ์์ด ํด์ ๋์ ๋ค์ ๊ฒฐ์ ๋ก ์ ํฌ์์ผ๋ก
|
| 20 |
+
๋ฐ๊พธ๋ ์คํ์ ์ฌ์ ๋ฑ๋กํ๋ค. ์์ฐ์ด 192์ฐจ์๊ณผ 48๊ฐ ์๋ ์ ๋์ ๋์กฐ๊ตฐ๊ณผ
|
| 21 |
+
๊ฐ๊ฒ ์ ์งํด ํํ ๋ณํ์ ์ํฅ์ ์ธก์ ํ๋ค.
|
| 22 |
+
|
| 23 |
+
| ๊ฒฐ์ ์์ญ | ์ปดํ์ผ๋ฌ๊ฐ ์ ๊ณตํ ์ ๋ณด | ๋ชจ๋ธ์ ์ญํ |
|
| 24 |
+
|---|---|---|
|
| 25 |
+
| ๋ณ์ ์ฐธ์กฐ | ์ ์ ์์น, ์ฌ์ฉ ์์น, ํ์
, ๋๋ฌ ๊ฐ๋ฅํ ์ ์ | ํ์ฌ ์ฌ์ฉ์ ๋ง๋ ํฉ๋ฒ ์ ์ ์ ํ |
|
| 26 |
+
| ๋ณ์ ํ ๋น | ๋์ ์ฌ๋กฏ, ์ดํ ์ฌ์ฉ, ๊ฐ์ ์ถ์ฒ | ์๋์ ๋ง๋ ๋์ ์ฌ๋กฏ ์ ํ |
|
| 27 |
+
| ์กฐ๊ฑดยท๋ถ๊ธฐ | ์กฐ๊ฑด ์ฐ์ฐ์, ์ฐธ/๊ฑฐ์ง ๊ฒฝ๋ก, ๊ฐ ๊ฒฝ๋ก์ ํจ๊ณผ | ๋ถ๊ธฐ ๋ฐฐ์น์ ์๋ฏธ ์ฐ๊ฒฐ ์ ํ |
|
| 28 |
+
| ํผ์ฐ์ฐ์ | ๊ตํ ๊ฐ๋ฅ ์ฌ๋ถ, ์์์ ๋ฐ๋ฅธ ์๋ฏธ, ํ์
| ์ ์ธ๋ ์์ ํ๋ณด ์ ํ |
|
| 29 |
+
| ์คํ ์์ | ์ ์ ์ ์ฌ์ฉ, ๋ฐ์ดํฐ ์์กด ๊ฐ์ , ํจ๊ณผ ์์ | ์์กด ๊ด๊ณ๋ฅผ ์งํค๋ ์คํ ํ๋ณด ์ ํ |
|
| 30 |
+
|
| 31 |
+
์ด ํน์ง์ ๊ฒ์ฆ๋ ์๋ณธ ์์ค์ IR์์๋ง ์์ฑํ๋ค. ์ด๊ธฐ ์
๋ ฅ์ ์ ๋ต, ํ
์คํธ
|
| 32 |
+
์์๊ฐ, ๊ด์ธก ๊ฒฐ๊ณผ๋ CI ๊ฒฐ๊ณผ๋ฅผ ๋ฃ์ง ์๋๋ค. ์ด๋ฆ ๋ณ๊ฒฝยท์ซ์ ๋ณ๊ฒฝ ๋์กฐ๊ตฐ์
|
| 33 |
+
๋์ด ํ๋ฉด ํํ์ ๋ํ ์์กด๊ณผ ์๋ฏธ ํ๋จ์ ๊ตฌ๋ณํ๋ค. ๋ฒ์๋ฅผ ๋๋ ์
๋ ฅ์
|
| 34 |
+
๋ช
์์ ์ผ๋ก ๊ฑฐ๋ถํ๊ณ ๊ฒฐ์ ๋ก ์ ํ๋ณด ํ์์ ๊ณ์ํ๋ค.
|
| 35 |
+
|
| 36 |
+
๊ณต์ ์๋์ธต ์์ ์์ญ๋ณ 2๊ฐ ์ ํ ๋จธ๋ฆฌ๋ฅผ ๋๋ ๋ณ๋ ๋์กฐ๊ตฐ๋ ๊ณํํ๋ค.
|
| 37 |
+
5๊ฐ ์์ญยท10๊ฐ ์ถ๋ ฅ์ด๋ฉด ํ๋ผ๋ฏธํฐ๋ 12826๊ฐ๋ก ๊ธฐ์กด๋ณด๋ค 98๊ฐ๋ง ๋์ด๋๋ค.
|
| 38 |
+
์ ํน์ง/์ถ๋ ฅ์ ์ ABI๋ก ๋ฑ๋กํ๊ณ ๊ธฐ์กด 8๊ฐ ์ถ๋ ฅ ๋ชจ๋ธ๊ณผ ์์ด ์ฝ์ง ์๋๋ค.
|
| 39 |
+
์ฐ์ ์ ์ฝํธํธยทํน์ง ์ ์ยท๋์กฐ๊ตฐ์ ๊ณ ์ ํ ํ SDK/์ปดํ์ผ๋ฌ๋ฅผ ๊ตฌํํ๋ค.
|
| 40 |
+
|
| 41 |
+
## ์์ ์ฑ๊ณผ ๋น์ฉ์ผ๋ก ๊ฐ์ ํ๊ธฐ
|
| 42 |
+
|
| 43 |
+
ํ๊ฐ ๋จ์๋ ๋
๋ฆฝ์ ์ธ ํ๋ก๊ทธ๋จ ์๋๋ค. ๊ฐ์ ์๋์ ์ธ์ดยทํํยท์์ํยท์ฌ์คํ์
|
| 44 |
+
์ ์คํ ์๋๋ก ์ธ์ง ์๋๋ค. ๋ค์ ์ฝํธํธ๋ ์ ์กฐํฉ๊ณผ ์ ํํ์ ์ฌ์ฉํ๊ณ
|
| 45 |
+
ํ๋ก๊ทธ๋จ๊ณผ ํํ ํ
ํ๋ฆฟ์ ํจ๊ป ๋ถ๋ฆฌํ๋ค.
|
| 46 |
+
|
| 47 |
+
- ์ฒ์ ์์ฑ๋ ๊ธฐ๋ฅ ๋น์จ๊ณผ ํ
์คํธ ํ ์์ฑ๋ ๊ธฐ๋ฅ ๋น์จ์ ํจ๊ป ๊ธฐ๋กํ๋ค.
|
| 48 |
+
- ๋ง๋ ์ผ๋ถ ๋ฐ๋๋ฅผ ์ ์งํ๋ฉฐ ์ถ๊ฐ๋ก ์กฐ๋ฆฝํ ํ๋ณด ์์ ๋ชจ๋ธ ํธ์ถ ์๋ฅผ ๊ธฐ๋กํ๋ค.
|
| 49 |
+
- ๋ณ์ ์ฐ๊ฒฐ, ๋ถ๊ธฐ ํจ๊ณผ, ์คํ ์์กด ๊ด๊ณ๋ณ ๋ฏธ์ถฉ์กฑ ์๊ตฌ๋ฅผ ๊ธฐ๋กํ๋ค.
|
| 50 |
+
- ํ์ ๋ถ์ผ์น๊ฐ ์ค์ด๋ ๋ ์ธ์ด๊ฐ ๊ฐ์ ์ค๋ต์ ๋ด๋์ง ๋ณ๋๋ก ํ์ธํ๋ค.
|
| 51 |
+
- ์ง์ฐ ์๊ฐ, ํ๋ก์ธ์ค ๋ฉ๋ชจ๋ฆฌ, ์ค์ ์ฐ์ฐ ๋น์ฉ์ ๊ฐ์ ํ๊ฒฝ์ ๋์กฐ๊ตฐ๊ณผ ๋น๊ตํ๋ค.
|
| 52 |
+
|
| 53 |
+
CI ๊ฒฐ๊ณผ๋ ์ต์ด ํ๋จ๊ณผ ๋ถ๋ฆฌํ ํ์ ํผ๋๋ฐฑ์๋ง ์ ๋ฌํ๋ค. ํ๋ณด๊ฐ ์ค๋น๋๋ฉด
|
| 54 |
+
์ฆ์ ํ์
๊ฒ์ฌยทํ
์คํธยทํ์ ํ๋จ์ ์งํํ๊ณ , ๋ชจ๋ ํ๋ณด ์์ฑ์ด ๋๋ ๋๊น์ง
|
| 55 |
+
๊ธฐ๋ค๋ฆฌ๋ ๋ฐฐ์น ์ฅ๋ฒฝ์ ๋ฃ์ง ์๋๋ค. ๋ณ๋ ฌ ์คํ์ ์์
๋ณ ๋ฐฐ์ด ์์
๊ณต๊ฐ,
|
| 56 |
+
์ ํ๋ ์์
์ ์, ์ทจ์ยท์๊ฐ ์ ํ๊ณผ ์ข
๋ฃ ๊ธฐ๋ก์ ๊ฐ์ถ ๋ณ๋ ์คํ์ผ๋ก ๊ฒ์ฆํ๋ค.
|
| 57 |
+
|
| 58 |
+
๋ชจ๋ธ ์ฑํ์ ์์คํ
์งํ๋ก ๊ฒฐ์ ํ๋ค. ์ ์ฝํธํธ์์ ์์ ์ฑ์ ์ ์งํ๋ฉด์
|
| 59 |
+
์ถ๊ฐ ํ๋ณดยทํธ์ถยท์๊ฐ ๋น์ฉ์ ๊ฐ์ ํ ๋ชจ๋ธ๋ง ์๋ ์ฑํ ๋์์ผ๋ก ์ผ๋๋ค.
|
| 60 |
+
์คํจํ ๋ชจ๋ธ๋ ์คํ ๊ฐ์ค์น์ ๊ฒฐ๊ณผ๋ฅผ ๊ณต๊ฐํ๋ค. ์ฌ๋์ ํ์ ๋ฆฌ๋ทฐ๋ ๋ชจ๋ธ์
|
| 61 |
+
์์ ๊ฐ ์ ์๋ฅผ ํต๊ณผ ์กฐ๊ฑด์ผ๋ก ์ถ๊ฐํ์ง ์๋๋ค.
|
| 62 |
+
|
| 63 |
+
## PROV-O์ ๊ณต๊ฐ
|
| 64 |
+
|
| 65 |
+
์๋ณธ ์์ค, ๊ณํ, ๋ฐ์ดํฐ, ๋ชจ๋ธ, ํ๋จ, ํ๋ณด, ํ
์คํธ ๊ฒฐ๊ณผ๋ `prov:Entity`๋ก,
|
| 66 |
+
ํ์ตยทํ๋จยท์กฐ๋ฆฝยท์คํ์ `prov:Activity`๋ก ์ฐ๊ฒฐํ๋ค. `prov:used`,
|
| 67 |
+
`prov:wasGeneratedBy`, `prov:wasDerivedFrom`์ ๋ด์ฉ ํด์์ ๋ฒ์ ์ ๊ธฐ๋กํ๋ค.
|
| 68 |
+
์ถ์ฒ ๊ธฐ๋ก์ ๊ฒฐ๊ณผ๋ฅผ ์ถ์ ํ๊ธฐ ์ํ ๊ฒ์ด๋ฉฐ ๋ชจ๋ธ์ ์์ ์์ค ๋ณ๊ฒฝ ๊ถํ์
|
| 69 |
+
๋ถ์ฌํ์ง ์๋๋ค.
|
| 70 |
+
|
| 71 |
+
์คํยท์ฐ๊ฒฐยท๊ฐ์ฌยท๊ณต๊ฐ ๋๊ตฌ๋ Go๋ก ์ ์งํ๋ค. Python์ ์คํ๋ผ์ธ GPU ํ์ต๊ณผ
|
| 72 |
+
๋ด๋ณด๋ด๊ธฐ์ ํ์ ํ๋ค. FP32, PTQ, QAT๋ฅผ ๋ชจ๋ ๋น๊ตํ๊ณ , ์ผ์ง ์ ์ฅ 1.6๋นํธ์
|
| 73 |
+
์ค์ int8 ์์ฃผ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ตฌ๋ณํด ๊ณต๊ฐํ๋ค. ๊ธฐ์กด ์ฆ๊ฑฐ๋ Git ์ปค๋ฐ๊ณผ HF ์ปค๋ฐ์
|
| 74 |
+
๊ณ ์ ํ๊ณ ์ ๋ชจ๋ธ๊ณผ ๊ฒฐ๊ณผ๋ ์ ๊ฒฝ๋ก์ ์ถ๊ฐํ๋ค.
|
| 75 |
+
|
| 76 |
+
ํ์ฌ ์ฆ๊ฑฐ: [์คํ ๊ฒฐ๊ณผ](https://github.com/kimjooyoon/gooo-neural-decision-experiments/blob/ed5d85f98e003824d75785cff69d2d3f26ae325a/docs/paired-compiler-context-results-20261002.md),
|
| 77 |
+
[๊ณต๊ฐ ๋ชจ๋ธยท์ฆ๊ฑฐ](https://huggingface.co/asketeddy/gooo-compiler-context-tiny-v1/tree/26903f8197310700b465a96a491daca43ee6045e/research/paired-compiler-20261002).
|