McKay1123/McKay-Math-9B-a9ea928a-124f

McKay Math 9B

모델 요약

Qwen3.5-9B에 수학 서술형 답안의 기준별 진단과 한국어 피드백을 추가 학습한 LoRA 어댑터입니다. 이 저장소는 원본 Qwen 전체 가중치를 포함하지 않습니다. 실행할 때 기반 모델과 어댑터를 함께 불러옵니다.

예비 벤치마크

새 표본의 시험용 300건을 두 모델에 동일하게 입력했습니다. 서로 다른 문항은 50개이며 문항마다 답안 6종이 있습니다. 실제 학생 자료가 아닌 합성 자료입니다. 교사 검토는 완료되지 않았습니다. 새 상황과 실제 학생 문체를 독립적으로 작성한 벤치마크가 아닙니다. RuBio의 생명과학 평가 점수와 이 수학 평가 점수는 직접 비교하지 않습니다.

지표	원본 Qwen 9B	수학 어댑터
기준별 판정 정확도	86.67%	100.00%
답안 상태 정확도	72.00%	100.00%
답안 상태 macro F1	67.51%	100.00%
오개념 ID 일치율	100.00%	100.00%
JSON 구문 유효율	100.00%	100.00%
출력 형식과 답안 인용 유효율	81.67%	100.00%
원본 판정 정책 일관성	79.00%	100.00%
다음 행동 일치율	83.00%	100.00%
후처리 후 답안 상태 정확도	65.33%	100.00%
정답 답안 오판율	16.00%	0.00%

어댑터의 기준별 판정 정확도에 대한 문항 군집 bootstrap 95% 신뢰구간은 100.00% ~ 100.00%입니다. 학습 후와 학습 전의 기준별 정확도 차이는 +13.33%p입니다. 문항을 쌍으로 묶어 계산한 차이의 95% 신뢰구간은 +11.67%p ~ +14.84%p입니다. 개선 방향의 차이가 관찰됐습니다. 재표집 횟수는 2000회이며 난수 시드는 20261103입니다. 같은 문항의 답안 6개는 독립 학생 6명으로 취급하지 않았습니다.

JSON 구문 실패와 판정 누락은 해당 판정의 오답으로 계산했습니다. 중복된 평가 기준 ID는 해당 기준의 무효 예측으로 처리했습니다. macro F1은 답안 상태 6종에 동일한 가중치를 부여했습니다. 후처리 후 정확도는 원본 출력 점수와 구별해 표시했습니다. 오개념 ID 일치율의 분모는 정답 라벨에 오개념 ID가 있는 기준 100개입니다. 형식과 인용 유효율은 피드백의 교육적 품질을 평가하는 지표가 아닙니다. 힌트의 적절성과 정답 누설 여부 및 실제 수업 효과는 별도의 교사 평가가 필요합니다.

답안 유형별 결과

답안 유형	건수	원본 정답률	어댑터 정답률
correct	50	84.00%	100.00%
partial	50	100.00%	100.00%
mixed	50	44.00%	100.00%
incorrect	50	100.00%	100.00%
no_attempt	50	100.00%	100.00%
unclear	50	4.00%	100.00%

속도와 메모리

지표	원본 Qwen 9B	수학 어댑터
응답 시간 p50 초	11.476	9.203
응답 시간 p95 초	13.740	10.733
출력 토큰/초	22.867	16.629
최대 GPU 할당 메모리 GiB	17.822	17.933

각 모델의 첫 예열 호출은 지연 측정에서 제외했습니다. GPU 연산 동기화 후 개별 요청의 생성 시간을 측정했습니다. 출력 토큰/초는 생성 토큰 수 합계를 생성 시간 합계로 나눈 값입니다. GPU 할당 메모리는 PyTorch가 측정한 값이며 nvidia-smi의 전체 점유량과 다를 수 있습니다.

학습 설정

항목	기록된 값
method	bf16 LoRA
train_rows	2400
dev_rows	300
epochs	2
steps	300
max_seq_length	4096
batch_size	1
gradient_accumulation_steps	16
lora_rank	16
lora_alpha	32
lora_dropout	0
learning_rate	0.0001
seed	42
best_eval_loss	0.07964031398296356
teacher_approved	0

학습 곡선은 실제 events.jsonl에 기록된 값만 사용했습니다. 학습 로그가 없으면 해당 곡선을 표시하지 않습니다. 검증 손실은 체크포인트 선택용이며 시험 정답률과 다른 지표입니다.

평가 조건과 재현 정보

기반 모델은 Qwen/Qwen3.5-9B입니다. 평가 revision은 c202236235762e1c871ad0ccb60c8ee5ba337b9a입니다. 두 모델에 최종 어댑터 폴더의 같은 토크나이저와 같은 chat template을 사용했습니다. 시스템 프롬프트는 학습 당시와 동일하며 원문은 system_prompt.txt에 있습니다. user 입력은 자료 JSONL의 user 메시지를 그대로 사용했습니다. thinking과 샘플링은 끄고 최대 새 토큰 수를 768로 고정했습니다. JSON 스키마는 강제하지 않았습니다. 서로 같은 GPU와 같은 패키지 버전에서 순서대로 평가했습니다. 평가 실행 시각과 GPU 종류 및 패키지 버전은 evaluation_provenance.json에 기록했습니다. 학습 당시 기반 모델 revision이 기록되지 않았습니다. 두 평가 모델은 같은 revision으로 고정했지만 학습 당시 가중치와의 동일성은 추가 확인이 필요합니다.

자료 SHA256과 학습 ID 해시 및 어댑터 파일 SHA256은 함께 보관한 메타데이터에서 확인할 수 있습니다.

사용 예시

아래 저장소 이름은 실제 업로드한 주소로 바꿉니다. 입력은 question과 materials 및 rubric과 evidence 및 misconceptions와 reference_answer 및 history와 feedback_mode 및 reveal_requested와 student_answer를 가진 객체입니다.

import json
from pathlib import Path
import torch
from huggingface_hub import hf_hub_download
from transformers import AutoTokenizer, Qwen3_5ForConditionalGeneration
from peft import PeftModel

adapter_id = 'McKay1123/McKay-Math-9B-a9ea928a-124f'
tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base = Qwen3_5ForConditionalGeneration.from_pretrained(
    'Qwen/Qwen3.5-9B', revision='c202236235762e1c871ad0ccb60c8ee5ba337b9a', dtype=torch.bfloat16, device_map='auto'
)
model = PeftModel.from_pretrained(base, adapter_id).eval()
system_prompt = Path(hf_hub_download(adapter_id, 'system_prompt.txt')).read_text(encoding='utf-8')
payload = json.loads(Path(hf_hub_download(adapter_id, 'example_input.json')).read_text(encoding='utf-8'))
messages = [
    {'role': 'system', 'content': system_prompt},
    {'role': 'user', 'content': json.dumps(payload, ensure_ascii=False, separators=(',', ':'))}
]
prompt = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True, enable_thinking=False
)
inputs = tokenizer(prompt, return_tensors='pt', add_special_tokens=False).to(model.device)
with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=768, do_sample=False)
print(tokenizer.decode(output[0, inputs.input_ids.shape[-1]:], skip_special_tokens=True))

한계와 공개 범위

합성 자료의 초급 수학 유형에 대한 연구용 예비 모델입니다. 실제 학생의 고부담 성적 결정에 바로 적용할 수준으로 검증되지 않았습니다. 이 평가 자료는 현재 학습 문항과 ID 및 문항 본문이 겹치지 않지만 프로그램식 문제 유형과 작성 틀은 공유합니다. 피드백 문장의 정확성과 도움 정도는 자동 분류 점수만으로 보장되지 않습니다. 수학 교육과정 정합성과 내용 타당도는 추가 검토가 필요합니다. 기반 모델의 라이선스와 이 어댑터 및 데이터에 적용할 공개 조건은 게시 전에 함께 확인합니다. 이 설명서는 실제 저장된 예측과 학습 로그로 생성했습니다. 좋은 점수를 보장하는 문서는 아닙니다.