MuJoCo KBF 4구 당구 AI: SAC 강화학습과 시뮬레이션 탐색

MuJoCo로 만든 4구 당구(중대, KBF 규칙) 시뮬레이터에서, 신경망 하나로 샷을 결정하는 SAC 강화학습과 시뮬레이터로 후보 샷을 미리 쳐 보고 고르는 탐색 플레이어를 비교한 프로젝트입니다.

English summary. A MuJoCo simulator for Korean 4-ball carom billiards. A plain SAC policy plateaus at 14–28% per-shot scoring and won 0 of 40 matches. A simulation-search player that scans candidate shots and plays the centre of the widest scoring window scored on 75/75 test layouts per difficulty level and won 50/50 matches. Code, SAC checkpoints (control group) and a demo video are included.

위: 대조군(SAC v4), 아래: 탐색 플레이어. 두 플레이어가 같은 초구 배치에서 한 경기씩 칩니다. 공 움직임은 2.4배속이고, 탐색 계산 시간(샷당 10~20초)은 편집으로 뺐습니다.

결과 요약

플레이어 1샷 득점률 (레벨 0 / 1 / 2) 경기 승률 (레벨 2, 5점 선취·10이닝)
무작위 샷 23.0% / 10.3% / 7.8% 측정 안 함
SAC v4 (대조군) 26.7% / 14.2% / 28.3% 0 / 40
SAC v5 (프리필 + BC) 22.5% / 7.5% / 22.5% 측정 안 함
시뮬레이션 탐색 100% / 100% / 100% (각 75/75) 50 / 50
  • SAC 득점률은 레벨별 고정 배치 120개에서 결정론적으로 실행한 값입니다(표본 오차 약 ±4%p).
  • 탐색 플레이어는 경기 50판에서 친 250샷이 모두 득점이었습니다.
  • SAC v4는 경기 40판에서 447샷 중 47샷(10.5%)만 득점했고, 상대 수구를 맞히는 파울이 206샷(46%)이었습니다.

환경

항목 값
당구대 중대, 플레이 면적 2.44m × 1.22m
공 4개(흰 수구, 노란 상대 수구, 빨간 공 2개), 직경 65.5mm, 240g
물리 MuJoCo, 시간 간격 1ms, RK4 적분
큐 실제 충돌 대신 충격량 수식으로 수구에 속도와 회전을 부여
관측 (20차원) 공 4개의 정규화 좌표 8개 + 수구에서 각 공까지의 단위벡터와 거리 9개 + 가까운 빨간 공에서 먼 빨간 공까지 3개
행동 (4차원, -1~1) 조준각, 파워(0.5~6.5m/s), 좌우 당점, 상하 당점

판정 규칙은 다음과 같습니다.

  • 득점: 수구가 빨간 공 2개를 모두 맞힘
  • 미스: 빨간 공 1개만 맞힘 (이닝 종료)
  • 파울: 아무 공도 못 맞힘, 상대 수구를 맞힘, 공이 장외로 나감 (1점 감점, 이닝 종료)
  • 경기: 5점 선취 시 승리, 10이닝 안에 못 채우면 패배

난이도는 세 단계입니다.

  • 레벨 0: 수구와 빨간 공 2개가 20cm 안에 모여 있음
  • 레벨 1: 공 4개가 당구대 반쪽에 무작위 배치
  • 레벨 2: 전체 무작위 배치 80% + 공식 초구 배치 20%

학습 방식 1: SAC 강화학습 (대조군)

Stable-Baselines3의 SAC로 학습했습니다.

설정 값
정책 MlpPolicy (기본 구조)
학습률 3e-4
리플레이 버퍼 100,000
배치 크기 256
감가율 gamma 0.95
tau 0.005
병렬 환경 10개 (SubprocVecEnv)
업데이트 횟수 병렬 환경 한 스텝(10샷)마다 5회
엔트로피 계수 자동 조정
학습 에피소드 1이닝 (첫 미스에서 종료)

버전별로 바꾼 내용과 학습 종료 시점의 득점률입니다(TensorBoard, 최근 200샷 기준).

버전 바꾼 점 학습량 득점률 파울률
v1 절대 각도 조준(±180도), 레벨 0→1→2 순차 2만 스텝 3% 67%
v2 가까운 빨간 공 기준 상대 조준, 보상 조정 레벨 0, 3만 스텝 5.5% 55%
v3 조준 범위 ±40도, 빨간 공을 가까운 순으로 관측 레벨 0, 3만 스텝 34% 9%
v4 v3에서 이어서 레벨 1, 레벨 2 학습 각 2만 스텝 17.5% / 25.5% 27% / 28%
v5 레벨 혼합 + 득점 샷 1,000개 프리필 + BC 사전학습 2만 스텝 20% 27%

v5에서 시도한 프리필과 BC는 효과가 없었습니다.

  • BC 직후 정책의 득점률이 12.5%로 무작위 수준이었습니다. 한 배치에 득점 샷이 여러 갈래로 있는데 MSE로 회귀시켜서, 그 중간의 "어느 샷도 아닌 샷"을 배웠습니다.
  • BC 뒤에 바로 SAC를 붙이자 크리틱이 처음부터 다시 맞춰졌습니다. 5천 스텝 시점 득점률이 BC 직후와 같았습니다.

보상 함수

샷 하나마다 아래 보상을 줍니다. power_ratio는 0~1로 정규화한 파워입니다.

결과 보상
장외 파울, 상대 수구 파울 -5.0
헛침 파울 -4.0
득점 +15.0 + 첫 공 보너스 1.5 + 모으기 보너스 + 파워 벌점
미스 (빨간 공 1개만) -0.2 + 첫 공 보너스 1.5 + 접근 보상 + 파워 벌점
  • 첫 공 보너스: 빨간 공을 하나라도 맞히면 +1.5
  • 모으기 보너스: 2.0 × exp(-2.5 × 두 빨간 공 사이 거리[m]). 득점 후 빨간 공이 가까이 모일수록 큽니다.
  • 접근 보상: 2.0 × exp(-2.5 × 두 번째 빨간 공까지의 최소 표면 거리[m]). 아깝게 빗나갈수록 큽니다.
  • 파워 벌점: -0.02 × power_ratio²
  • 경기 승리 보너스: 5점을 채우면 +15.0 + (남은 이닝 수)

학습 방식 2: 시뮬레이션 탐색 플레이어

이 플레이어는 학습하지 않습니다. 시뮬레이터가 결정론적이고 상태를 되돌릴 수 있다는 점을 이용해, 칠 수 있는 샷을 미리 쳐 보고 고릅니다.

  1. 두께로 조준합니다. 각도 대신 "어느 빨간 공을 먼저, 얼마나 두껍게 맞힐지"로 샷을 표현합니다. 모든 후보가 첫 공을 맞히고, 필요한 정밀도가 거리와 무관해집니다.
  2. 후보를 훑습니다. 빨간 공 2개 × 파워 2단계 × 두께 40단계, 모두 160개 샷을 시뮬레이션합니다.
  3. 가장 넓은 득점 구간의 가운데를 칩니다. 득점하는 두께가 연속으로 이어진 구간을 찾아 더 촘촘히 다시 훑고, 가장 넓은 구간의 중앙을 고릅니다. 우연히 맞는 샷을 걸러내는 기준입니다.
  4. 막혀 있으면 쿠션 샷을 찾습니다. 상대 수구가 두 빨간 공으로 가는 길을 모두 가로막으면 360도를 2도 간격으로 훑어 쿠션을 먼저 맞히는 샷을 찾습니다.

샷 하나에 평균 약 215회의 시뮬레이션을 씁니다.

SAC가 막힌 이유

조준 두께를 393단계로 훑어 본 결과입니다(배치 24개).

  • 조준 축의 1217%가 득점 구간이고, 그중 6677%가 폭이 넓은 안정 구간에 속합니다.
  • 안정 구간은 24개 배치 중 23개에 존재합니다.
  • 가장 넓은 안정 구간의 폭은 타점 기준 약 4.6~11mm(배치별 중앙값)입니다. 0.5m 떨어진 공이면 각도로 약 0.75도이고, SAC가 쓰던 ±40도 조준 범위의 약 1%입니다.

가우시안 정책이 배치마다 행동 범위의 1% 정밀도를 맞추기는 어렵습니다. 문제는 풀 수 있지만 신경망이 한 번에 답을 내는 구조가 병목이었습니다.

한계

  • 탐색은 느립니다. 샷당 계산이 CPU 10코어 기준 10~20초 걸립니다. 영상에서는 이 시간을 잘라냈습니다.
  • 탐색 플레이어는 강화학습 모델이 아닙니다. 시뮬레이터를 그대로 쓰는 계획 방식이라, 실제 당구대처럼 오차가 있는 환경에서는 같은 성능을 기대할 수 없습니다.
  • 당점(회전)을 쓰지 않습니다. 탐색은 공의 가운데만 칩니다.
  • 다음 샷을 위한 포지션을 고려하지 않습니다. 득점 여부만 봅니다.
  • 쿠션 물리가 단순합니다. 쿠션이 수직 벽이라 빠른 공이 최대 4.7cm 튀어 오르고, 옆회전이 반사각에 거의 영향을 주지 않습니다.
  • 상대 선수가 없습니다. 노란 공은 맞히면 안 되는 장애물로만 존재합니다.

파일 구성

경로 내용
env/billiard_env.py Gymnasium 환경
env/physics_obs.py 큐 충격량 모델과 관측 벡터
env/rule_judge.py 4구 판정
env/reward.py 보상 함수
env/shot_search.py 시뮬레이션 탐색 플레이어
assets/billiard_4ball.xml MuJoCo 당구대 모델
train.py SAC 학습 스크립트
eval_search.py 탐색 플레이어 평가 (화면 없음)
eval_viewer.py MuJoCo 뷰어 재생
make_demo_video.py 비교 영상 생성
checkpoints/sac_v3_level0.zip SAC v3 (레벨 0)
checkpoints/sac_v4_level1.zip SAC v4 (레벨 1)
checkpoints/sac_v4_level2.zip SAC v4 (레벨 2), 영상의 대조군
checkpoints/sac_v5_bc_only.zip SAC v5, BC 사전학습 직후
checkpoints/sac_v5_mixed.zip SAC v5 최종
demo_short.mp4 비교 영상 (1080×1920, 57초)

실행 방법

pip install -r requirements.txt

# 탐색 플레이어 평가: 레벨별 1샷 득점률
python eval_search.py --mode shots --layouts 30

# 탐색 플레이어 평가: 경기 승률
python eval_search.py --mode match --matches 30

# SAC 대조군 경기 (화면 없음)
python eval_viewer.py --model checkpoints/sac_v4_level2.zip --episodes 10

# 뷰어로 보기 (macOS는 python 대신 mjpython으로 실행)
python eval_viewer.py --search --render --episodes 3

# 비교 영상 생성 (ffmpeg 필요, 한글 글꼴 경로는 macOS 기준)
python make_demo_video.py --model checkpoints/sac_v4_level2.zip --out demo_short.mp4

# SAC 학습 예시
python train.py --curriculum-level 0 --total-timesteps 30000 --num-envs 10

라이선스

MIT 라이선스입니다. 코드, 체크포인트, 영상 모두 출처만 밝히면 자유롭게 쓸 수 있습니다.

Downloads last month
112
Video Preview
loading