cert-study-app / README.md
Kentlo's picture
Sync from GitHub b098d17dbed1a6386c212d28b4bfa6138ad59d75
88c7275 verified
|
Raw History Blame Contribute Delete
6.5 kB
metadata
title: Cert Study Lab
emoji: ๐Ÿ“š
colorFrom: blue
colorTo: green
sdk: docker
app_port: 8501
pinned: false

Cert Study Lab

์ž๊ฒฉ์ฆ ์‹œํ—˜ ๋ฌธ์ œ PDF๋ฅผ ์—…๋กœ๋“œํ•˜๊ณ , ํŒŒ์‹ฑ๋œ ๋ฌธ์ œ๋ฅผ ์›น์—์„œ ํ’€ ์ˆ˜ ์žˆ๋„๋ก ๋งŒ๋“œ๋Š” ๊ฐœ์ธ ๊ฐœ๋ฐœ ํ”„๋กœ์ ํŠธ์ž…๋‹ˆ๋‹ค.

ํ˜„์žฌ๋Š” PDF ์ฒ˜๋ฆฌ ํŒŒ์ดํ”„๋ผ์ธ, ๋ฌธ์ œ ์ €์žฅ, ๋ฌธ์ œ ํ’€์ด ํ™”๋ฉด, ์˜ค๋‹ต/๋ณต์Šต ํ๋ฆ„, ๊ฐœ๋… ์ •๋ฆฌ, ์œ ์‚ฌ ๋ฌธ์ œ ๊ฒ€์ƒ‰ ๊ตฌ์กฐ๋ฅผ ํ•จ๊ป˜ ์‹คํ—˜ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ตœ๊ทผ์—๋Š” ๊ธฐ์กด ๋ฌธ์ œํ’€์ด ๊ธฐ๋Šฅ ์œ„์— ์ด์–ด์„œ ๊ณต๋ถ€, ์ง‘์ค‘ ํ•™์Šต, ์‹œํ—˜ ๋Œ€๋น„, ๋กœ๋“œ๋งต, ์ด๋ก  ํ•™์Šต, ํ™•์ธ ํ€ด์ฆˆ, ์‹ค์Šตํ•˜๊ธฐ, ์ง„๋„์œจ ํ™”๋ฉด์„ ์–น์–ด ํ•™์Šต ํ”Œ๋žซํผ ํ˜•ํƒœ๋กœ ํ™•์žฅํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. MVP์˜ ์ƒ์œ„ Track์€ Azure์™€ Linux์ด๋ฉฐ, ๊ฐ Track ์•„๋ž˜์— AZ-104, LFCS ๊ฐ™์€ ๋ชฉํ‘œ ์ž๊ฒฉ์ฆ์„ ์—ฐ๊ฒฐํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ณธ ์ง‘์ค‘ Track์€ Linux ยท LFCS์ž…๋‹ˆ๋‹ค.

ํ”„๋กœ์ ํŠธ ๋ชฉ์ 

์ž๊ฒฉ์ฆ ๋ฌธ์ œ PDF๋Š” ์‚ฌ๋žŒ์ด ์ง์ ‘ ์ •๋ฆฌํ•˜๊ธฐ ๋ฒˆ๊ฑฐ๋กญ์Šต๋‹ˆ๋‹ค. ์ด ํ”„๋กœ์ ํŠธ๋Š” PDF ์•ˆ์˜ ๋ฌธ์ œ๋ฅผ ์ตœ๋Œ€ํ•œ ์ž๋™์œผ๋กœ ๊ตฌ์กฐํ™”ํ•˜๊ณ , ์‚ฌ์šฉ์ž๊ฐ€ ์›น์—์„œ ๋ฐ”๋กœ ํ’€๊ณ  ๋ณต์Šตํ•  ์ˆ˜ ์žˆ๋Š” ํ•™์Šต ํ™˜๊ฒฝ์„ ๋งŒ๋“œ๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•ฉ๋‹ˆ๋‹ค.

์ฃผ์š” ๊ธฐ๋Šฅ

  • ์‹œํ—˜๋ณ„ PDF ์—…๋กœ๋“œ
  • PDF ํ…์ŠคํŠธ ํŒŒ์‹ฑ ๋ฐ ์ผ๋ถ€ OCR/LLM ๊ธฐ๋ฐ˜ ๋ณด์ • ํ๋ฆ„
  • ํŒŒ์‹ฑ ํ’ˆ์งˆ ๊ฒ€์ฆ ๋ฐ ํ’ˆ์งˆ ๊ฒŒ์ดํŠธ
  • ๋ฌธ์ œ, ์ •๋‹ต, ํ•ด์„ค, ํ’€์ด ๊ธฐ๋ก ์ €์žฅ
  • Streamlit ๊ธฐ๋ฐ˜ ๋ฌธ์ œํ’€์ด ํ™”๋ฉด
  • ๊ณตํ†ต ์ง€๋ฌธ, ์›๋ฌธ ์ด๋ฏธ์ง€, Yes/No ์ง„์ˆ ํ˜• ๋ฌธ์ œํ’€์ด UI
  • ๋ฌธ์ œ ์œ ํ˜• ํ‘œ์ค€ํ™” ๋ฐ ์ •๋‹ต ์ •๊ทœํ™” ๋กœ์ง
  • ์˜ค๋‹ต/๋ณต์Šต ํ™”๋ฉด
  • ๊ฐœ๋… ์ •๋ฆฌ ํ™”๋ฉด
  • ๋‹จ์ˆœ ์‹œ์ž‘ ํ™ˆ๊ณผ ๋ณ„๋„ ๋Œ€์‹œ๋ณด๋“œ ํ™”๋ฉด
  • ์ด์–ด์„œ ๊ณต๋ถ€ / ์ง‘์ค‘ ํ•™์Šต / ์‹œํ—˜ ๋Œ€๋น„ ๋ชจ๋“œ ๋ถ„๋ฆฌ
  • Azure / Linux ๋กœ๋“œ๋งต
  • Azure ํ•˜์œ„ AZ-104, Linux ํ•˜์œ„ LFCS ๊ณ„์œ„
  • AZ-104 ๋Œ€๋ถ„๋ฅ˜/์„ธ๋ถ€๊ฐœ๋… ํ•„ํ„ฐ ๊ธฐ๋ฐ˜ ๋ฐ˜๋ณต ํ’€์ด
  • Git, Python, SQL, Docker, Kubernetes ํ™•์žฅ Track ๊ตฌ์กฐ
  • Tool Docs Track: Ollama, LangChain, Streamlit, Hugging Face ๊ณต์‹ ๋ฌธ์„œ ํ•™์Šต
  • ์ฒดํฌ๋ฆฌ์ŠคํŠธํ˜• ๊ธฐ๋ณธ ํ•™์Šต ํ๋ฆ„
  • ์ผ๋ณ„ ํ•™์Šต ๊ธฐ๋ก, ์—ฐ์† ํ•™์Šต์ผ, ์ฃผ๊ฐ„ ํ•™์Šต๋Ÿ‰ ํ‘œ์‹œ
  • ๋งˆ์ง€๋ง‰์œผ๋กœ ์„ ํƒํ•œ Track ์ €์žฅ ๋ฐ ์žฌ์‚ฌ์šฉ
  • ์ด๋ก , ํ€ด์ฆˆ, ์‹ค์Šต, ๋ฌธ์ œํ’€์ด, ์˜ค๋‹ต ๋ณต์Šต์„ ์˜ค๋Š˜ ๋ˆ„์  n๋‹จ์œ„๋กœ ๊ธฐ๋ก
  • ์„ธ๋ถ€๊ฐœ๋… ์˜ค๋‹ต ๊ธฐ๋ฐ˜ ์˜ค๋Š˜ ์ถ”์ฒœ ๋ณต์Šต
  • ๊ด€๋ฆฌ์ž ํ™”๋ฉด ์•ˆ์ชฝ AZ-104 ๋ถ„๋ฅ˜ ๊ฒ€์ˆ˜
  • ์ด๋ก  ์นด๋“œ์™€ ํ™•์ธ ํ€ด์ฆˆ ์ƒ˜ํ”Œ
  • Linux fake terminal ์‹ค์Šต ์ƒ˜ํ”Œ
  • ์‹œํ—˜ ๋ชจ๋“œ์™€ Track ์ง„๋„์œจ ๊ธฐ๋ณธ ํ™”๋ฉด
  • Chroma ๊ธฐ๋ฐ˜ ์œ ์‚ฌ ๋ฌธ์ œ ๊ฒ€์ƒ‰ ๊ตฌ์กฐ
  • Airflow ๊ธฐ๋ฐ˜ PDF ์ฒ˜๋ฆฌ ์ž‘์—… ๊ด€๋ฆฌ
  • Docker Compose ๊ธฐ๋ฐ˜ ๋กœ์ปฌ ์‹คํ–‰ ํ™˜๊ฒฝ

๊ธฐ์ˆ  ์Šคํƒ

์˜์—ญ ์‚ฌ์šฉ ๊ธฐ์ˆ  ์—ญํ• 
์›น UI Streamlit ๋ฌธ์ œ ํ’€์ด, PDF ์—…๋กœ๋“œ, ์ฒ˜๋ฆฌ ํ˜„ํ™ฉ ํ™•์ธ
๊ด€๊ณ„ํ˜• DB PostgreSQL ๋ฌธ์ œ, ์ •๋‹ต, ํ’€์ด ๊ธฐ๋ก, ์ฒ˜๋ฆฌ ์ž‘์—… ์ €์žฅ
๋ฒกํ„ฐ DB Chroma ์œ ์‚ฌ ๋ฌธ์ œ ๊ฒ€์ƒ‰, ๋ฌธ์„œ ๊ฒ€์ƒ‰์šฉ ์ž„๋ฒ ๋”ฉ ์ €์žฅ
์›Œํฌํ”Œ๋กœ Airflow PDF ์ฒ˜๋ฆฌ ํŒŒ์ดํ”„๋ผ์ธ ์‹คํ–‰๊ณผ ์ถ”์ 
์‹คํ–‰ ํ™˜๊ฒฝ Docker / Docker Compose ์•ฑ, DB, Airflow ์‹คํ–‰ ํ™˜๊ฒฝ ํ†ต์ผ
PDF ์ฒ˜๋ฆฌ PyMuPDF, Parser, ์„ ํƒ์  LLM PDF์—์„œ ๋ฌธ์ œ ํ…์ŠคํŠธ์™€ ๊ตฌ์กฐ ์ถ”์ถœ

๋ฌธ์„œ

์ฒ˜์Œ ๋ณด๋Š” ์‚ฌ๋žŒ์€ ์•„๋ž˜ ์ˆœ์„œ๋กœ ์ฝ์œผ๋ฉด ์ „์ฒด ๊ตฌ์กฐ๋ฅผ ์ดํ•ดํ•˜๊ธฐ ์‰ฝ์Šต๋‹ˆ๋‹ค.

  1. ํ”„๋กœ์ ํŠธ ๊ฐœ์š”
  2. ์ „์ฒด ์•„ํ‚คํ…์ฒ˜
  3. ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ
  4. ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค ๊ตฌ์กฐ
  5. ๋ฐฐํฌ ๊ณ„ํš
  6. ์˜์‚ฌ๊ฒฐ์ • ๊ธฐ๋ก
  7. ํŠธ๋Ÿฌ๋ธ”์ŠˆํŒ…
  8. GitHub / Hugging Face ๋ฐฐํฌ ์ž๋™ํ™”
  9. ๋ชจ๋ฐ”์ผ ์•ฑ์ฒ˜๋Ÿผ ์‚ฌ์šฉํ•˜๊ธฐ
  10. Cert Study Lab ํ™•์žฅ ํ”„๋กฌํ”„ํŠธ
  11. ๊ฐœ๋ฐœ์ผ์ง€
  12. ๋ณ€๊ฒฝ ์ด๋ ฅ

์‹คํ–‰ ๋ฐฉ๋ฒ•

Docker๊ฐ€ ์„ค์น˜๋˜์–ด ์žˆ๋‹ค๋ฉด ์•„๋ž˜ ๋ช…๋ น์œผ๋กœ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค.

cp .env.example .env
docker compose up --build

์‹คํ–‰ ํ›„ ์ ‘์† ์ฃผ์†Œ:

  • Streamlit ์•ฑ: http://localhost:8501
  • Airflow ์›น์„œ๋ฒ„: http://localhost:8080
  • PostgreSQL: localhost:5432

๋กœ์ปฌ์—์„œ Streamlit๋งŒ ๋น ๋ฅด๊ฒŒ ํ™•์ธํ•  ๋•Œ๋Š” ์ž„์‹œ SQLite DB๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

DATABASE_URL=sqlite:////tmp/cert-study-local-check.db \
  python -m streamlit run streamlit_app.py

๋ฐฐํฌ์šฉ ๋ฌธ์ œ ๋ฐ์ดํ„ฐ

Hugging Face Space์—๋Š” ๋กœ์ปฌ DB๋‚˜ PDF ์›๋ณธ์„ ์˜ฌ๋ฆฌ์ง€ ์•Š๊ณ , cert_study_app/demo_data/questions_seed.json๊ณผ static/question_assets/์˜ ์ฐธ์กฐ ์ด๋ฏธ์ง€๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

ํ˜„์žฌ ๋ฐฐํฌ์šฉ seed๋Š” 321๋ฌธํ•ญ, ๊ณตํ†ต ์ง€๋ฌธ ํฌํ•จ 36๋ฌธํ•ญ, ์›๋ฌธ ์ด๋ฏธ์ง€, Yes/No ์ง„์ˆ ํ˜• ๋ฌธ์ œ UI์— ํ•„์š”ํ•œ ๊ตฌ์กฐ๋ฅผ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. seed๋Š” ์•„๋ž˜ ๋ช…๋ น์œผ๋กœ ๋‹ค์‹œ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

python scripts/export_hf_seed.py

๋ณ€๊ฒฝ ์ด๋ ฅ ํ™•์ธ

Git ์ปค๋ฐ‹์€ ๋‚ ์งœ์™€ ํ•จ๊ป˜ ๋‚จ๊ธฐ ๋•Œ๋ฌธ์— ์ผ์ž๋ณ„ ๋ณ€๊ฒฝ ๋‚ด์šฉ์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

scripts/git_daily_changes.sh 2026-06-07

ํ…Œ์ŠคํŠธ

๋ฌธ์ œ ์œ ํ˜•์ด ๋‹ค์–‘ํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์ •๋‹ต ์ฒ˜๋ฆฌ ๋กœ์ง์€ ๋ณ„๋„ ํ…Œ์ŠคํŠธ๋กœ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.

python -m pip install -r requirements-dev.txt
python -m pytest tests

๋ฐฐํฌ ์ „์— ํ•ต์‹ฌ ํ’ˆ์งˆ ๊ฒ€์‚ฌ๋ฅผ ํ•œ ๋ฒˆ์— ์‹คํ–‰ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

python scripts/check_quality.py

ํ˜„์žฌ ์šฐ์„  ํ™•์ธํ•˜๋Š” ๋ฒ”์œ„:

  • Yes/No ์ง„์ˆ ํ˜• ์ •๋‹ต ์ •๊ทœํ™”
  • ๋ณต์ˆ˜ ์„ ํƒ ์ •๋‹ต ์ •๋ ฌ
  • ์ˆœ์„œ๊ฐ€ ์ค‘์š”ํ•œ ๋‹ต์•ˆ ๋ณด์กด
  • Hotspot (True/False), Hotspot (Drag and Drop) ๊ฐ™์€ ๋ฌธ์ œ ์œ ํ˜• alias ํ‘œ์ค€ํ™”

ํ™˜๊ฒฝ ๋ณ€์ˆ˜

๊ธฐ๋ณธ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋Š” PostgreSQL์ž…๋‹ˆ๋‹ค.

DATABASE_URL=postgresql+pg8000://cert_study:cert_study@postgres:5432/cert_study

๊ฐœ๋ฐœ ์ค‘ ์ž„์‹œ๋กœ SQLite fallback์„ ํ—ˆ์šฉํ•ด์•ผ ํ•  ๋•Œ๋งŒ ์•„๋ž˜ ๊ฐ’์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

CERT_STUDY_DB_FALLBACK=1

ํ˜„์žฌ ๊ฐœ๋ฐœ ์ƒํƒœ

์ด ํ”„๋กœ์ ํŠธ๋Š” ๊ฐœ์ธ ํ•™์Šต๊ณผ ํฌํŠธํด๋ฆฌ์˜ค ๊ธฐ๋ก์„ ๊ฒธํ•œ ๊ฐœ๋ฐœ ์ค‘ ํ”„๋กœ์ ํŠธ์ž…๋‹ˆ๋‹ค. ํ•ต์‹ฌ ๊ตฌ์กฐ๋Š” ์žกํ˜€ ์žˆ์ง€๋งŒ, ํŒŒ์‹ฑ ์ •ํ™•๋„ ๊ฐœ์„ , ๋ถ๋งˆํฌ, ์‹œํ—˜๋ณ„ ํ†ต๊ณ„, ์•ˆ์ •์ ์ธ ๋ฐฐํฌ, ํ…Œ์ŠคํŠธ ์ž๋™ํ™”๋Š” ๊ณ„์† ๊ฐœ์„ ํ•  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค.

ํ–ฅํ›„ ๊ฐœ์„ ํ•  ๊ธฐ๋Šฅ

  • ๋ถ๋งˆํฌ ๊ธฐ๋Šฅ
  • ์‹œํ—˜๋ณ„ ์ง„๋„์œจ๊ณผ ์ •๋‹ต๋ฅ  ํ†ต๊ณ„
  • ํŒŒ์‹ฑ ์‹คํŒจ ๋ฌธ์ œ์˜ ๊ฒ€์ˆ˜ ํ™”๋ฉด ๊ฐœ์„ 
  • ๋ฌธ์ œ ์ค‘๋ณต ๊ฐ์ง€ ๋ฐ ์žฌ์—…๋กœ๋“œ ์ฒ˜๋ฆฌ
  • Oracle Cloud Ubuntu ์„œ๋ฒ„ ๋ฐฐํฌ
  • ๋ฐฐํฌ์šฉ ํ™˜๊ฒฝ ๋ณ€์ˆ˜์™€ ๋น„๋ฐ€๊ฐ’ ๊ด€๋ฆฌ ์ •๋ฆฌ
  • ํ…Œ์ŠคํŠธ ๋ฒ”์œ„ ํ™•๋Œ€์™€ CI/CD ์ถ”๊ฐ€