docuflow / docs /02-weekend1 /README.md
woongmin's picture
[Delta-02] ๋Œ€์šฉ๋Ÿ‰ PDF ๋ณ‘๋ ฌ ์ž„๋ฒ ๋”ฉ/๋ฐฐ์น˜ ์ €์žฅ ๋ฐ ์ฒดํฌ๋ฆฌ์ŠคํŠธ ์—…๋ฐ์ดํŠธ
1990560
|
Raw History Blame Contribute Delete
3.78 kB

Week 1 ์ฃผ๋ง ํŒจํ‚ท (ํ•ต์‹ฌ ๊ตฌํ˜„)

[Stage: Weekend-1]

๊ด€๋ จ ๋ฌธ์„œ: README.md, docs/00-shared/reference.md

์ฃผ๋ง(ํ† /์ผ, 9:00-18:00) ํŽ˜์–ดํ”„๋กœ๊ทธ๋ž˜๋ฐ์œผ๋กœ ์•„๋ž˜ ํ๋ฆ„์„ ์™„์„ฑํ•ฉ๋‹ˆ๋‹ค.

  • ๋ฌธ์„œ ์—…๋กœ๋“œ/ํ…์ŠคํŠธ ์ถ”์ถœ
  • ์ฒญํ‚น/์ž„๋ฒ ๋”ฉ/๋ฒกํ„ฐ ์ €์žฅ
  • ๊ฒ€์ƒ‰/๋‹ต๋ณ€ ์ƒ์„ฑ(RAG)

๋ชฉํ‘œ

  • ๋กœ์ปฌ์—์„œ ์—…๋กœ๋“œ โ†’ ๊ฒ€์ƒ‰ โ†’ ๋‹ต๋ณ€๊นŒ์ง€ E2E ๋™์ž‘
  • ๋ฌธ์„œ ์™ธ ์งˆ๋ฌธ์— ๋Œ€ํ•ด ์•ˆ์ „ ์‘๋‹ต ๊ธฐ๋ณธ ๋™์ž‘ ํ™•๋ณด
  • ์ตœ์†Œ 3๊ฐœ ์‹คํŒจ ์ผ€์ด์Šค๋ฅผ ์žฌํ˜„/๊ธฐ๋ก

๊ตฌํ˜„ ๋ฒ”์œ„

  • app/main.py
    • extract_text_from_pdf()
    • /documents/ ํŒŒ์ดํ”„๋ผ์ธ
    • /qa RAG ํŒŒ์ดํ”„๋ผ์ธ
  • app/embedding_utils.py
    • split_text()
    • get_embedding()
  • app/supabase_utils.py
    • save_embedding()
    • search_similar_embeddings()

Weekend-1 DoD (ํŽ˜์–ด ๊ธฐ์ค€)

๊ธฐ๋Šฅ ๊ตฌํ˜„

  • PDF ์—…๋กœ๋“œ ์„ฑ๊ณต
  • ์ตœ์†Œ 1๊ฐœ ๋ฌธ์„œ์˜ ์ฒญํฌ/์ž„๋ฒ ๋”ฉ ์ €์žฅ ์„ฑ๊ณต
  • /qa ์งˆ์˜ 3ํšŒ ์„ฑ๊ณต
  • ๋ฌธ์„œ ์™ธ ์งˆ๋ฌธ์— ๋Œ€ํ•ด ์•ˆ์ „ ์‘๋‹ต ํ™•์ธ
  • ์‹คํŒจ ์ผ€์ด์Šค 3๊ฐœ ์ด์ƒ ๊ธฐ๋ก

์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ ํ’ˆ์งˆ ๊ฒ€์ฆ

  • docs/01-prework/entry-task.md์—์„œ ์ž‘์„ฑํ•œ ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ ์ดˆ์•ˆ์„ ์‹ค์ œ ๊ตฌํ˜„์— ์ ์šฉ
  • ๋ฌธ์„œ์— ์—†๋Š” ์งˆ๋ฌธ 3๊ฐ€์ง€์—์„œ ํ™˜๊ฐ ์—†์ด ๊ฑฐ์ ˆ/ํ•œ๊ณ„ ๊ณ ์ง€ ์‘๋‹ต ํ™•์ธ
  • ๋ฌธ์„œ์— ์žˆ๋Š” ์งˆ๋ฌธ 3๊ฐ€์ง€์—์„œ ๊ทผ๊ฑฐ(sources)๋ฅผ ํฌํ•จํ•œ ๋‹ต๋ณ€ ํ™•์ธ
  • ํ”„๋กฌํ”„ํŠธ 1ํšŒ ์ด์ƒ ์ˆ˜์ • ํ›„ ์ˆ˜์ • ์ „/ํ›„ ๋‹ต๋ณ€ ์ฐจ์ด ๊ธฐ๋ก

์ดํ•ด๋„ ํ™•์ธ (ํŽ˜์–ด ๊ตฌ๋‘ ์„ค๋ช…)

๊ตฌํ˜„ ์™„๋ฃŒ ํ›„ ์•„๋ž˜ ์งˆ๋ฌธ์— ์„œ๋กœ ๊ตฌ๋‘๋กœ ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์„ค๋ช…ํ•˜์ง€ ๋ชปํ•˜๋Š” ํ•ญ๋ชฉ์€ ์ฝ”๋“œ์™€ docs/00-shared/reference.md๋ฅผ ๋‹ค์‹œ ํ™•์ธํ•˜์„ธ์š”.

  • "chunk_size๋ฅผ ์ค„์ด๋ฉด ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ์™€ ๋‹ต๋ณ€ ํ’ˆ์งˆ์ด ์–ด๋–ป๊ฒŒ ๋‹ฌ๋ผ์ง€๋Š”๊ฐ€?
    • chunk_size๋ฅผ ์ค„์ด๋ฉด ์งˆ๋ฌธ์— ๋Œ€ํ•œ ๋‹ต๋ณ€์˜ ๋‚ด์šฉ์ด ๋„ˆ๋ฌด ํ•จ์ถ•๋˜์–ด ํ’ˆ์งˆ์ด ๋–จ์–ด์ง‘๋‹ˆ๋‹ค. (๋‹ต๋ณ€์—์„œ ํ•œ์ž๊ฐ€ ๋“ฑ์žฅํ•˜๋Š” ํ˜„์ƒ์ด ์ƒ๊ฒผ์Œ)
  • "๊ฐ™์€ ๋ฌธ์„œ๋ฅผ ๋‘ ๋ฒˆ ์—…๋กœ๋“œํ•˜๋ฉด ์–ด๋–ค ๋ฌธ์ œ๊ฐ€ ์ƒ๊ธฐ๋Š”๊ฐ€? ์–ด๋–ป๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋Š”๊ฐ€?"
    • similarity๊ฐ€ ๋–จ์–ด์กŒ์œผ๋ฉฐ, ํ• ๋ฃจ์‹œ๋„ค์ด์…˜ ํ˜„์ƒ์ด ๋งŽ์ด ๋ฐœ์ƒํ–ˆ๋‹ค.
  • "similarity_threshold๋ฅผ 0.7์—์„œ 0.3์œผ๋กœ ๋‚ฎ์ถ”๋ฉด ์–ด๋–ค ์ผ์ด ๋ฒŒ์–ด์ง€๋Š”๊ฐ€?"
    • ์œ ์‚ฌ๋„๊ฐ€ ๋‚ฎ์•„์ง€๋ฉด ์งˆ๋ฌธ๊ณผ ๊ด€๋ จ๋œ ๋‹จ์–ด๊ฐ€ ์žˆ์œผ๋ฉด ๋งฅ๋ฝ์„ ๋ฌด์‹œํ•œ ์ฑ„ ๊ธ€์„ ๊ฐ€์ ธ์™€ ํŒ๋‹จํ•˜๋ ค๊ณ  ํ•œ๋‹ค.
  • "ํ˜„์žฌ ๊ตฌํ˜„์—์„œ ๋Œ€์šฉ๋Ÿ‰ PDF๋ฅผ ์—…๋กœ๋“œํ•  ๋•Œ ๋ณ‘๋ชฉ์ด ์–ด๋””์—์„œ ์ƒ๊ธฐ๋Š”๊ฐ€?"
      1. ๋ณ‘๋ชฉ ๊ตฌ๊ฐ„: embed_and_save_sec ์ „์ฒด ์‹œ๊ฐ„์˜ ์•ฝ 90%๊ฐ€ ์ด ๊ตฌ๊ฐ„์—์„œ ์†Œ์š”๋จ. ์ฒญํฌ๋งˆ๋‹ค get_embedding()(Ollama ํ˜ธ์ถœ) + save_embedding()(Supabase insert)๊ฐ€ ์ˆœ์ฐจ ์‹คํ–‰๋จ. ์ฒญํฌ ์ˆ˜๊ฐ€ ๋งŽ์„์ˆ˜๋ก ์ด ๊ตฌ๊ฐ„ ์‹œ๊ฐ„์ด ๊ธธ์–ด์ง.
      1. split_text_sec๊ฐ€ ์งง์€ ์ด์œ  ๋ฌธ์žฅ ์ˆ˜๊ฐ€ 500๊ฐœ๋ฅผ ๋„˜์–ด _simple_split_by_chars fallback์ด ์‚ฌ์šฉ๋จ. ์ž„๋ฒ ๋”ฉ ํ˜ธ์ถœ ์—†์ด ๊ธ€์ž ์ˆ˜ ๊ธฐ์ค€์œผ๋กœ๋งŒ ๋ถ„ํ• ํ•ด์„œ ๋งค์šฐ ๋น ๋ฆ„.
      1. extract_text_sec (23.58์ดˆ) ํŽ˜์ด์ง€ ์ˆ˜์— ๋น„๋ก€ํ•ด ์‹œ๊ฐ„์ด ์ฆ๊ฐ€. 500ํŽ˜์ด์ง€ ์ด์ƒ PDF๋ผ๋ฉด ์ด ์ •๋„๋Š” ์ผ๋ฐ˜์ ์ธ ์ˆ˜์ค€.
    • ์ •๋ฆฌ
      • ๋ณ‘๋ชฉ: embed_and_save_sec (์ž„๋ฒ ๋”ฉ + DB ์ €์žฅ)
      • ๊ฐœ์„  ๋ฐฉํ–ฅ: ์ฒญํฌ ๋‹จ์œ„ ์ž„๋ฒ ๋”ฉ/์ €์žฅ์„ ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌํ•˜๊ฑฐ๋‚˜ ๋ฐฐ์น˜ ์ฒ˜๋ฆฌ๋กœ ๋ฐ”๊พธ๋Š” ๊ฒƒ.
      • ์ฐธ๊ณ : Weekend-1 ์ดํ•ด๋„ ์งˆ๋ฌธ โ€œ๋Œ€์šฉ๋Ÿ‰ PDF ์—…๋กœ๋“œ ์‹œ ๋ณ‘๋ชฉ์ด ์–ด๋””์ธ๊ฐ€?โ€์— ๋Œ€ํ•œ ๋‹ต์€ ์ž„๋ฒ ๋”ฉ + DB ์ €์žฅ ๋ฃจํ”„๋ผ๊ณ  ํ•  ์ˆ˜ ์žˆ์Œ.

๊ฒ€์ฆ ๋ช…๋ น

# ์„œ๋ฒ„ ์‹คํ–‰
pipenv run uvicorn app.main:app --reload

๊ฒ€์ฆ์€ UI ๋˜๋Š” API ๋ฐฉ์‹ ์ค‘ ํŒ€์—์„œ ํ•ฉ์˜ํ•œ ํ•˜๋‚˜๋กœ ํ†ต์ผํ•˜์„ธ์š”.