Spaces:
Runtime error
Runtime error
|
Download docs/02-weekend1/README.md from progressive-intelligence-lab/docuflow: direct link, hf CLI and curl.
- Browser
- Download file 3.78 kB
-
https://huggingface.co/spaces/progressive-intelligence-lab/docuflow/resolve/main/docs/02-weekend1/README.md
- Command line
-
hf download hf://spaces/progressive-intelligence-lab/docuflow/docs/02-weekend1/README.md
-
curl -L -o README.md https://huggingface.co/spaces/progressive-intelligence-lab/docuflow/resolve/main/docs/02-weekend1/README.md
3.78 kB
Week 1 ์ฃผ๋ง ํจํท (ํต์ฌ ๊ตฌํ)
[Stage: Weekend-1]
๊ด๋ จ ๋ฌธ์: README.md, docs/00-shared/reference.md
์ฃผ๋ง(ํ /์ผ, 9:00-18:00) ํ์ดํ๋ก๊ทธ๋๋ฐ์ผ๋ก ์๋ ํ๋ฆ์ ์์ฑํฉ๋๋ค.
- ๋ฌธ์ ์ ๋ก๋/ํ ์คํธ ์ถ์ถ
- ์ฒญํน/์๋ฒ ๋ฉ/๋ฒกํฐ ์ ์ฅ
- ๊ฒ์/๋ต๋ณ ์์ฑ(RAG)
๋ชฉํ
- ๋ก์ปฌ์์ ์ ๋ก๋ โ ๊ฒ์ โ ๋ต๋ณ๊น์ง E2E ๋์
- ๋ฌธ์ ์ธ ์ง๋ฌธ์ ๋ํด ์์ ์๋ต ๊ธฐ๋ณธ ๋์ ํ๋ณด
- ์ต์ 3๊ฐ ์คํจ ์ผ์ด์ค๋ฅผ ์ฌํ/๊ธฐ๋ก
๊ตฌํ ๋ฒ์
app/main.pyextract_text_from_pdf()/documents/ํ์ดํ๋ผ์ธ/qaRAG ํ์ดํ๋ผ์ธ
app/embedding_utils.pysplit_text()get_embedding()
app/supabase_utils.pysave_embedding()search_similar_embeddings()
Weekend-1 DoD (ํ์ด ๊ธฐ์ค)
๊ธฐ๋ฅ ๊ตฌํ
- PDF ์ ๋ก๋ ์ฑ๊ณต
- ์ต์ 1๊ฐ ๋ฌธ์์ ์ฒญํฌ/์๋ฒ ๋ฉ ์ ์ฅ ์ฑ๊ณต
-
/qa์ง์ 3ํ ์ฑ๊ณต - ๋ฌธ์ ์ธ ์ง๋ฌธ์ ๋ํด ์์ ์๋ต ํ์ธ
- ์คํจ ์ผ์ด์ค 3๊ฐ ์ด์ ๊ธฐ๋ก
์์คํ ํ๋กฌํํธ ํ์ง ๊ฒ์ฆ
-
docs/01-prework/entry-task.md์์ ์์ฑํ ์์คํ ํ๋กฌํํธ ์ด์์ ์ค์ ๊ตฌํ์ ์ ์ฉ - ๋ฌธ์์ ์๋ ์ง๋ฌธ 3๊ฐ์ง์์ ํ๊ฐ ์์ด ๊ฑฐ์ /ํ๊ณ ๊ณ ์ง ์๋ต ํ์ธ
- ๋ฌธ์์ ์๋ ์ง๋ฌธ 3๊ฐ์ง์์ ๊ทผ๊ฑฐ(sources)๋ฅผ ํฌํจํ ๋ต๋ณ ํ์ธ
- ํ๋กฌํํธ 1ํ ์ด์ ์์ ํ ์์ ์ /ํ ๋ต๋ณ ์ฐจ์ด ๊ธฐ๋ก
์ดํด๋ ํ์ธ (ํ์ด ๊ตฌ๋ ์ค๋ช )
๊ตฌํ ์๋ฃ ํ ์๋ ์ง๋ฌธ์ ์๋ก ๊ตฌ๋๋ก ์ค๋ช
ํ ์ ์์ด์ผ ํฉ๋๋ค.
์ค๋ช
ํ์ง ๋ชปํ๋ ํญ๋ชฉ์ ์ฝ๋์ docs/00-shared/reference.md๋ฅผ ๋ค์ ํ์ธํ์ธ์.
- "
chunk_size๋ฅผ ์ค์ด๋ฉด ๊ฒ์ ๊ฒฐ๊ณผ์ ๋ต๋ณ ํ์ง์ด ์ด๋ป๊ฒ ๋ฌ๋ผ์ง๋๊ฐ?chunk_size๋ฅผ ์ค์ด๋ฉด ์ง๋ฌธ์ ๋ํ ๋ต๋ณ์ ๋ด์ฉ์ด ๋๋ฌด ํจ์ถ๋์ด ํ์ง์ด ๋จ์ด์ง๋๋ค. (๋ต๋ณ์์ ํ์๊ฐ ๋ฑ์ฅํ๋ ํ์์ด ์๊ฒผ์)
- "๊ฐ์ ๋ฌธ์๋ฅผ ๋ ๋ฒ ์
๋ก๋ํ๋ฉด ์ด๋ค ๋ฌธ์ ๊ฐ ์๊ธฐ๋๊ฐ? ์ด๋ป๊ฒ ํด๊ฒฐํ ์ ์๋๊ฐ?"
- similarity๊ฐ ๋จ์ด์ก์ผ๋ฉฐ, ํ ๋ฃจ์๋ค์ด์ ํ์์ด ๋ง์ด ๋ฐ์ํ๋ค.
- "
similarity_threshold๋ฅผ 0.7์์ 0.3์ผ๋ก ๋ฎ์ถ๋ฉด ์ด๋ค ์ผ์ด ๋ฒ์ด์ง๋๊ฐ?"- ์ ์ฌ๋๊ฐ ๋ฎ์์ง๋ฉด ์ง๋ฌธ๊ณผ ๊ด๋ จ๋ ๋จ์ด๊ฐ ์์ผ๋ฉด ๋งฅ๋ฝ์ ๋ฌด์ํ ์ฑ ๊ธ์ ๊ฐ์ ธ์ ํ๋จํ๋ ค๊ณ ํ๋ค.
- "ํ์ฌ ๊ตฌํ์์ ๋์ฉ๋ PDF๋ฅผ ์
๋ก๋ํ ๋ ๋ณ๋ชฉ์ด ์ด๋์์ ์๊ธฐ๋๊ฐ?"
- ๋ณ๋ชฉ ๊ตฌ๊ฐ: embed_and_save_sec ์ ์ฒด ์๊ฐ์ ์ฝ 90%๊ฐ ์ด ๊ตฌ๊ฐ์์ ์์๋จ. ์ฒญํฌ๋ง๋ค get_embedding()(Ollama ํธ์ถ) + save_embedding()(Supabase insert)๊ฐ ์์ฐจ ์คํ๋จ. ์ฒญํฌ ์๊ฐ ๋ง์์๋ก ์ด ๊ตฌ๊ฐ ์๊ฐ์ด ๊ธธ์ด์ง.
- split_text_sec๊ฐ ์งง์ ์ด์ ๋ฌธ์ฅ ์๊ฐ 500๊ฐ๋ฅผ ๋์ด _simple_split_by_chars fallback์ด ์ฌ์ฉ๋จ. ์๋ฒ ๋ฉ ํธ์ถ ์์ด ๊ธ์ ์ ๊ธฐ์ค์ผ๋ก๋ง ๋ถํ ํด์ ๋งค์ฐ ๋น ๋ฆ.
- extract_text_sec (23.58์ด) ํ์ด์ง ์์ ๋น๋กํด ์๊ฐ์ด ์ฆ๊ฐ. 500ํ์ด์ง ์ด์ PDF๋ผ๋ฉด ์ด ์ ๋๋ ์ผ๋ฐ์ ์ธ ์์ค.
- ์ ๋ฆฌ
- ๋ณ๋ชฉ: embed_and_save_sec (์๋ฒ ๋ฉ + DB ์ ์ฅ)
- ๊ฐ์ ๋ฐฉํฅ: ์ฒญํฌ ๋จ์ ์๋ฒ ๋ฉ/์ ์ฅ์ ๋ณ๋ ฌ ์ฒ๋ฆฌํ๊ฑฐ๋ ๋ฐฐ์น ์ฒ๋ฆฌ๋ก ๋ฐ๊พธ๋ ๊ฒ.
- ์ฐธ๊ณ : Weekend-1 ์ดํด๋ ์ง๋ฌธ โ๋์ฉ๋ PDF ์ ๋ก๋ ์ ๋ณ๋ชฉ์ด ์ด๋์ธ๊ฐ?โ์ ๋ํ ๋ต์ ์๋ฒ ๋ฉ + DB ์ ์ฅ ๋ฃจํ๋ผ๊ณ ํ ์ ์์.
๊ฒ์ฆ ๋ช ๋ น
# ์๋ฒ ์คํ
pipenv run uvicorn app.main:app --reload
๊ฒ์ฆ์ UI ๋๋ API ๋ฐฉ์ ์ค ํ์์ ํฉ์ํ ํ๋๋ก ํต์ผํ์ธ์.