Spaces:
Runtime error
Runtime error
|
Download docs/02-weekend1/README.md from progressive-intelligence-lab/docuflow: direct link, hf CLI and curl.
- Browser
- Download file 3.78 kB
-
https://huggingface.co/spaces/progressive-intelligence-lab/docuflow/resolve/main/docs/02-weekend1/README.md
- Command line
-
hf download hf://spaces/progressive-intelligence-lab/docuflow/docs/02-weekend1/README.md
-
curl -L -o README.md https://huggingface.co/spaces/progressive-intelligence-lab/docuflow/resolve/main/docs/02-weekend1/README.md
3.78 kB
| # Week 1 ์ฃผ๋ง ํจํท (ํต์ฌ ๊ตฌํ) | |
| [Stage: Weekend-1] | |
| ๊ด๋ จ ๋ฌธ์: [`README.md`](../../README.md), [`docs/00-shared/reference.md`](../00-shared/reference.md) | |
| ์ฃผ๋ง(ํ /์ผ, 9:00-18:00) ํ์ดํ๋ก๊ทธ๋๋ฐ์ผ๋ก ์๋ ํ๋ฆ์ ์์ฑํฉ๋๋ค. | |
| - ๋ฌธ์ ์ ๋ก๋/ํ ์คํธ ์ถ์ถ | |
| - ์ฒญํน/์๋ฒ ๋ฉ/๋ฒกํฐ ์ ์ฅ | |
| - ๊ฒ์/๋ต๋ณ ์์ฑ(RAG) | |
| --- | |
| ## ๋ชฉํ | |
| - ๋ก์ปฌ์์ ์ ๋ก๋ โ ๊ฒ์ โ ๋ต๋ณ๊น์ง E2E ๋์ | |
| - ๋ฌธ์ ์ธ ์ง๋ฌธ์ ๋ํด ์์ ์๋ต ๊ธฐ๋ณธ ๋์ ํ๋ณด | |
| - ์ต์ 3๊ฐ ์คํจ ์ผ์ด์ค๋ฅผ ์ฌํ/๊ธฐ๋ก | |
| --- | |
| ## ๊ตฌํ ๋ฒ์ | |
| - `app/main.py` | |
| - `extract_text_from_pdf()` | |
| - `/documents/` ํ์ดํ๋ผ์ธ | |
| - `/qa` RAG ํ์ดํ๋ผ์ธ | |
| - `app/embedding_utils.py` | |
| - `split_text()` | |
| - `get_embedding()` | |
| - `app/supabase_utils.py` | |
| - `save_embedding()` | |
| - `search_similar_embeddings()` | |
| --- | |
| ## Weekend-1 DoD (ํ์ด ๊ธฐ์ค) | |
| ### ๊ธฐ๋ฅ ๊ตฌํ | |
| - [x] PDF ์ ๋ก๋ ์ฑ๊ณต | |
| - [x] ์ต์ 1๊ฐ ๋ฌธ์์ ์ฒญํฌ/์๋ฒ ๋ฉ ์ ์ฅ ์ฑ๊ณต | |
| - [x] `/qa` ์ง์ 3ํ ์ฑ๊ณต | |
| - [x] ๋ฌธ์ ์ธ ์ง๋ฌธ์ ๋ํด ์์ ์๋ต ํ์ธ | |
| - [x] ์คํจ ์ผ์ด์ค 3๊ฐ ์ด์ ๊ธฐ๋ก | |
| ### ์์คํ ํ๋กฌํํธ ํ์ง ๊ฒ์ฆ | |
| - [x] [`docs/01-prework/entry-task.md`](../01-prework/entry-task.md)์์ ์์ฑํ ์์คํ ํ๋กฌํํธ ์ด์์ ์ค์ ๊ตฌํ์ ์ ์ฉ | |
| - [x] ๋ฌธ์์ ์๋ ์ง๋ฌธ 3๊ฐ์ง์์ ํ๊ฐ ์์ด ๊ฑฐ์ /ํ๊ณ ๊ณ ์ง ์๋ต ํ์ธ | |
| - [x] ๋ฌธ์์ ์๋ ์ง๋ฌธ 3๊ฐ์ง์์ ๊ทผ๊ฑฐ(sources)๋ฅผ ํฌํจํ ๋ต๋ณ ํ์ธ | |
| - [x] ํ๋กฌํํธ 1ํ ์ด์ ์์ ํ ์์ ์ /ํ ๋ต๋ณ ์ฐจ์ด ๊ธฐ๋ก | |
| ### ์ดํด๋ ํ์ธ (ํ์ด ๊ตฌ๋ ์ค๋ช ) | |
| ๊ตฌํ ์๋ฃ ํ ์๋ ์ง๋ฌธ์ ์๋ก ๊ตฌ๋๋ก ์ค๋ช ํ ์ ์์ด์ผ ํฉ๋๋ค. | |
| ์ค๋ช ํ์ง ๋ชปํ๋ ํญ๋ชฉ์ ์ฝ๋์ [`docs/00-shared/reference.md`](../00-shared/reference.md)๋ฅผ ๋ค์ ํ์ธํ์ธ์. | |
| - [x] "`chunk_size`๋ฅผ ์ค์ด๋ฉด ๊ฒ์ ๊ฒฐ๊ณผ์ ๋ต๋ณ ํ์ง์ด ์ด๋ป๊ฒ ๋ฌ๋ผ์ง๋๊ฐ? | |
| - `chunk_size`๋ฅผ ์ค์ด๋ฉด ์ง๋ฌธ์ ๋ํ ๋ต๋ณ์ ๋ด์ฉ์ด ๋๋ฌด ํจ์ถ๋์ด ํ์ง์ด ๋จ์ด์ง๋๋ค. (๋ต๋ณ์์ ํ์๊ฐ ๋ฑ์ฅํ๋ ํ์์ด ์๊ฒผ์) | |
| - [x] "๊ฐ์ ๋ฌธ์๋ฅผ ๋ ๋ฒ ์ ๋ก๋ํ๋ฉด ์ด๋ค ๋ฌธ์ ๊ฐ ์๊ธฐ๋๊ฐ? ์ด๋ป๊ฒ ํด๊ฒฐํ ์ ์๋๊ฐ?" | |
| - similarity๊ฐ ๋จ์ด์ก์ผ๋ฉฐ, ํ ๋ฃจ์๋ค์ด์ ํ์์ด ๋ง์ด ๋ฐ์ํ๋ค. | |
| - [x] "`similarity_threshold`๋ฅผ 0.7์์ 0.3์ผ๋ก ๋ฎ์ถ๋ฉด ์ด๋ค ์ผ์ด ๋ฒ์ด์ง๋๊ฐ?" | |
| - ์ ์ฌ๋๊ฐ ๋ฎ์์ง๋ฉด ์ง๋ฌธ๊ณผ ๊ด๋ จ๋ ๋จ์ด๊ฐ ์์ผ๋ฉด ๋งฅ๋ฝ์ ๋ฌด์ํ ์ฑ ๊ธ์ ๊ฐ์ ธ์ ํ๋จํ๋ ค๊ณ ํ๋ค. | |
| - [x] "ํ์ฌ ๊ตฌํ์์ ๋์ฉ๋ PDF๋ฅผ ์ ๋ก๋ํ ๋ ๋ณ๋ชฉ์ด ์ด๋์์ ์๊ธฐ๋๊ฐ?" | |
| - 1. ๋ณ๋ชฉ ๊ตฌ๊ฐ: embed_and_save_sec | |
| ์ ์ฒด ์๊ฐ์ ์ฝ 90%๊ฐ ์ด ๊ตฌ๊ฐ์์ ์์๋จ. | |
| ์ฒญํฌ๋ง๋ค get_embedding()(Ollama ํธ์ถ) + save_embedding()(Supabase insert)๊ฐ ์์ฐจ ์คํ๋จ. | |
| ์ฒญํฌ ์๊ฐ ๋ง์์๋ก ์ด ๊ตฌ๊ฐ ์๊ฐ์ด ๊ธธ์ด์ง. | |
| - 2. split_text_sec๊ฐ ์งง์ ์ด์ | |
| ๋ฌธ์ฅ ์๊ฐ 500๊ฐ๋ฅผ ๋์ด \_simple_split_by_chars fallback์ด ์ฌ์ฉ๋จ. | |
| ์๋ฒ ๋ฉ ํธ์ถ ์์ด ๊ธ์ ์ ๊ธฐ์ค์ผ๋ก๋ง ๋ถํ ํด์ ๋งค์ฐ ๋น ๋ฆ. | |
| - 3. extract_text_sec (23.58์ด) | |
| ํ์ด์ง ์์ ๋น๋กํด ์๊ฐ์ด ์ฆ๊ฐ. | |
| 500ํ์ด์ง ์ด์ PDF๋ผ๋ฉด ์ด ์ ๋๋ ์ผ๋ฐ์ ์ธ ์์ค. | |
| - ์ ๋ฆฌ | |
| - ๋ณ๋ชฉ: embed_and_save_sec (์๋ฒ ๋ฉ + DB ์ ์ฅ) | |
| - ๊ฐ์ ๋ฐฉํฅ: ์ฒญํฌ ๋จ์ ์๋ฒ ๋ฉ/์ ์ฅ์ ๋ณ๋ ฌ ์ฒ๋ฆฌํ๊ฑฐ๋ ๋ฐฐ์น ์ฒ๋ฆฌ๋ก ๋ฐ๊พธ๋ ๊ฒ. | |
| - ์ฐธ๊ณ : Weekend-1 ์ดํด๋ ์ง๋ฌธ โ๋์ฉ๋ PDF ์ ๋ก๋ ์ ๋ณ๋ชฉ์ด ์ด๋์ธ๊ฐ?โ์ ๋ํ ๋ต์ ์๋ฒ ๋ฉ + DB ์ ์ฅ ๋ฃจํ๋ผ๊ณ ํ ์ ์์. | |
| --- | |
| ## ๊ฒ์ฆ ๋ช ๋ น | |
| ```bash | |
| # ์๋ฒ ์คํ | |
| pipenv run uvicorn app.main:app --reload | |
| ``` | |
| ๊ฒ์ฆ์ UI ๋๋ API ๋ฐฉ์ ์ค ํ์์ ํฉ์ํ ํ๋๋ก ํต์ผํ์ธ์. | |