docuflow / docs /02-weekend1 /README.md
woongmin's picture
[Delta-02] ๋Œ€์šฉ๋Ÿ‰ PDF ๋ณ‘๋ ฌ ์ž„๋ฒ ๋”ฉ/๋ฐฐ์น˜ ์ €์žฅ ๋ฐ ์ฒดํฌ๋ฆฌ์ŠคํŠธ ์—…๋ฐ์ดํŠธ
1990560
|
Raw History Blame Contribute Delete
3.78 kB
# Week 1 ์ฃผ๋ง ํŒจํ‚ท (ํ•ต์‹ฌ ๊ตฌํ˜„)
[Stage: Weekend-1]
๊ด€๋ จ ๋ฌธ์„œ: [`README.md`](../../README.md), [`docs/00-shared/reference.md`](../00-shared/reference.md)
์ฃผ๋ง(ํ† /์ผ, 9:00-18:00) ํŽ˜์–ดํ”„๋กœ๊ทธ๋ž˜๋ฐ์œผ๋กœ ์•„๋ž˜ ํ๋ฆ„์„ ์™„์„ฑํ•ฉ๋‹ˆ๋‹ค.
- ๋ฌธ์„œ ์—…๋กœ๋“œ/ํ…์ŠคํŠธ ์ถ”์ถœ
- ์ฒญํ‚น/์ž„๋ฒ ๋”ฉ/๋ฒกํ„ฐ ์ €์žฅ
- ๊ฒ€์ƒ‰/๋‹ต๋ณ€ ์ƒ์„ฑ(RAG)
---
## ๋ชฉํ‘œ
- ๋กœ์ปฌ์—์„œ ์—…๋กœ๋“œ โ†’ ๊ฒ€์ƒ‰ โ†’ ๋‹ต๋ณ€๊นŒ์ง€ E2E ๋™์ž‘
- ๋ฌธ์„œ ์™ธ ์งˆ๋ฌธ์— ๋Œ€ํ•ด ์•ˆ์ „ ์‘๋‹ต ๊ธฐ๋ณธ ๋™์ž‘ ํ™•๋ณด
- ์ตœ์†Œ 3๊ฐœ ์‹คํŒจ ์ผ€์ด์Šค๋ฅผ ์žฌํ˜„/๊ธฐ๋ก
---
## ๊ตฌํ˜„ ๋ฒ”์œ„
- `app/main.py`
- `extract_text_from_pdf()`
- `/documents/` ํŒŒ์ดํ”„๋ผ์ธ
- `/qa` RAG ํŒŒ์ดํ”„๋ผ์ธ
- `app/embedding_utils.py`
- `split_text()`
- `get_embedding()`
- `app/supabase_utils.py`
- `save_embedding()`
- `search_similar_embeddings()`
---
## Weekend-1 DoD (ํŽ˜์–ด ๊ธฐ์ค€)
### ๊ธฐ๋Šฅ ๊ตฌํ˜„
- [x] PDF ์—…๋กœ๋“œ ์„ฑ๊ณต
- [x] ์ตœ์†Œ 1๊ฐœ ๋ฌธ์„œ์˜ ์ฒญํฌ/์ž„๋ฒ ๋”ฉ ์ €์žฅ ์„ฑ๊ณต
- [x] `/qa` ์งˆ์˜ 3ํšŒ ์„ฑ๊ณต
- [x] ๋ฌธ์„œ ์™ธ ์งˆ๋ฌธ์— ๋Œ€ํ•ด ์•ˆ์ „ ์‘๋‹ต ํ™•์ธ
- [x] ์‹คํŒจ ์ผ€์ด์Šค 3๊ฐœ ์ด์ƒ ๊ธฐ๋ก
### ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ ํ’ˆ์งˆ ๊ฒ€์ฆ
- [x] [`docs/01-prework/entry-task.md`](../01-prework/entry-task.md)์—์„œ ์ž‘์„ฑํ•œ ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ ์ดˆ์•ˆ์„ ์‹ค์ œ ๊ตฌํ˜„์— ์ ์šฉ
- [x] ๋ฌธ์„œ์— ์—†๋Š” ์งˆ๋ฌธ 3๊ฐ€์ง€์—์„œ ํ™˜๊ฐ ์—†์ด ๊ฑฐ์ ˆ/ํ•œ๊ณ„ ๊ณ ์ง€ ์‘๋‹ต ํ™•์ธ
- [x] ๋ฌธ์„œ์— ์žˆ๋Š” ์งˆ๋ฌธ 3๊ฐ€์ง€์—์„œ ๊ทผ๊ฑฐ(sources)๋ฅผ ํฌํ•จํ•œ ๋‹ต๋ณ€ ํ™•์ธ
- [x] ํ”„๋กฌํ”„ํŠธ 1ํšŒ ์ด์ƒ ์ˆ˜์ • ํ›„ ์ˆ˜์ • ์ „/ํ›„ ๋‹ต๋ณ€ ์ฐจ์ด ๊ธฐ๋ก
### ์ดํ•ด๋„ ํ™•์ธ (ํŽ˜์–ด ๊ตฌ๋‘ ์„ค๋ช…)
๊ตฌํ˜„ ์™„๋ฃŒ ํ›„ ์•„๋ž˜ ์งˆ๋ฌธ์— ์„œ๋กœ ๊ตฌ๋‘๋กœ ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.
์„ค๋ช…ํ•˜์ง€ ๋ชปํ•˜๋Š” ํ•ญ๋ชฉ์€ ์ฝ”๋“œ์™€ [`docs/00-shared/reference.md`](../00-shared/reference.md)๋ฅผ ๋‹ค์‹œ ํ™•์ธํ•˜์„ธ์š”.
- [x] "`chunk_size`๋ฅผ ์ค„์ด๋ฉด ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ์™€ ๋‹ต๋ณ€ ํ’ˆ์งˆ์ด ์–ด๋–ป๊ฒŒ ๋‹ฌ๋ผ์ง€๋Š”๊ฐ€?
- `chunk_size`๋ฅผ ์ค„์ด๋ฉด ์งˆ๋ฌธ์— ๋Œ€ํ•œ ๋‹ต๋ณ€์˜ ๋‚ด์šฉ์ด ๋„ˆ๋ฌด ํ•จ์ถ•๋˜์–ด ํ’ˆ์งˆ์ด ๋–จ์–ด์ง‘๋‹ˆ๋‹ค. (๋‹ต๋ณ€์—์„œ ํ•œ์ž๊ฐ€ ๋“ฑ์žฅํ•˜๋Š” ํ˜„์ƒ์ด ์ƒ๊ฒผ์Œ)
- [x] "๊ฐ™์€ ๋ฌธ์„œ๋ฅผ ๋‘ ๋ฒˆ ์—…๋กœ๋“œํ•˜๋ฉด ์–ด๋–ค ๋ฌธ์ œ๊ฐ€ ์ƒ๊ธฐ๋Š”๊ฐ€? ์–ด๋–ป๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋Š”๊ฐ€?"
- similarity๊ฐ€ ๋–จ์–ด์กŒ์œผ๋ฉฐ, ํ• ๋ฃจ์‹œ๋„ค์ด์…˜ ํ˜„์ƒ์ด ๋งŽ์ด ๋ฐœ์ƒํ–ˆ๋‹ค.
- [x] "`similarity_threshold`๋ฅผ 0.7์—์„œ 0.3์œผ๋กœ ๋‚ฎ์ถ”๋ฉด ์–ด๋–ค ์ผ์ด ๋ฒŒ์–ด์ง€๋Š”๊ฐ€?"
- ์œ ์‚ฌ๋„๊ฐ€ ๋‚ฎ์•„์ง€๋ฉด ์งˆ๋ฌธ๊ณผ ๊ด€๋ จ๋œ ๋‹จ์–ด๊ฐ€ ์žˆ์œผ๋ฉด ๋งฅ๋ฝ์„ ๋ฌด์‹œํ•œ ์ฑ„ ๊ธ€์„ ๊ฐ€์ ธ์™€ ํŒ๋‹จํ•˜๋ ค๊ณ  ํ•œ๋‹ค.
- [x] "ํ˜„์žฌ ๊ตฌํ˜„์—์„œ ๋Œ€์šฉ๋Ÿ‰ PDF๋ฅผ ์—…๋กœ๋“œํ•  ๋•Œ ๋ณ‘๋ชฉ์ด ์–ด๋””์—์„œ ์ƒ๊ธฐ๋Š”๊ฐ€?"
- 1. ๋ณ‘๋ชฉ ๊ตฌ๊ฐ„: embed_and_save_sec
์ „์ฒด ์‹œ๊ฐ„์˜ ์•ฝ 90%๊ฐ€ ์ด ๊ตฌ๊ฐ„์—์„œ ์†Œ์š”๋จ.
์ฒญํฌ๋งˆ๋‹ค get_embedding()(Ollama ํ˜ธ์ถœ) + save_embedding()(Supabase insert)๊ฐ€ ์ˆœ์ฐจ ์‹คํ–‰๋จ.
์ฒญํฌ ์ˆ˜๊ฐ€ ๋งŽ์„์ˆ˜๋ก ์ด ๊ตฌ๊ฐ„ ์‹œ๊ฐ„์ด ๊ธธ์–ด์ง.
- 2. split_text_sec๊ฐ€ ์งง์€ ์ด์œ 
๋ฌธ์žฅ ์ˆ˜๊ฐ€ 500๊ฐœ๋ฅผ ๋„˜์–ด \_simple_split_by_chars fallback์ด ์‚ฌ์šฉ๋จ.
์ž„๋ฒ ๋”ฉ ํ˜ธ์ถœ ์—†์ด ๊ธ€์ž ์ˆ˜ ๊ธฐ์ค€์œผ๋กœ๋งŒ ๋ถ„ํ• ํ•ด์„œ ๋งค์šฐ ๋น ๋ฆ„.
- 3. extract_text_sec (23.58์ดˆ)
ํŽ˜์ด์ง€ ์ˆ˜์— ๋น„๋ก€ํ•ด ์‹œ๊ฐ„์ด ์ฆ๊ฐ€.
500ํŽ˜์ด์ง€ ์ด์ƒ PDF๋ผ๋ฉด ์ด ์ •๋„๋Š” ์ผ๋ฐ˜์ ์ธ ์ˆ˜์ค€.
- ์ •๋ฆฌ
- ๋ณ‘๋ชฉ: embed_and_save_sec (์ž„๋ฒ ๋”ฉ + DB ์ €์žฅ)
- ๊ฐœ์„  ๋ฐฉํ–ฅ: ์ฒญํฌ ๋‹จ์œ„ ์ž„๋ฒ ๋”ฉ/์ €์žฅ์„ ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌํ•˜๊ฑฐ๋‚˜ ๋ฐฐ์น˜ ์ฒ˜๋ฆฌ๋กœ ๋ฐ”๊พธ๋Š” ๊ฒƒ.
- ์ฐธ๊ณ : Weekend-1 ์ดํ•ด๋„ ์งˆ๋ฌธ โ€œ๋Œ€์šฉ๋Ÿ‰ PDF ์—…๋กœ๋“œ ์‹œ ๋ณ‘๋ชฉ์ด ์–ด๋””์ธ๊ฐ€?โ€์— ๋Œ€ํ•œ ๋‹ต์€ ์ž„๋ฒ ๋”ฉ + DB ์ €์žฅ ๋ฃจํ”„๋ผ๊ณ  ํ•  ์ˆ˜ ์žˆ์Œ.
---
## ๊ฒ€์ฆ ๋ช…๋ น
```bash
# ์„œ๋ฒ„ ์‹คํ–‰
pipenv run uvicorn app.main:app --reload
```
๊ฒ€์ฆ์€ UI ๋˜๋Š” API ๋ฐฉ์‹ ์ค‘ ํŒ€์—์„œ ํ•ฉ์˜ํ•œ ํ•˜๋‚˜๋กœ ํ†ต์ผํ•˜์„ธ์š”.