Spaces:
Runtime error
Runtime error
|
Download docs/04-weekend2/README.md from progressive-intelligence-lab/docuflow: direct link, hf CLI and curl.
- Browser
- Download file 4.52 kB
-
https://huggingface.co/spaces/progressive-intelligence-lab/docuflow/resolve/main/docs/04-weekend2/README.md
- Command line
-
hf download hf://spaces/progressive-intelligence-lab/docuflow/docs/04-weekend2/README.md
-
curl -L -o README.md https://huggingface.co/spaces/progressive-intelligence-lab/docuflow/resolve/main/docs/04-weekend2/README.md
4.52 kB
Week 2 ๋ฐฐํฌ ํธ๋ ํจํท
[Stage: Weekend-2]
์ด ํธ๋์ ํต์ฌ์ ๋ชจ๋ธ ์๋น ํธ๋์ ์ ํํ๊ณ , ์ค์ ๊ณต๊ฐ URL์์ E2E๋ฅผ ๊ฒ์ฆํ๋ ๊ฒ์ ๋๋ค.
์งํ ์์:
- ์ด ๋ฌธ์๋ฅผ ์ฝ๊ณ ํธ๋์ ๊ฒฐ์ ํ๋ค.
deployment-checklist-lab.md๋ฅผ ์ฑ์ฐ๋ฉฐ ๋ฐฐํฌ๋ฅผ ์๋ฃํ๋ค.- ๋งํ๋ฉด
deployment.md๋ฅผ ์ฐธ๊ณ ํ๋ค.
ํธ๋ ๋ชฉํ
Ollama ์์ฒด ํธ์คํ๊ณผOpenAI API ์ฐ๋์ ๋ฐฐํฌ ์ฐจ์ด๋ฅผ ์ค๋ช ํ ์ ์๋ค.- ์ ํํ ํธ๋์ผ๋ก
๋ฌธ์ ์ ๋ก๋ โ /qa ์ง์์๋ตE2E๋ฅผ ์ธ๋ถ URL์์ ํ์ธํ๋ค. - ์ฅ์ ์ํฉ(๋ชจ๋ธ ๋ค์ด, API ์ ํ, DB ์ง์ฐ)์ ๋ํด ์ต์ ๋ณต๊ตฌ ์ ์ฐจ๋ฅผ ๋ฌธ์ํํ๋ค.
1) ํธ๋ ์ ํ: Ollama vs OpenAI
A. Ollama ์์ฒด ํธ์คํ ํธ๋
๋ค์์ ํด๋นํ๋ฉด Ollama ํธ๋์ด ์ ๋ฆฌํฉ๋๋ค.
- ๋ฐ์ดํฐ๊ฐ ์ธ๋ถ API๋ก ๋๊ฐ๋ฉด ์ ๋๋ ํ๊ฒฝ
- ๊ณ ์ ๋น์ฉ(์๋ฒ ๋น์ฉ)์ผ๋ก ์ด์ํ๊ณ ์ถ์ ๊ฒฝ์ฐ
- ๋ชจ๋ธ ๋์ ์๋ฆฌ๋ฅผ ์ง์ ํ์ธํ๊ณ ์ถ์ ๊ฒฝ์ฐ
์ด์ ๋ฆฌ์คํฌ:
- ์๋ฒ ์์(CPU/GPU/RAM) ๋ถ์กฑ ์ ์๋ต ์ง์ฐ
- ๋ชจ๋ธ ๋ค์ด๋ก๋/์ ๋ฐ์ดํธ/ํฌ์ค์ฒดํฌ๋ฅผ ์ง์ ์ด์ํด์ผ ํจ
- ํด๋ผ์ฐ๋ ๋ฐฐํฌ ์ ์ถฉ๋ถํ RAM์ ์๋ฒ ํ์ (llama3.1 ๊ธฐ์ค ์ต์ 8GB)
B. OpenAI API ์ฐ๋ ํธ๋
๋ค์์ ํด๋นํ๋ฉด OpenAI ํธ๋์ด ์ ๋ฆฌํฉ๋๋ค.
- ์ธํ๋ผ ์ด์ ๋ถ๋ด์ ์ค์ด๊ณ ๋น ๋ฅด๊ฒ ๋ฐฐํฌํ๊ณ ์ถ์ ๊ฒฝ์ฐ
- ํธ๋ํฝ ํธ์ฐจ์ ๋ฐ๋ผ ํ๋ ฅ์ ์ผ๋ก ์ฌ์ฉํ๊ณ ์ถ์ ๊ฒฝ์ฐ
- HF Spaces / Railway ๋ฑ ๋ฌด๋ฃ ํด๋ผ์ฐ๋์ ๋ฐฐํฌํ๊ณ ์ถ์ ๊ฒฝ์ฐ
์ด์ ๋ฆฌ์คํฌ:
- API rate limit, ์ฟผํฐ, ๋น์ฉ ๊ธ์ฆ ๊ด๋ฆฌ ํ์
- ์ธ๋ถ ๋คํธ์ํฌ ์ฅ์ ์ ์ง์ ์ํฅ๋ฐ์
- ์ํฌ๋ฆฟ ํค ๋ ธ์ถ ๋ฐฉ์ง์ ํค ๋กคํ ์ด์ ์ ์ฑ ํ์
2) ํธ๋๋ณ ํ์ ์ค์
๊ณตํต
SUPABASE_URL,SUPABASE_KEY์ค์ document_chunksํ ์ด๋ธ +match_documentsRPC + ์ธ๋ฑ์ค ์ค๋นGET /health๋ฐ ์ ๋ก๋/์ง์ E2E ํ ์คํธ ๊ฐ๋ฅ ์ํ
Ollama ํธ๋ (PROVIDER=ollama)
OLLAMA_BASE์ค์ (๋ก์ปฌ/์๊ฒฉ ์ฃผ์)OLLAMA_EMBED_MODEL=nomic-embed-textOLLAMA_CHAT_MODEL=llama3.1- ์๋ฒ ๋ฉ ์ฐจ์:
768 - ๋ชจ๋ธ ์๋ฒ ํฌ์ค ํ์ธ:
curl <OLLAMA_BASE>/api/tags
OpenAI ํธ๋ (PROVIDER=openai)
OPENAI_API_KEY์ค์ OPENAI_EMBEDDING_MODEL=text-embedding-3-smallOPENAI_CHAT_MODEL=gpt-4o-mini(๋๋ ํ ์ ์ฑ ๋ชจ๋ธ)- ์๋ฒ ๋ฉ ์ฐจ์:
1536 - rate limit/์ฟผํฐ ์ด๊ณผ ์ ์ฌ์๋ ๋ฐ ์๋ฌ ๋ฉ์์ง ๊ธฐ์ค ์ ์
3) ๋ฐฐํฌ ์๋๋ฆฌ์ค
์๋๋ฆฌ์ค A: Docker + Ollama (์์ฒด ํธ์คํ )
.env์์PROVIDER=ollama๋ก ์ค์ OLLAMA_BASE๋ฅผ ์ปจํ ์ด๋ ๋คํธ์ํฌ์ ๋ง๊ฒ ์ง์ (http://ollama:11434)docker-compose up -d๋ก ์ฑ + Ollama ๋์ ์คํ- ๊ณต๊ฐ URL์์
/health, ์ ๋ก๋,/qaํ ์คํธ
์ฒดํฌ ํฌ์ธํธ:
- Ollama ์ปจํ ์ด๋ ์ฌ์์ ํ ์ฑ ๋ณต๊ตฌ ์๊ฐ
- ๋ชจ๋ธ ๋ฏธ๋ค์ด๋ก๋ ์ํ์์์ ์ฌ์ฉ์ ์๋ด ๋ฉ์์ง
- ๋์ ์์ฒญ ์ฆ๊ฐ ์ ์๋ต ์๊ฐ ๋ณ๋
์๋๋ฆฌ์ค B: HF Spaces / Railway + OpenAI API (๊ถ์ฅ)
.env๋๋ ํ๋ซํผ ์ํฌ๋ฆฟ์PROVIDER=openai๋ฐ API ํค ์ค์ - Supabase ์คํค๋ง๋ฅผ 1536์ฐจ์์ผ๋ก ์ ํฉ์ฑ ํ์ธ
- ์ฑ๋ง ํด๋ผ์ฐ๋ ๋ฐฐํฌ (๋ชจ๋ธ ์๋ฒ ๋ณ๋ ์ด์ ์์)
- ๊ณต๊ฐ URL์์
/health, ์ ๋ก๋,/qaํ ์คํธ
์ฒดํฌ ํฌ์ธํธ:
- API ํค ๋๋ฝ/์คํ ์ ๊ฐ์ง ๊ฐ๋ฅ ์ฌ๋ถ
- rate limit ๋ฐ์ ์ ์ฌ์๋/์๋ด ๋์
- ํธ์ถ ๋น์ฉ ๋ชจ๋ํฐ๋ง ์งํ ์์ง ์ฌ๋ถ
ํด๋ผ์ฐ๋ ํ๋ซํผ๋ณ ์์ธ ์ค์ ์
deployment.md๋ฅผ ์ฐธ๊ณ ํ์ธ์.
4) ํธ๋ ์ ํ ๊ธฐ๋ก (์์ฑ ํ ํ ๋ฌธ์์ ๋จ๊ธธ ๊ฒ)
### ๋ชจ๋ธ ์๋น ํธ๋ ์ ํ ๊ธฐ๋ก
- ์ ํ ํธ๋: (ollama / openai)
- ์ ํ ์ด์ : (๋น์ฉ, ๋ณด์, ์ด์, ์ฑ๋ฅ ๊ด์ 3์ค ์ด์)
- ์๋ฒ ๋ฉ ์ฐจ์: (768 / 1536)
- ์์ ๋ฆฌ์คํฌ: (์ต์ 2๊ฐ)
- ๋์ ๊ณํ: (๋ฆฌ์คํฌ๋ณ 1๊ฐ ์ด์)
Weekend-2 DoD (ํ์ด ๊ธฐ์ค)
- ์ ํํ ๋ชจ๋ธ ์๋น ํธ๋์ ๊ทผ๊ฑฐ(๋น์ฉ/์ด์/์ฑ๋ฅ)๋ฅผ 3์ค ์ด์ ์์ฑ
- ๋ฒกํฐ DB ์คํค๋ง ์ฐจ์(768 ๋๋ 1536)๊ณผ ์ค์ ์ค์ ์ผ์น ํ์ธ
- ๊ณต๊ฐ URL์์
GET /health์ฑ๊ณต - ๊ณต๊ฐ URL์์ PDF ์
๋ก๋ +
/qa๋ต๋ณ ์ฑ๊ณต - ์ฅ์ ๋์ ๋๋ฆด 3๊ฐ ์ํ ๋ฐ ๋ณต๊ตฌ ์๊ฐ ๊ธฐ๋ก
- ํ์ด ์๋๋ฐฉ์ด ๊ณต๊ฐ URL์์ ์ง์ E2E ๊ฒ์ฆ ๊ฐ๋ฅํ์ง ํ์ธ
๊ฒ์ฆ ๋ช ๋ น
curl <PUBLIC_URL>/health