Spaces:
Runtime error
Runtime error
[Delta-02] 작업 일지 정리 파일
Browse files- study-notes/2026-03-22-작업일지.md +108 -0
study-notes/2026-03-22-작업일지.md
CHANGED
|
@@ -109,3 +109,111 @@ func = retry(...)(func) # 함수를 래퍼로 교체
|
|
| 109 |
|
| 110 |
- OpenAI Python SDK의 `APIError.__init__`에서 `body.get("code")`로 파싱
|
| 111 |
- `RateLimitError.code`로 접근 가능
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 109 |
|
| 110 |
- OpenAI Python SDK의 `APIError.__init__`에서 `body.get("code")`로 파싱
|
| 111 |
- `RateLimitError.code`로 접근 가능
|
| 112 |
+
|
| 113 |
+
---
|
| 114 |
+
|
| 115 |
+
## 구현: Ollama → OpenAI 전환 (`10:37`)
|
| 116 |
+
|
| 117 |
+
### 배경
|
| 118 |
+
|
| 119 |
+
- 기존: Ollama(로컬) 기반 LLM/임베딩 (bge-m3 1024차원, llama3.1)
|
| 120 |
+
- 변경: OpenAI API 기반 (text-embedding-3-small 1536차원, gpt-4o-mini)
|
| 121 |
+
- 이유: HF Spaces 배포 시 Ollama 서버를 함께 띄울 수 없으므로 클라우드 API로 전환
|
| 122 |
+
|
| 123 |
+
### 변경 내용
|
| 124 |
+
|
| 125 |
+
**`app/config.py`** — 설정 단순화
|
| 126 |
+
- `PROVIDER` 분기 로직(ollama/openai) 제거 → OpenAI 전용으로 변경
|
| 127 |
+
- `OLLAMA_BASE`, `OLLAMA_EMBED_MODEL`, `OLLAMA_CHAT_MODEL`, `OLLAMA_TIMEOUT` 환경변수 삭제
|
| 128 |
+
- `OPENAI_CHAT_MODEL` 기본값: `gpt-4o-mini`
|
| 129 |
+
|
| 130 |
+
**`app/embedding_utils.py`** — 임베딩 생성 방식 변경
|
| 131 |
+
- Ollama HTTP 요청(`requests.post`) → OpenAI SDK(`client.embeddings.create`) 호출로 교체
|
| 132 |
+
- `OLLAMA_BASE`, `OLLAMA_EMBED_MODEL` → `OPENAI_API_KEY`, `OPENAI_EMBEDDING_MODEL` 사용
|
| 133 |
+
|
| 134 |
+
**`app/main.py`** — LLM 호출 방식 변경
|
| 135 |
+
- Ollama/OpenAI 분기 코드 제거 → OpenAI SDK 단일 경로로 통합
|
| 136 |
+
- 코드량 89줄 → 대폭 축소 (218줄 삭제, 127줄 추가)
|
| 137 |
+
|
| 138 |
+
**`Pipfile`** — 의존성 변경
|
| 139 |
+
- `deepeval` 제거, `openai` 및 `ragnarok-ai[ollama]` 추가
|
| 140 |
+
|
| 141 |
+
**`eval_rag.py`** — 평가 코드 OpenAI 대응
|
| 142 |
+
- Ollama/OpenAI 분기 로직 정리
|
| 143 |
+
|
| 144 |
+
---
|
| 145 |
+
|
| 146 |
+
## 배포 체크리스트 업데이트 (`11:15`)
|
| 147 |
+
|
| 148 |
+
- `deployment-checklist-lab.md`: 트랙 선택을 `ollama` → `openAI`로 변경
|
| 149 |
+
- 임베딩 모델: `bge-m3 1024차원` → `text-embedding-3-small 1536차원`
|
| 150 |
+
- Supabase/OpenAI 관련 체크 항목 완료 표시
|
| 151 |
+
- `deployment.md`: docker-compose YAML 따옴표 스타일 통일
|
| 152 |
+
|
| 153 |
+
---
|
| 154 |
+
|
| 155 |
+
## HF Spaces 배포 (`13:53 ~ 14:11`)
|
| 156 |
+
|
| 157 |
+
### Step 1: 배포용 설정 (`13:53`)
|
| 158 |
+
|
| 159 |
+
**`Dockerfile`**
|
| 160 |
+
- 포트: 8000 → 7860 (HF Spaces 기본 포트)
|
| 161 |
+
- CMD: `--port 7860` 으로 변경
|
| 162 |
+
|
| 163 |
+
**`app/main.py`** — `/health` 엔드포인트 추가
|
| 164 |
+
```python
|
| 165 |
+
@app.get("/health")
|
| 166 |
+
async def health_check():
|
| 167 |
+
return {"status": "healthy"}
|
| 168 |
+
```
|
| 169 |
+
|
| 170 |
+
**`.dockerignore`** — 배포 불필요 파일 제외
|
| 171 |
+
- `docs/`, `study-notes/`, `*.md` 제외 (단, `README.md`는 포함)
|
| 172 |
+
|
| 173 |
+
### Step 2: README frontmatter 추가 (`13:55`)
|
| 174 |
+
|
| 175 |
+
HF Spaces가 SDK/포트를 인식하도록 YAML frontmatter 삽입:
|
| 176 |
+
```yaml
|
| 177 |
+
---
|
| 178 |
+
title: DocuFlow
|
| 179 |
+
emoji: 📄
|
| 180 |
+
colorFrom: blue
|
| 181 |
+
colorTo: green
|
| 182 |
+
sdk: docker
|
| 183 |
+
app_port: 7860
|
| 184 |
+
---
|
| 185 |
+
```
|
| 186 |
+
|
| 187 |
+
### Step 3: PyTorch CPU 버전 설치 (`14:08`)
|
| 188 |
+
|
| 189 |
+
- HF Spaces `cpu-basic` 하드웨어에서 CUDA 런타임 에러 발생
|
| 190 |
+
- Dockerfile에 CPU 전용 PyTorch 설치 추가:
|
| 191 |
+
```dockerfile
|
| 192 |
+
pipenv run pip install torch --index-url https://download.pytorch.org/whl/cpu
|
| 193 |
+
```
|
| 194 |
+
|
| 195 |
+
### Step 4: git-lfs로 바이너리 파일 트래킹 (`14:11`)
|
| 196 |
+
|
| 197 |
+
- HF Spaces가 대용량 바이너리 파일을 포함한 push를 거부
|
| 198 |
+
- `git lfs migrate import`로 히스토리의 PDF/JPG 파일을 LFS로 변환
|
| 199 |
+
- `.gitattributes`에 `*.pdf`, `*.jpg`, `*.jpeg`, `*.png` LFS 트래킹 규칙 추가
|
| 200 |
+
|
| 201 |
+
### 배포 결과
|
| 202 |
+
|
| 203 |
+
- 플랫폼: HF Spaces (Docker SDK, cpu-basic)
|
| 204 |
+
- URL: `https://progressive-intelligence-lab-docuflow.hf.space`
|
| 205 |
+
- `GET /health` → `{"status":"healthy"}` 확인
|
| 206 |
+
- Organization(`progressive-intelligence-lab`)으로 Space 이전 완료
|
| 207 |
+
|
| 208 |
+
---
|
| 209 |
+
|
| 210 |
+
## 배포 체크리스트 완료 항목 업데이트 (`14:42`)
|
| 211 |
+
|
| 212 |
+
`deployment-checklist-lab.md`에서 완료된 항목들을 체크:
|
| 213 |
+
- 임베딩 차원 확정
|
| 214 |
+
- rate limit/쿼터 초과 시나리오 점검
|
| 215 |
+
- 배포 로그 앱 기동 성공
|
| 216 |
+
- 공개 URL 접속 성공
|
| 217 |
+
- `GET /health` 200 응답 확인
|
| 218 |
+
- 샘플 PDF 업로드 성공
|
| 219 |
+
- `/qa` 3회 질의 성공
|