Spaces:
Runtime error
Runtime error
[Delta-02] 2026-03-21 작업일지 업데이트
Browse files- study-notes/2026-03-21-작업일지.md +148 -5
study-notes/2026-03-21-작업일지.md
CHANGED
|
@@ -1,15 +1,157 @@
|
|
| 1 |
# 2026-03-21 작업일지
|
| 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
## 오류 해결
|
| 4 |
|
| 5 |
### `/qa` Ollama 서버 응답 시간 초과
|
| 6 |
|
| 7 |
- **오류**: `"Ollama 서버 응답 시간 초과."`
|
| 8 |
-
- **원인**: `main.py`의 Ollama 호출 timeout 설정이 짧음
|
| 9 |
-
|
| 10 |
-
|
| 11 |
-
-
|
| 12 |
-
|
|
|
|
|
|
|
|
|
|
| 13 |
|
| 14 |
---
|
| 15 |
|
|
@@ -140,3 +282,4 @@ CREATE INDEX ON document_chunks USING hnsw (embedding vector_cosine_ops);
|
|
| 140 |
| `bge-m3` | 1024 | 현재 프로젝트 사용 |
|
| 141 |
| `mxbai-embed-large` | 1024 | |
|
| 142 |
| OpenAI `text-embedding-ada-002` | 1536 | Ollama에는 없음 |
|
|
|
|
|
|
| 1 |
# 2026-03-21 작업일지
|
| 2 |
|
| 3 |
+
## 오늘의 목표
|
| 4 |
+
|
| 5 |
+
RAG 시스템의 정확도(30%)와 근거율(40%)을 개선하기 위해 측정 가능한 개선 7건을 적용하고, 머신 사양별 호환성 문제를 해결한다. 배포 사전 준비도 병행.
|
| 6 |
+
|
| 7 |
+
---
|
| 8 |
+
|
| 9 |
+
## 참여자
|
| 10 |
+
|
| 11 |
+
- 기웅민: RAG 성능 개선 7건, 키워드 검색 버그 수정, 머신 사양별 환경변수 분리, deepeval 평가 라이브러리 도입
|
| 12 |
+
- 장철희: improvement report 작성, 배포 사전 체크리스트 확인, 작업 일지 작성
|
| 13 |
+
|
| 14 |
+
---
|
| 15 |
+
|
| 16 |
+
## 작업 내역
|
| 17 |
+
|
| 18 |
+
### 1. 표 데이터 정합성 개선 — 기웅민 (`89e7b3f`)
|
| 19 |
+
|
| 20 |
+
- PDF 표(table) 추출 시 마크다운 테이블로 변환하여 구조 보존 (`_table_to_markdown()`)
|
| 21 |
+
- 테이블/비-테이블 영역 분리 추출로 읽기 순서 유지
|
| 22 |
+
- 하이브리드 검색(벡터 + 키워드) 도입, Cross-encoder 리랭킹 추가
|
| 23 |
+
- 빈 검색 결과 방어 로직(early return) 추가
|
| 24 |
+
- 쿼리 리라이팅 기능 추가
|
| 25 |
+
|
| 26 |
+
### 2. deepeval RAG 평가 라이브러리 도입 — 기웅민 (`4188827`)
|
| 27 |
+
|
| 28 |
+
- `eval_rag.py` 작성: Faithfulness, AnswerRelevancy, ContextualPrecision, ContextualRecall 4가지 메트릭 자동 평가
|
| 29 |
+
- 실행 방법:
|
| 30 |
+
```bash
|
| 31 |
+
# 1. 서버 먼저 실행
|
| 32 |
+
pipenv run uvicorn app.main:app --reload
|
| 33 |
+
# 2. 새 터미널에서 평가 실행
|
| 34 |
+
pipenv run python eval_rag.py
|
| 35 |
+
```
|
| 36 |
+
|
| 37 |
+
### 3. RAG 성능 개선 7건 일괄 적용 — 기웅민 (`de7a2e0`)
|
| 38 |
+
|
| 39 |
+
#### 3-1. 키워드 검색 버그 수정 (Priority 1) — `app/supabase_utils.py`
|
| 40 |
+
|
| 41 |
+
**문제**: `search_by_keyword`가 질문 전체 문장을 `ilike` 패턴으로 사용하여 항상 0건 반환. 하이브리드 검색이 사실상 벡터 검색만 동작.
|
| 42 |
+
|
| 43 |
+
**해결**: 질문을 단어로 분리 → 한국어 불용어(은/는/이/가/을/를 등) 제거 → 2글자 이상 키워드 추출 → 키워드별 개별 ilike 검색 후 중복 제거
|
| 44 |
+
|
| 45 |
+
```python
|
| 46 |
+
STOP_WORDS = {"은", "는", "이", "가", "을", "를", "의", "에", ...}
|
| 47 |
+
words = query.replace("?", "").replace(".", "").replace(",", "").split()
|
| 48 |
+
keywords = [w for w in words if len(w) > 1 and w not in STOP_WORDS]
|
| 49 |
+
```
|
| 50 |
+
|
| 51 |
+
#### 3-2. 컨텍스트 청크 구분자 추가 (Priority 2) — `app/main.py`
|
| 52 |
+
|
| 53 |
+
**문제**: `"\n".join(reranked_chunks)`로 청크 경계 없이 이어붙여서 LLM이 정보 출처 혼동.
|
| 54 |
+
|
| 55 |
+
**해결**:
|
| 56 |
+
```python
|
| 57 |
+
context = "\n\n".join(
|
| 58 |
+
f"[참고자료 {i}]\n{chunk}" for i, chunk in enumerate(reranked_chunks, 1)
|
| 59 |
+
)
|
| 60 |
+
```
|
| 61 |
+
|
| 62 |
+
#### 3-3. 시스템 프롬프트 들여쓰기 정리 (Priority 3) — `app/main.py`
|
| 63 |
+
|
| 64 |
+
**문제**: 삼중 따옴표 문자열의 Python 들여쓰기(8 spaces/line)가 LLM에 그대로 전달되어 토큰 낭비.
|
| 65 |
+
|
| 66 |
+
**해결**: 문자열 연결 방식으로 변경하여 불필요한 공백 제거 (~700자 → ~540자).
|
| 67 |
+
|
| 68 |
+
#### 3-4. 페이지 번호 메타데이터 보존 (Priority 4) — `app/main.py`
|
| 69 |
+
|
| 70 |
+
**해결**: `extract_text_from_pdf()`에서 각 페이지 텍스트 앞에 `[p.N]` 마커 삽입. 시스템 프롬프트에 "근거 제시 시 페이지 번호([p.N])를 포함하세요" 지시 추가.
|
| 71 |
+
|
| 72 |
+
> **주의**: 문서 재업로드 필요 (기존 청크에는 페이지 마커 미포함)
|
| 73 |
+
|
| 74 |
+
#### 3-5. 쿼리 리라이팅 프롬프트 강화 (Priority 5) — `app/main.py`
|
| 75 |
+
|
| 76 |
+
**해결**: 5가지 규칙 명시 (핵심 명사 보존, 조사 제거, 불필요한 표현 제거, 동의어 추가, 키워드만 출력)
|
| 77 |
+
|
| 78 |
+
#### 3-6. 대용량 문서 청킹 개선 (Priority 6) — `app/embedding_utils.py`
|
| 79 |
+
|
| 80 |
+
**문제**: 500문장 초과 시 단순 글자 수 분할로 fallback → 의미 경계 손실.
|
| 81 |
+
|
| 82 |
+
**해결**: 기존 시맨틱 청킹 로직을 `_semantic_chunk()` 내부 함수로 추출. 문단(`\n\n`) 단위로 먼저 나눈 뒤, 각 문단 그룹 내에서 시맨틱 청킹 적용.
|
| 83 |
+
|
| 84 |
+
> **주의**: 문서 재업로드 필요
|
| 85 |
+
|
| 86 |
+
#### 3-7. 프롬프트 구조 개선 (Priority 7) — `app/main.py`
|
| 87 |
+
|
| 88 |
+
**해결**: 컨텍스트를 system 메시지에 포함, 질문만 user 메시지로 분리하여 LLM 역할 구분 명확화.
|
| 89 |
+
|
| 90 |
+
```python
|
| 91 |
+
# Before
|
| 92 |
+
messages = [
|
| 93 |
+
{"role": "system", "content": system_prompt},
|
| 94 |
+
{"role": "user", "content": f"참고 문서:\n{context}\n\n질문: {user_question}"},
|
| 95 |
+
]
|
| 96 |
+
# After
|
| 97 |
+
messages = [
|
| 98 |
+
{"role": "system", "content": f"{system_prompt}\n\n[참고 문서]\n{context}"},
|
| 99 |
+
{"role": "user", "content": user_question},
|
| 100 |
+
]
|
| 101 |
+
```
|
| 102 |
+
|
| 103 |
+
### 4. 키워드 검색 or_ 메서드 호환성 수정 — 기웅민 (`39ad519`)
|
| 104 |
+
|
| 105 |
+
**문제**: supabase-py 버전에 `or_()` 메서드가 없어서 키워드 OR 조건 검색 시 런타임 에러 발생.
|
| 106 |
+
|
| 107 |
+
```
|
| 108 |
+
오류 발생: 'SyncSelectRequestBuilder' object has no attribute 'or_'
|
| 109 |
+
```
|
| 110 |
+
|
| 111 |
+
**해결**: 키워드별 개별 `ilike` 쿼리 실행 후 중복 제거하여 합치는 방식으로 변경.
|
| 112 |
+
|
| 113 |
+
### 5. 머신 사양별 성능 설정 환경변수 분리 — 기웅민 (`0e5eb40`)
|
| 114 |
+
|
| 115 |
+
**문제**: M1 Pro 32GB에서는 정상 동작하지만 M1 Air 16GB에서는 Ollama 타임아웃 발생.
|
| 116 |
+
|
| 117 |
+
**원인**:
|
| 118 |
+
- RAM 16GB에서 Ollama 모델이 스왑 발생 → 추론 속도 저하
|
| 119 |
+
- GPU 코어 수 차이 (Air 7~8코어 vs Pro 14~16코어)
|
| 120 |
+
- Air는 팬리스 → 대량 임베딩 처리 시 쓰로틀링
|
| 121 |
+
|
| 122 |
+
**해결**: `EMBED_WORKERS`, `OLLAMA_TIMEOUT`을 `.env` 환경변수로 분리.
|
| 123 |
+
|
| 124 |
+
| 설정 | M1 Pro 32GB (기본값) | M1 Air 16GB (권장) | 역할 |
|
| 125 |
+
|------|---------------------|-------------------|------|
|
| 126 |
+
| `EMBED_WORKERS` | 5 | 2 | 임베딩 동시 요청 수 |
|
| 127 |
+
| `OLLAMA_TIMEOUT` | 120초 | 300초 | Ollama 응답 대기 시간 |
|
| 128 |
+
|
| 129 |
+
`_ollama_embed()`에 누락되었던 timeout도 추가.
|
| 130 |
+
|
| 131 |
+
### 6. 배포 사전 체크리스트 — 장철희 (`9212550`)
|
| 132 |
+
|
| 133 |
+
- `.env.example`에 배포 설정(HOST, PORT, DEBUG, SECRET_KEY, ALLOWED_ORIGINS) 추가
|
| 134 |
+
- 배포 체크리스트 문서 업데이트
|
| 135 |
+
|
| 136 |
+
### 7. improvement report — 장철희 (`d121a01`)
|
| 137 |
+
|
| 138 |
+
- `docs/03-midweek/improvement-report.md` Before/After 메트릭스 구조 작성
|
| 139 |
+
|
| 140 |
+
---
|
| 141 |
+
|
| 142 |
## 오류 해결
|
| 143 |
|
| 144 |
### `/qa` Ollama 서버 응답 시간 초과
|
| 145 |
|
| 146 |
- **오류**: `"Ollama 서버 응답 시간 초과."`
|
| 147 |
+
- **원인**: `main.py`의 Ollama 호출 timeout 설정이 짧음 (리라이팅 30초, 답변 생성 60초)
|
| 148 |
+
- **해결**: `OLLAMA_TIMEOUT` 환경변수로 통합, 기기별 설정 가능
|
| 149 |
+
|
| 150 |
+
### supabase-py `or_()` 미지원
|
| 151 |
+
|
| 152 |
+
- **오류**: `'SyncSelectRequestBuilder' object has no attribute 'or_'`
|
| 153 |
+
- **원인**: 사용 중인 supabase-py 버전에서 PostgREST `or_()` 메서드 미지원
|
| 154 |
+
- **해결**: 키워드별 개별 쿼리 후 중복 제거 방식으로 변경
|
| 155 |
|
| 156 |
---
|
| 157 |
|
|
|
|
| 282 |
| `bge-m3` | 1024 | 현재 프로젝트 사용 |
|
| 283 |
| `mxbai-embed-large` | 1024 | |
|
| 284 |
| OpenAI `text-embedding-ada-002` | 1536 | Ollama에는 없음 |
|
| 285 |
+
|