woongmin commited on
Commit
b587c5f
·
1 Parent(s): 530660c

[Delta-02] 2026-03-21 작업일지 업데이트

Browse files
study-notes/2026-03-21-작업일지.md CHANGED
@@ -1,15 +1,157 @@
1
  # 2026-03-21 작업일지
2
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  ## 오류 해결
4
 
5
  ### `/qa` Ollama 서버 응답 시간 초과
6
 
7
  - **오류**: `"Ollama 서버 응답 시간 초과."`
8
- - **원인**: `main.py`의 Ollama 호출 timeout 설정이 짧음
9
- - 쿼리 리라이팅: `timeout=30`
10
- - LLM 답변 생성: `timeout=60`
11
- - **해결**: timeout 값 증가 (예: 리라이팅 120초, 답변 생성 300초)
12
- - **참고**: `config.py`에 `OLLAMA_TIMEOUT = int(os.getenv("OLLAMA_TIMEOUT", "120"))` 설정을 통해 기기별로 설정 가능하도록 수정
 
 
 
13
 
14
  ---
15
 
@@ -140,3 +282,4 @@ CREATE INDEX ON document_chunks USING hnsw (embedding vector_cosine_ops);
140
  | `bge-m3` | 1024 | 현재 프로젝트 사용 |
141
  | `mxbai-embed-large` | 1024 | |
142
  | OpenAI `text-embedding-ada-002` | 1536 | Ollama에는 없음 |
 
 
1
  # 2026-03-21 작업일지
2
 
3
+ ## 오늘의 목표
4
+
5
+ RAG 시스템의 정확도(30%)와 근거율(40%)을 개선하기 위해 측정 가능한 개선 7건을 적용하고, 머신 사양별 호환성 문제를 해결한다. 배포 사전 준비도 병행.
6
+
7
+ ---
8
+
9
+ ## 참여자
10
+
11
+ - 기웅민: RAG 성능 개선 7건, 키워드 검색 버그 수정, 머신 사양별 환경변수 분리, deepeval 평가 라이브러리 도입
12
+ - 장철희: improvement report 작성, 배포 사전 체크리스트 확인, 작업 일지 작성
13
+
14
+ ---
15
+
16
+ ## 작업 내역
17
+
18
+ ### 1. 표 데이터 정합성 개선 — 기웅민 (`89e7b3f`)
19
+
20
+ - PDF 표(table) 추출 시 마크다운 테이블로 변환하여 구조 보존 (`_table_to_markdown()`)
21
+ - 테이블/비-테이블 영역 분리 추출로 읽기 순서 유지
22
+ - 하이브리드 검색(벡터 + 키워드) 도입, Cross-encoder 리랭킹 추가
23
+ - 빈 검색 결과 방어 로직(early return) 추가
24
+ - 쿼리 리라이팅 기능 추가
25
+
26
+ ### 2. deepeval RAG 평가 라이브러리 도입 — 기웅민 (`4188827`)
27
+
28
+ - `eval_rag.py` 작성: Faithfulness, AnswerRelevancy, ContextualPrecision, ContextualRecall 4가지 메트릭 자동 평가
29
+ - 실행 방법:
30
+ ```bash
31
+ # 1. 서버 먼저 실행
32
+ pipenv run uvicorn app.main:app --reload
33
+ # 2. 새 터미널에서 평가 실행
34
+ pipenv run python eval_rag.py
35
+ ```
36
+
37
+ ### 3. RAG 성능 개선 7건 일괄 적용 — 기웅민 (`de7a2e0`)
38
+
39
+ #### 3-1. 키워드 검색 버그 수정 (Priority 1) — `app/supabase_utils.py`
40
+
41
+ **문제**: `search_by_keyword`가 질문 전체 문장을 `ilike` 패턴으로 사용하여 항상 0건 반환. 하이브리드 검색이 사실상 벡터 검색만 동작.
42
+
43
+ **해결**: 질문을 단어로 분리 → 한국어 불용어(은/는/이/가/을/를 등) 제거 → 2글자 이상 키워드 추출 → 키워드별 개별 ilike 검색 후 중복 제거
44
+
45
+ ```python
46
+ STOP_WORDS = {"은", "는", "이", "가", "을", "를", "의", "에", ...}
47
+ words = query.replace("?", "").replace(".", "").replace(",", "").split()
48
+ keywords = [w for w in words if len(w) > 1 and w not in STOP_WORDS]
49
+ ```
50
+
51
+ #### 3-2. 컨텍스트 청크 구분자 추가 (Priority 2) — `app/main.py`
52
+
53
+ **문제**: `"\n".join(reranked_chunks)`로 청크 경계 없이 이어붙여서 LLM이 정보 출처 혼동.
54
+
55
+ **해결**:
56
+ ```python
57
+ context = "\n\n".join(
58
+ f"[참고자료 {i}]\n{chunk}" for i, chunk in enumerate(reranked_chunks, 1)
59
+ )
60
+ ```
61
+
62
+ #### 3-3. 시스템 프롬프트 들여쓰기 정리 (Priority 3) — `app/main.py`
63
+
64
+ **문제**: 삼중 따옴표 문자열의 Python 들여쓰기(8 spaces/line)가 LLM에 그대로 전달되어 토큰 낭비.
65
+
66
+ **해결**: 문자열 연결 방식으로 변경하여 불필요한 공백 제거 (~700자 → ~540자).
67
+
68
+ #### 3-4. 페이지 번호 메타데이터 보존 (Priority 4) — `app/main.py`
69
+
70
+ **해결**: `extract_text_from_pdf()`에서 각 페이지 텍스트 앞에 `[p.N]` 마커 삽입. 시스템 프롬프트에 "근거 제시 시 페이지 번호([p.N])를 포함하세요" 지시 추가.
71
+
72
+ > **주의**: 문서 재업로드 필요 (기존 청크에는 페이지 마커 미포함)
73
+
74
+ #### 3-5. 쿼리 리라이팅 프롬프트 강화 (Priority 5) — `app/main.py`
75
+
76
+ **해결**: 5가지 규칙 명시 (핵심 명사 보존, 조사 제거, 불필요한 표현 제거, 동의어 추가, 키워드만 출력)
77
+
78
+ #### 3-6. 대용량 문서 청킹 개선 (Priority 6) — `app/embedding_utils.py`
79
+
80
+ **문제**: 500문장 초과 시 단순 글자 수 분할로 fallback → 의미 경계 손실.
81
+
82
+ **해결**: 기존 시맨틱 청킹 로직을 `_semantic_chunk()` 내부 함수로 추출. 문단(`\n\n`) 단위로 먼저 나눈 뒤, 각 문단 그룹 내에서 시맨틱 청킹 적용.
83
+
84
+ > **주의**: 문서 재업로드 필요
85
+
86
+ #### 3-7. 프롬프트 구조 개선 (Priority 7) — `app/main.py`
87
+
88
+ **해결**: 컨텍스트를 system 메시지에 포함, 질문만 user 메시지로 분리하여 LLM 역할 구분 명확화.
89
+
90
+ ```python
91
+ # Before
92
+ messages = [
93
+ {"role": "system", "content": system_prompt},
94
+ {"role": "user", "content": f"참고 문서:\n{context}\n\n질문: {user_question}"},
95
+ ]
96
+ # After
97
+ messages = [
98
+ {"role": "system", "content": f"{system_prompt}\n\n[참고 문서]\n{context}"},
99
+ {"role": "user", "content": user_question},
100
+ ]
101
+ ```
102
+
103
+ ### 4. 키워드 검색 or_ 메서드 호환성 수정 — 기웅민 (`39ad519`)
104
+
105
+ **문제**: supabase-py 버전에 `or_()` 메서드가 없어서 키워드 OR 조건 검색 시 런타임 에러 발생.
106
+
107
+ ```
108
+ 오류 발생: 'SyncSelectRequestBuilder' object has no attribute 'or_'
109
+ ```
110
+
111
+ **해결**: 키워드별 개별 `ilike` 쿼리 실행 후 중복 제거하여 합치는 방식으로 변경.
112
+
113
+ ### 5. 머신 사양별 성능 설정 환경변수 분리 — 기웅민 (`0e5eb40`)
114
+
115
+ **문제**: M1 Pro 32GB에서는 정상 동작하지만 M1 Air 16GB에서는 Ollama 타임아웃 발생.
116
+
117
+ **원인**:
118
+ - RAM 16GB에서 Ollama 모델이 스왑 발생 → 추론 속도 저하
119
+ - GPU 코어 수 차이 (Air 7~8코어 vs Pro 14~16코어)
120
+ - Air는 팬리스 → 대량 임베딩 처리 시 쓰로틀링
121
+
122
+ **해결**: `EMBED_WORKERS`, `OLLAMA_TIMEOUT`을 `.env` 환경변수로 분리.
123
+
124
+ | 설정 | M1 Pro 32GB (기본값) | M1 Air 16GB (권장) | 역할 |
125
+ |------|---------------------|-------------------|------|
126
+ | `EMBED_WORKERS` | 5 | 2 | 임베딩 동시 요청 수 |
127
+ | `OLLAMA_TIMEOUT` | 120초 | 300초 | Ollama 응답 대기 시간 |
128
+
129
+ `_ollama_embed()`에 누락되었던 timeout도 추가.
130
+
131
+ ### 6. 배포 사전 체크리스트 — 장철희 (`9212550`)
132
+
133
+ - `.env.example`에 배포 설정(HOST, PORT, DEBUG, SECRET_KEY, ALLOWED_ORIGINS) 추가
134
+ - 배포 체크리스트 문서 업데이트
135
+
136
+ ### 7. improvement report — 장철희 (`d121a01`)
137
+
138
+ - `docs/03-midweek/improvement-report.md` Before/After 메트릭스 구조 작성
139
+
140
+ ---
141
+
142
  ## 오류 해결
143
 
144
  ### `/qa` Ollama 서버 응답 시간 초과
145
 
146
  - **오류**: `"Ollama 서버 응답 시간 초과."`
147
+ - **원인**: `main.py`의 Ollama 호출 timeout 설정이 짧음 (리라이팅 30초, 답변 생성 60초)
148
+ - **해결**: `OLLAMA_TIMEOUT` 환경변수로 통합, 기기별 설정 가능
149
+
150
+ ### supabase-py `or_()` 미지원
151
+
152
+ - **오류**: `'SyncSelectRequestBuilder' object has no attribute 'or_'`
153
+ - **원인**: 사용 중인 supabase-py 버전에서 PostgREST `or_()` 메서드 미지원
154
+ - **해결**: 키워드별 개별 쿼리 후 중복 제거 방식으로 변경
155
 
156
  ---
157
 
 
282
  | `bge-m3` | 1024 | 현재 프로젝트 사용 |
283
  | `mxbai-embed-large` | 1024 | |
284
  | OpenAI `text-embedding-ada-002` | 1536 | Ollama에는 없음 |
285
+