woongmin commited on
Commit
f537bfd
·
1 Parent(s): 79a0126

[Delta-02] RAG 성능 개선 7건 일괄 적용

Browse files

- 키워드 검색 버그 수정: 질문 분리 → 불용어 제거 → OR 조건 검색
- 컨텍스트 청크 구분자 [참고자료 N] 추가
- 시스템 프롬프트 들여쓰기 제거 및 구조 개선
- PDF 추출 시 [p.N] 페이지 마커 삽입
- 쿼리 리라이팅 프롬프트 강화 (5가지 규칙)
- 대용량 문서 문단 단위 시맨틱 청킹 개선
- 컨텍스트를 system 메시지로, 질문을 user 메시지로 분리

Files changed (3) hide show
  1. app/embedding_utils.py +51 -25
  2. app/main.py +41 -32
  3. app/supabase_utils.py +35 -1
app/embedding_utils.py CHANGED
@@ -55,33 +55,13 @@ def _cosine_similarity(a: np.ndarray, b: np.ndarray) -> float:
55
  return float(np.dot(a, b) / norm)
56
 
57
 
58
- def split_text(
59
- text: str, chunk_size: int = 1000, chunk_overlap: int = 200
60
  ) -> List[str]:
61
- """
62
- 긴 텍스트를 의미 기반으로 청크로 분할하는 함수.
63
-
64
- 1. nltk 문장 분리
65
- 2. Ollama 임베딩으로 인접 문장 유사도 계산
66
- 3. 적응적 threshold(평균 - 1σ)로 의미 경계 분할
67
- 4. chunk_size 적용 (작은 그룹 병합, 큰 그룹 강제 분할)
68
- 5. chunk_overlap 적용
69
-
70
- Args:
71
- text: 분할할 전체 텍스트
72
- chunk_size: 청크 당 최대 글자 수
73
- chunk_overlap: 청크 간 중복 글자 수
74
-
75
- Returns:
76
- 분할된 텍스트 청크 리스트
77
- """
78
- sentences = nltk.sent_tokenize(text)
79
  if len(sentences) <= 1:
80
- return [text.strip()] if text.strip() else []
81
-
82
- # 대용량 문서: 문장 수가 많으면 임베딩 호출 없이 글자 수 기반 분할 사용
83
- if len(sentences) > SENTENCE_LIMIT_FOR_SEMANTIC_CHUNKING:
84
- return _simple_split_by_chars(text, chunk_size, chunk_overlap)
85
 
86
  embeddings = [np.array(_ollama_embed(s)) for s in sentences]
87
 
@@ -141,6 +121,52 @@ def split_text(
141
  return chunks
142
 
143
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
144
  def get_embedding(text: str) -> List[float]:
145
  """
146
  [TODO Day 2] 텍스트의 벡터 임베딩을 생성하는 함수를 구현하세요.
 
55
  return float(np.dot(a, b) / norm)
56
 
57
 
58
+ def _semantic_chunk(
59
+ sentences: List[str], chunk_size: int = 1000, chunk_overlap: int = 200
60
  ) -> List[str]:
61
+ """문장 리스트를 임베딩 유사도 기반으로 의미 단위 청크로 분할한다."""
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
62
  if len(sentences) <= 1:
63
+ text = " ".join(sentences).strip()
64
+ return [text] if text else []
 
 
 
65
 
66
  embeddings = [np.array(_ollama_embed(s)) for s in sentences]
67
 
 
121
  return chunks
122
 
123
 
124
+ def split_text(
125
+ text: str, chunk_size: int = 1000, chunk_overlap: int = 200
126
+ ) -> List[str]:
127
+ """
128
+ 긴 텍스트를 의미 기반으로 청크로 분할하는 함수.
129
+
130
+ 1. nltk 문장 분리
131
+ 2. Ollama 임베딩으로 인접 문장 유사도 계산
132
+ 3. 적응적 threshold(평균 - 1σ)로 의미 경계 분할
133
+ 4. chunk_size 적용 (작은 그룹 병합, 큰 그룹 강제 분할)
134
+ 5. chunk_overlap 적용
135
+
136
+ Args:
137
+ text: 분할할 전체 텍스트
138
+ chunk_size: 청크 당 최대 글자 수
139
+ chunk_overlap: 청크 간 중복 글자 수
140
+
141
+ Returns:
142
+ 분할된 텍스트 청크 리스트
143
+ """
144
+ sentences = nltk.sent_tokenize(text)
145
+ if len(sentences) <= 1:
146
+ return [text.strip()] if text.strip() else []
147
+
148
+ # 대용량 문서: 문단 단위로 나눈 뒤 각 문단에 시맨틱 청킹 적용
149
+ if len(sentences) > SENTENCE_LIMIT_FOR_SEMANTIC_CHUNKING:
150
+ paragraphs = [p.strip() for p in text.split("\n\n") if p.strip()]
151
+ all_chunks: List[str] = []
152
+ for para in paragraphs:
153
+ para_sentences = nltk.sent_tokenize(para)
154
+ if len(para_sentences) <= 1:
155
+ if para:
156
+ all_chunks.append(para)
157
+ elif len(para_sentences) <= SENTENCE_LIMIT_FOR_SEMANTIC_CHUNKING:
158
+ all_chunks.extend(
159
+ _semantic_chunk(para_sentences, chunk_size, chunk_overlap)
160
+ )
161
+ else:
162
+ all_chunks.extend(
163
+ _simple_split_by_chars(para, chunk_size, chunk_overlap)
164
+ )
165
+ return all_chunks if all_chunks else [text.strip()]
166
+
167
+ return _semantic_chunk(sentences, chunk_size, chunk_overlap)
168
+
169
+
170
  def get_embedding(text: str) -> List[float]:
171
  """
172
  [TODO Day 2] 텍스트의 벡터 임베딩을 생성하는 함수를 구현하세요.
app/main.py CHANGED
@@ -83,7 +83,7 @@ def extract_text_from_pdf(file_path: str) -> str:
83
  if not tables:
84
  page_text = page.extract_text()
85
  if page_text:
86
- all_pages_text.append(page_text)
87
  continue
88
 
89
  # 테이블이 있는 페이지: 테이블과 비-테이블 영역을 분리하여 추출
@@ -129,7 +129,7 @@ def extract_text_from_pdf(file_path: str) -> str:
129
  segments.sort(key=lambda s: s[0])
130
  page_text = "\n".join(seg[1] for seg in segments)
131
  if page_text:
132
- all_pages_text.append(page_text)
133
 
134
  return "\n".join(all_pages_text)
135
 
@@ -259,8 +259,15 @@ async def question_answering(question: Dict[str, str] = Body(...)):
259
 
260
  # 1. 쿼리 리라이팅: LLM으로 검색 최적화 쿼리 생성
261
  rewrite_prompt = (
262
- "다음 질문을 문서 검색에 적합한 키워드 중심 문장으로 바꿔주세요. "
263
- "변환된 문장만 출력하세요:\n" + user_question
 
 
 
 
 
 
 
264
  )
265
  rewrite_response = requests.post(
266
  f"{OLLAMA_BASE}/api/chat",
@@ -323,37 +330,39 @@ async def question_answering(question: Dict[str, str] = Body(...)):
323
  print(f"{'='*60}\n")
324
 
325
  # 6. 프롬프트 구성
326
- context = "\n".join(reranked_chunks)
327
-
328
- system_prompt = """
329
- [역할]
330
- - 너는 업로드된 문서를 근거로만 답변하는 RAG 어시스턴트다.
331
- [행동 원칙]
332
- - 제공된 Context에 근거가 있는 내용만 답변한다.
333
- - Context에 없는 사실은 추정하지 않는다.
334
- - 질문이 모호하면 필요한 정보를 먼저 물어본다.
335
- - 문서 외 질문이면 "문서에서 확인할 수 없다"라고 명시한다.
336
- [금지 사항]
337
- - Context에 없는 정보를 추정, 추론, 지어내지 않는다.
338
- - 확신이 없으면 "확인할 수 없다"라고만 답한다.
339
- [답변 전 검증]
340
- - 답변의 각 문장이 Context에 근거가 있는지 확인한다.
341
- - 근거가 없는 문장은 삭제하거나 "문서에 명시되지 않음"으로 표시한다.
342
- [불확실성 처리]
343
- - Context에 부분적으로만 언급된 내용은 "제한적으로 확인됨" 등으로 표현한다.
344
- - 관련 내용이 전혀 없으면 추측하지 않고 "해당 정보는 문서에 없습니다"라고만 답한다.
345
- [응답 형식]
346
- - 답변:
347
- - 근거:
348
- - 한계/추가 확인 필요사항:"""
 
 
 
 
 
349
 
350
  # 7. LLM 응답 생���
351
  messages = [
352
- {"role": "system", "content": system_prompt},
353
- {
354
- "role": "user",
355
- "content": f"참고 문서:\n{context}\n\n질문: {user_question}",
356
- },
357
  ]
358
 
359
  response = requests.post(
 
83
  if not tables:
84
  page_text = page.extract_text()
85
  if page_text:
86
+ all_pages_text.append(f"[p.{page.page_number}] {page_text}")
87
  continue
88
 
89
  # 테이블이 있는 페이지: 테이블과 비-테이블 영역을 분리하여 추출
 
129
  segments.sort(key=lambda s: s[0])
130
  page_text = "\n".join(seg[1] for seg in segments)
131
  if page_text:
132
+ all_pages_text.append(f"[p.{page.page_number}] {page_text}")
133
 
134
  return "\n".join(all_pages_text)
135
 
 
259
 
260
  # 1. 쿼리 리라이팅: LLM으로 검색 최적화 쿼리 생성
261
  rewrite_prompt = (
262
+ "당신은 문서 검색 쿼리 최적화 전문가입니다.\n"
263
+ "다음 사용자 질문을 문서 검색에 적합한 형태로 변환하세요.\n\n"
264
+ "규칙:\n"
265
+ "1. 핵심 명사와 고유명사를 보존하세요\n"
266
+ "2. 한국어 조사(은/는/이/가/을/를/의)를 제거하세요\n"
267
+ "3. 검색에 불필요한 표현(알려주세요, 무엇인가요 등)을 제거하세요\n"
268
+ "4. 동의어나 관련 용어가 있다면 추가하세요\n"
269
+ "5. 변환된 키워드/구문만 출력하세요 (설명 없이)\n\n"
270
+ f"질문: {user_question}"
271
  )
272
  rewrite_response = requests.post(
273
  f"{OLLAMA_BASE}/api/chat",
 
330
  print(f"{'='*60}\n")
331
 
332
  # 6. 프롬프트 구성
333
+ context = "\n\n".join(
334
+ f"[참고자료 {i}]\n{chunk}" for i, chunk in enumerate(reranked_chunks, 1)
335
+ )
336
+
337
+ system_prompt = (
338
+ "[역할]\n"
339
+ "- 너는 업로드된 문서를 근거로만 답변하는 RAG 어시스턴트다.\n"
340
+ "[행동 원칙]\n"
341
+ "- 제공된 참고 문서에 근거가 있는 내용만 답변한다.\n"
342
+ "- 참고 문서에 없는 사실은 추정하지 않는다.\n"
343
+ "- 질문이 모호하면 필요한 정보를 먼저 물어본다.\n"
344
+ "- 문서 외 질문이면 '문서에서 확인할 수 없다'라고 명시한다.\n"
345
+ "[금지 사항]\n"
346
+ "- 참고 문서에 없는 정보를 추정, 추론, 지어내지 않는다.\n"
347
+ "- 확신이 없으면 '확인할 수 없다'라고만 답한다.\n"
348
+ "[답변 전 검증]\n"
349
+ "- 답변의 각 문장이 참고 문서에 근거가 있는지 확인한다.\n"
350
+ "- 근거가 없는 문장은 삭제하거나 '문서에 명시되지 않음'으로 표시한다.\n"
351
+ "[불확실성 처리]\n"
352
+ "- 참고 문서에 부분적으로만 언급된 내용은 '제한적으로 확인됨' 등으로 표현한다.\n"
353
+ "- 관련 내용이 전혀 없으면 추측하지 않고 '해당 정보는 문서에 없습니다'라고만 답한다.\n"
354
+ "[근거 제시]\n"
355
+ "- 근거 제시 시 페이지 번호([p.N])가 있으면 포함하세요.\n"
356
+ "[응답 형식]\n"
357
+ "- 답변:\n"
358
+ "- 근거:\n"
359
+ "- 한계/추가 확인 필요사항:"
360
+ )
361
 
362
  # 7. LLM 응답 생���
363
  messages = [
364
+ {"role": "system", "content": f"{system_prompt}\n\n[참고 문서]\n{context}"},
365
+ {"role": "user", "content": user_question},
 
 
 
366
  ]
367
 
368
  response = requests.post(
app/supabase_utils.py CHANGED
@@ -141,11 +141,45 @@ def search_by_keyword(
141
  query: str, document_id: str, limit: int = 5
142
  ) -> List[Dict[str, Any]]:
143
  """키워드 기반 검색 (벡터 검색 보완용). 고유명사 등 정확한 매칭이 필요할 때 사용."""
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
144
  result = (
145
  supabase.table("document_chunks")
146
  .select("content")
147
  .eq("document_id", document_id)
148
- .ilike("content", f"%{query}%")
149
  .limit(limit)
150
  .execute()
151
  )
 
141
  query: str, document_id: str, limit: int = 5
142
  ) -> List[Dict[str, Any]]:
143
  """키워드 기반 검색 (벡터 검색 보완용). 고유명사 등 정확한 매칭이 필요할 때 사용."""
144
+ STOP_WORDS = {
145
+ "은",
146
+ "는",
147
+ "이",
148
+ "가",
149
+ "을",
150
+ "를",
151
+ "의",
152
+ "에",
153
+ "에서",
154
+ "로",
155
+ "으로",
156
+ "와",
157
+ "과",
158
+ "도",
159
+ "만",
160
+ "에게",
161
+ "한",
162
+ "하는",
163
+ "있는",
164
+ "없는",
165
+ "알려주세요",
166
+ "알려줘",
167
+ "무엇인가요",
168
+ "뭐야",
169
+ "어떤",
170
+ }
171
+ words = query.replace("?", "").replace(".", "").replace(",", "").split()
172
+ keywords = [w for w in words if len(w) > 1 and w not in STOP_WORDS]
173
+
174
+ if not keywords:
175
+ return []
176
+
177
+ or_conditions = ",".join([f"content.ilike.%{kw}%" for kw in keywords])
178
  result = (
179
  supabase.table("document_chunks")
180
  .select("content")
181
  .eq("document_id", document_id)
182
+ .or_(or_conditions)
183
  .limit(limit)
184
  .execute()
185
  )