Spaces:
Runtime error
Runtime error
[Delta-02] RAG 성능 개선 7건 일괄 적용
Browse files- 키워드 검색 버그 수정: 질문 분리 → 불용어 제거 → OR 조건 검색
- 컨텍스트 청크 구분자 [참고자료 N] 추가
- 시스템 프롬프트 들여쓰기 제거 및 구조 개선
- PDF 추출 시 [p.N] 페이지 마커 삽입
- 쿼리 리라이팅 프롬프트 강화 (5가지 규칙)
- 대용량 문서 문단 단위 시맨틱 청킹 개선
- 컨텍스트를 system 메시지로, 질문을 user 메시지로 분리
- app/embedding_utils.py +51 -25
- app/main.py +41 -32
- app/supabase_utils.py +35 -1
app/embedding_utils.py
CHANGED
|
@@ -55,33 +55,13 @@ def _cosine_similarity(a: np.ndarray, b: np.ndarray) -> float:
|
|
| 55 |
return float(np.dot(a, b) / norm)
|
| 56 |
|
| 57 |
|
| 58 |
-
def
|
| 59 |
-
|
| 60 |
) -> List[str]:
|
| 61 |
-
"""
|
| 62 |
-
긴 텍스트를 의미 기반으로 청크로 분할하는 함수.
|
| 63 |
-
|
| 64 |
-
1. nltk 문장 분리
|
| 65 |
-
2. Ollama 임베딩으로 인접 문장 유사도 계산
|
| 66 |
-
3. 적응적 threshold(평균 - 1σ)로 의미 경계 분할
|
| 67 |
-
4. chunk_size 적용 (작은 그룹 병합, 큰 그룹 강제 분할)
|
| 68 |
-
5. chunk_overlap 적용
|
| 69 |
-
|
| 70 |
-
Args:
|
| 71 |
-
text: 분할할 전체 텍스트
|
| 72 |
-
chunk_size: 청크 당 최대 글자 수
|
| 73 |
-
chunk_overlap: 청크 간 중복 글자 수
|
| 74 |
-
|
| 75 |
-
Returns:
|
| 76 |
-
분할된 텍스트 청크 리스트
|
| 77 |
-
"""
|
| 78 |
-
sentences = nltk.sent_tokenize(text)
|
| 79 |
if len(sentences) <= 1:
|
| 80 |
-
|
| 81 |
-
|
| 82 |
-
# 대용량 문서: 문장 수가 많으면 임베딩 호출 없이 글자 수 기반 분할 사용
|
| 83 |
-
if len(sentences) > SENTENCE_LIMIT_FOR_SEMANTIC_CHUNKING:
|
| 84 |
-
return _simple_split_by_chars(text, chunk_size, chunk_overlap)
|
| 85 |
|
| 86 |
embeddings = [np.array(_ollama_embed(s)) for s in sentences]
|
| 87 |
|
|
@@ -141,6 +121,52 @@ def split_text(
|
|
| 141 |
return chunks
|
| 142 |
|
| 143 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 144 |
def get_embedding(text: str) -> List[float]:
|
| 145 |
"""
|
| 146 |
[TODO Day 2] 텍스트의 벡터 임베딩을 생성하는 함수를 구현하세요.
|
|
|
|
| 55 |
return float(np.dot(a, b) / norm)
|
| 56 |
|
| 57 |
|
| 58 |
+
def _semantic_chunk(
|
| 59 |
+
sentences: List[str], chunk_size: int = 1000, chunk_overlap: int = 200
|
| 60 |
) -> List[str]:
|
| 61 |
+
"""문장 리스트를 임베딩 유사도 기반으로 의미 단위 청크로 분할한다."""
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 62 |
if len(sentences) <= 1:
|
| 63 |
+
text = " ".join(sentences).strip()
|
| 64 |
+
return [text] if text else []
|
|
|
|
|
|
|
|
|
|
| 65 |
|
| 66 |
embeddings = [np.array(_ollama_embed(s)) for s in sentences]
|
| 67 |
|
|
|
|
| 121 |
return chunks
|
| 122 |
|
| 123 |
|
| 124 |
+
def split_text(
|
| 125 |
+
text: str, chunk_size: int = 1000, chunk_overlap: int = 200
|
| 126 |
+
) -> List[str]:
|
| 127 |
+
"""
|
| 128 |
+
긴 텍스트를 의미 기반으로 청크로 분할하는 함수.
|
| 129 |
+
|
| 130 |
+
1. nltk 문장 분리
|
| 131 |
+
2. Ollama 임베딩으로 인접 문장 유사도 계산
|
| 132 |
+
3. 적응적 threshold(평균 - 1σ)로 의미 경계 분할
|
| 133 |
+
4. chunk_size 적용 (작은 그룹 병합, 큰 그룹 강제 분할)
|
| 134 |
+
5. chunk_overlap 적용
|
| 135 |
+
|
| 136 |
+
Args:
|
| 137 |
+
text: 분할할 전체 텍스트
|
| 138 |
+
chunk_size: 청크 당 최대 글자 수
|
| 139 |
+
chunk_overlap: 청크 간 중복 글자 수
|
| 140 |
+
|
| 141 |
+
Returns:
|
| 142 |
+
분할된 텍스트 청크 리스트
|
| 143 |
+
"""
|
| 144 |
+
sentences = nltk.sent_tokenize(text)
|
| 145 |
+
if len(sentences) <= 1:
|
| 146 |
+
return [text.strip()] if text.strip() else []
|
| 147 |
+
|
| 148 |
+
# 대용량 문서: 문단 단위로 나눈 뒤 각 문단에 시맨틱 청킹 적용
|
| 149 |
+
if len(sentences) > SENTENCE_LIMIT_FOR_SEMANTIC_CHUNKING:
|
| 150 |
+
paragraphs = [p.strip() for p in text.split("\n\n") if p.strip()]
|
| 151 |
+
all_chunks: List[str] = []
|
| 152 |
+
for para in paragraphs:
|
| 153 |
+
para_sentences = nltk.sent_tokenize(para)
|
| 154 |
+
if len(para_sentences) <= 1:
|
| 155 |
+
if para:
|
| 156 |
+
all_chunks.append(para)
|
| 157 |
+
elif len(para_sentences) <= SENTENCE_LIMIT_FOR_SEMANTIC_CHUNKING:
|
| 158 |
+
all_chunks.extend(
|
| 159 |
+
_semantic_chunk(para_sentences, chunk_size, chunk_overlap)
|
| 160 |
+
)
|
| 161 |
+
else:
|
| 162 |
+
all_chunks.extend(
|
| 163 |
+
_simple_split_by_chars(para, chunk_size, chunk_overlap)
|
| 164 |
+
)
|
| 165 |
+
return all_chunks if all_chunks else [text.strip()]
|
| 166 |
+
|
| 167 |
+
return _semantic_chunk(sentences, chunk_size, chunk_overlap)
|
| 168 |
+
|
| 169 |
+
|
| 170 |
def get_embedding(text: str) -> List[float]:
|
| 171 |
"""
|
| 172 |
[TODO Day 2] 텍스트의 벡터 임베딩을 생성하는 함수를 구현하세요.
|
app/main.py
CHANGED
|
@@ -83,7 +83,7 @@ def extract_text_from_pdf(file_path: str) -> str:
|
|
| 83 |
if not tables:
|
| 84 |
page_text = page.extract_text()
|
| 85 |
if page_text:
|
| 86 |
-
all_pages_text.append(page_text)
|
| 87 |
continue
|
| 88 |
|
| 89 |
# 테이블이 있는 페이지: 테이블과 비-테이블 영역을 분리하여 추출
|
|
@@ -129,7 +129,7 @@ def extract_text_from_pdf(file_path: str) -> str:
|
|
| 129 |
segments.sort(key=lambda s: s[0])
|
| 130 |
page_text = "\n".join(seg[1] for seg in segments)
|
| 131 |
if page_text:
|
| 132 |
-
all_pages_text.append(page_text)
|
| 133 |
|
| 134 |
return "\n".join(all_pages_text)
|
| 135 |
|
|
@@ -259,8 +259,15 @@ async def question_answering(question: Dict[str, str] = Body(...)):
|
|
| 259 |
|
| 260 |
# 1. 쿼리 리라이팅: LLM으로 검색 최적화 쿼리 생성
|
| 261 |
rewrite_prompt = (
|
| 262 |
-
"
|
| 263 |
-
"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 264 |
)
|
| 265 |
rewrite_response = requests.post(
|
| 266 |
f"{OLLAMA_BASE}/api/chat",
|
|
@@ -323,37 +330,39 @@ async def question_answering(question: Dict[str, str] = Body(...)):
|
|
| 323 |
print(f"{'='*60}\n")
|
| 324 |
|
| 325 |
# 6. 프롬프트 구성
|
| 326 |
-
context = "\n".join(
|
| 327 |
-
|
| 328 |
-
|
| 329 |
-
|
| 330 |
-
|
| 331 |
-
|
| 332 |
-
|
| 333 |
-
|
| 334 |
-
|
| 335 |
-
|
| 336 |
-
|
| 337 |
-
|
| 338 |
-
|
| 339 |
-
|
| 340 |
-
|
| 341 |
-
|
| 342 |
-
|
| 343 |
-
|
| 344 |
-
|
| 345 |
-
|
| 346 |
-
|
| 347 |
-
|
| 348 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 349 |
|
| 350 |
# 7. LLM 응답 생���
|
| 351 |
messages = [
|
| 352 |
-
{"role": "system", "content": system_prompt},
|
| 353 |
-
{
|
| 354 |
-
"role": "user",
|
| 355 |
-
"content": f"참고 문서:\n{context}\n\n질문: {user_question}",
|
| 356 |
-
},
|
| 357 |
]
|
| 358 |
|
| 359 |
response = requests.post(
|
|
|
|
| 83 |
if not tables:
|
| 84 |
page_text = page.extract_text()
|
| 85 |
if page_text:
|
| 86 |
+
all_pages_text.append(f"[p.{page.page_number}] {page_text}")
|
| 87 |
continue
|
| 88 |
|
| 89 |
# 테이블이 있는 페이지: 테이블과 비-테이블 영역을 분리하여 추출
|
|
|
|
| 129 |
segments.sort(key=lambda s: s[0])
|
| 130 |
page_text = "\n".join(seg[1] for seg in segments)
|
| 131 |
if page_text:
|
| 132 |
+
all_pages_text.append(f"[p.{page.page_number}] {page_text}")
|
| 133 |
|
| 134 |
return "\n".join(all_pages_text)
|
| 135 |
|
|
|
|
| 259 |
|
| 260 |
# 1. 쿼리 리라이팅: LLM으로 검색 최적화 쿼리 생성
|
| 261 |
rewrite_prompt = (
|
| 262 |
+
"당신은 문서 검색 쿼리 최적화 전문가입니다.\n"
|
| 263 |
+
"다음 사용자 질문을 문서 검색에 적합한 형태로 변환하세요.\n\n"
|
| 264 |
+
"규칙:\n"
|
| 265 |
+
"1. 핵심 명사와 고유명사를 보존하세요\n"
|
| 266 |
+
"2. 한국어 조사(은/는/이/가/을/를/의)를 제거하세요\n"
|
| 267 |
+
"3. 검색에 불필요한 표현(알려주세요, 무엇인가요 등)을 제거하세요\n"
|
| 268 |
+
"4. 동의어나 관련 용어가 있다면 추가하세요\n"
|
| 269 |
+
"5. 변환된 키워드/구문만 출력하세요 (설명 없이)\n\n"
|
| 270 |
+
f"질문: {user_question}"
|
| 271 |
)
|
| 272 |
rewrite_response = requests.post(
|
| 273 |
f"{OLLAMA_BASE}/api/chat",
|
|
|
|
| 330 |
print(f"{'='*60}\n")
|
| 331 |
|
| 332 |
# 6. 프롬프트 구성
|
| 333 |
+
context = "\n\n".join(
|
| 334 |
+
f"[참고자료 {i}]\n{chunk}" for i, chunk in enumerate(reranked_chunks, 1)
|
| 335 |
+
)
|
| 336 |
+
|
| 337 |
+
system_prompt = (
|
| 338 |
+
"[역할]\n"
|
| 339 |
+
"- 너는 업로드된 문서를 근거로만 답변하는 RAG 어시스턴트다.\n"
|
| 340 |
+
"[행동 원칙]\n"
|
| 341 |
+
"- 제공된 참고 문서에 근거가 있는 내용만 답변한다.\n"
|
| 342 |
+
"- 참고 문서에 없는 사실은 추정하지 않는다.\n"
|
| 343 |
+
"- 질문이 모호하면 필요한 정보를 먼저 물어본다.\n"
|
| 344 |
+
"- 문서 외 질문이면 '문서에서 확인할 수 없다'라고 명시한다.\n"
|
| 345 |
+
"[금지 사항]\n"
|
| 346 |
+
"- 참고 문서에 없는 정보를 추정, 추론, 지어내지 않는다.\n"
|
| 347 |
+
"- 확신이 없으면 '확인할 수 없다'라고만 답한다.\n"
|
| 348 |
+
"[답변 전 검증]\n"
|
| 349 |
+
"- 답변의 각 문장이 참고 문서에 근거가 있는지 확인한다.\n"
|
| 350 |
+
"- 근거가 없는 문장은 삭제하거나 '문서에 명시되지 않음'으로 표시한다.\n"
|
| 351 |
+
"[불확실성 처리]\n"
|
| 352 |
+
"- 참고 문서에 부분적으로만 언급된 내용은 '제한적으로 확인됨' 등으로 표현한다.\n"
|
| 353 |
+
"- 관련 내용이 전혀 없으면 추측하지 않고 '해당 정보는 문서에 없습니다'라고만 답한다.\n"
|
| 354 |
+
"[근거 제시]\n"
|
| 355 |
+
"- 근거 제시 시 페이지 번호([p.N])가 있으면 포함하세요.\n"
|
| 356 |
+
"[응답 형식]\n"
|
| 357 |
+
"- 답변:\n"
|
| 358 |
+
"- 근거:\n"
|
| 359 |
+
"- 한계/추가 확인 필요사항:"
|
| 360 |
+
)
|
| 361 |
|
| 362 |
# 7. LLM 응답 생���
|
| 363 |
messages = [
|
| 364 |
+
{"role": "system", "content": f"{system_prompt}\n\n[참고 문서]\n{context}"},
|
| 365 |
+
{"role": "user", "content": user_question},
|
|
|
|
|
|
|
|
|
|
| 366 |
]
|
| 367 |
|
| 368 |
response = requests.post(
|
app/supabase_utils.py
CHANGED
|
@@ -141,11 +141,45 @@ def search_by_keyword(
|
|
| 141 |
query: str, document_id: str, limit: int = 5
|
| 142 |
) -> List[Dict[str, Any]]:
|
| 143 |
"""키워드 기반 검색 (벡터 검색 보완용). 고유명사 등 정확한 매칭이 필요할 때 사용."""
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 144 |
result = (
|
| 145 |
supabase.table("document_chunks")
|
| 146 |
.select("content")
|
| 147 |
.eq("document_id", document_id)
|
| 148 |
-
.
|
| 149 |
.limit(limit)
|
| 150 |
.execute()
|
| 151 |
)
|
|
|
|
| 141 |
query: str, document_id: str, limit: int = 5
|
| 142 |
) -> List[Dict[str, Any]]:
|
| 143 |
"""키워드 기반 검색 (벡터 검색 보완용). 고유명사 등 정확한 매칭이 필요할 때 사용."""
|
| 144 |
+
STOP_WORDS = {
|
| 145 |
+
"은",
|
| 146 |
+
"는",
|
| 147 |
+
"이",
|
| 148 |
+
"가",
|
| 149 |
+
"을",
|
| 150 |
+
"를",
|
| 151 |
+
"의",
|
| 152 |
+
"에",
|
| 153 |
+
"에서",
|
| 154 |
+
"로",
|
| 155 |
+
"으로",
|
| 156 |
+
"와",
|
| 157 |
+
"과",
|
| 158 |
+
"도",
|
| 159 |
+
"만",
|
| 160 |
+
"에게",
|
| 161 |
+
"한",
|
| 162 |
+
"하는",
|
| 163 |
+
"있는",
|
| 164 |
+
"없는",
|
| 165 |
+
"알려주세요",
|
| 166 |
+
"알려줘",
|
| 167 |
+
"무엇인가요",
|
| 168 |
+
"뭐야",
|
| 169 |
+
"어떤",
|
| 170 |
+
}
|
| 171 |
+
words = query.replace("?", "").replace(".", "").replace(",", "").split()
|
| 172 |
+
keywords = [w for w in words if len(w) > 1 and w not in STOP_WORDS]
|
| 173 |
+
|
| 174 |
+
if not keywords:
|
| 175 |
+
return []
|
| 176 |
+
|
| 177 |
+
or_conditions = ",".join([f"content.ilike.%{kw}%" for kw in keywords])
|
| 178 |
result = (
|
| 179 |
supabase.table("document_chunks")
|
| 180 |
.select("content")
|
| 181 |
.eq("document_id", document_id)
|
| 182 |
+
.or_(or_conditions)
|
| 183 |
.limit(limit)
|
| 184 |
.execute()
|
| 185 |
)
|