Spaces:
Runtime error
Runtime error
[Delta-02] split_text 의미 기반 분할 구현
Browse filesOllama API를 사용한 임베딩 기반 의미 분할로 변경하고
chunk_size/chunk_overlap 적용 로직 추가
- app/embedding_utils.py +80 -28
- docs/02-weekend1/README.md +1 -1
app/embedding_utils.py
CHANGED
|
@@ -1,54 +1,106 @@
|
|
| 1 |
from typing import List
|
| 2 |
import nltk
|
| 3 |
-
from sentence_transformers import SentenceTransformer
|
| 4 |
-
from sklearn.metrics.pairwise import cosine_similarity
|
| 5 |
import numpy as np
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 6 |
|
| 7 |
|
| 8 |
def split_text(
|
| 9 |
text: str, chunk_size: int = 1000, chunk_overlap: int = 100
|
| 10 |
) -> List[str]:
|
| 11 |
"""
|
| 12 |
-
|
| 13 |
|
| 14 |
-
|
| 15 |
-
|
| 16 |
-
|
| 17 |
-
|
| 18 |
-
|
| 19 |
-
3. (Deep Dive) 다양한 chunk_size를 실험해보고 최적의 값을 찾아보세요.
|
| 20 |
-
힌트: REFERENCE.md의 청킹 섹션을 먼저 읽고, 어떤 파라미터가 품질에 영향을 주는지 파악하세요.
|
| 21 |
|
| 22 |
Args:
|
| 23 |
-
text
|
| 24 |
-
chunk_size
|
| 25 |
-
chunk_overlap
|
| 26 |
|
| 27 |
Returns:
|
| 28 |
-
|
| 29 |
"""
|
| 30 |
-
# ---------------------------------------------------------
|
| 31 |
-
# [Day 1] 과제: 여기에 텍스트 분할 로직을 작성하세요.
|
| 32 |
-
# ---------------------------------------------------------
|
| 33 |
-
model = SentenceTransformer("BAAI/bge-m3")
|
| 34 |
sentences = nltk.sent_tokenize(text)
|
| 35 |
-
|
|
|
|
|
|
|
|
|
|
| 36 |
|
| 37 |
-
# 인접 문장 유사도 계산
|
| 38 |
similarities = [
|
| 39 |
-
|
| 40 |
for i in range(len(embeddings) - 1)
|
| 41 |
]
|
| 42 |
|
| 43 |
-
|
| 44 |
-
|
| 45 |
-
|
|
|
|
|
|
|
|
|
|
| 46 |
for i, sim in enumerate(similarities):
|
| 47 |
if sim < threshold:
|
| 48 |
-
|
| 49 |
-
|
| 50 |
-
|
| 51 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 52 |
|
| 53 |
|
| 54 |
def get_embedding(text: str) -> List[float]:
|
|
|
|
| 1 |
from typing import List
|
| 2 |
import nltk
|
|
|
|
|
|
|
| 3 |
import numpy as np
|
| 4 |
+
import requests
|
| 5 |
+
from app.config import OLLAMA_BASE, OLLAMA_EMBED_MODEL
|
| 6 |
+
|
| 7 |
+
|
| 8 |
+
def _ollama_embed(text: str) -> List[float]:
|
| 9 |
+
resp = requests.post(
|
| 10 |
+
f"{OLLAMA_BASE}/api/embeddings",
|
| 11 |
+
json={"model": OLLAMA_EMBED_MODEL, "prompt": text},
|
| 12 |
+
)
|
| 13 |
+
resp.raise_for_status()
|
| 14 |
+
return resp.json()["embedding"]
|
| 15 |
+
|
| 16 |
+
|
| 17 |
+
def _cosine_similarity(a: np.ndarray, b: np.ndarray) -> float:
|
| 18 |
+
norm = np.linalg.norm(a) * np.linalg.norm(b)
|
| 19 |
+
if norm == 0:
|
| 20 |
+
return 0.0
|
| 21 |
+
return float(np.dot(a, b) / norm)
|
| 22 |
|
| 23 |
|
| 24 |
def split_text(
|
| 25 |
text: str, chunk_size: int = 1000, chunk_overlap: int = 100
|
| 26 |
) -> List[str]:
|
| 27 |
"""
|
| 28 |
+
긴 텍스트를 의미 기반으로 청크로 분할하는 함수.
|
| 29 |
|
| 30 |
+
1. nltk 문장 분리
|
| 31 |
+
2. Ollama 임베딩으로 인접 문장 유사도 계산
|
| 32 |
+
3. 적응적 threshold(평균 - 1σ)로 의미 경계 분할
|
| 33 |
+
4. chunk_size 적용 (작은 그룹 병합, 큰 그룹 강제 분할)
|
| 34 |
+
5. chunk_overlap 적용
|
|
|
|
|
|
|
| 35 |
|
| 36 |
Args:
|
| 37 |
+
text: 분할할 전체 텍스트
|
| 38 |
+
chunk_size: 청크 당 최대 글자 수
|
| 39 |
+
chunk_overlap: 청크 간 중복 글자 수
|
| 40 |
|
| 41 |
Returns:
|
| 42 |
+
분할된 텍스트 청크 리스트
|
| 43 |
"""
|
|
|
|
|
|
|
|
|
|
|
|
|
| 44 |
sentences = nltk.sent_tokenize(text)
|
| 45 |
+
if len(sentences) <= 1:
|
| 46 |
+
return [text.strip()] if text.strip() else []
|
| 47 |
+
|
| 48 |
+
embeddings = [np.array(_ollama_embed(s)) for s in sentences]
|
| 49 |
|
|
|
|
| 50 |
similarities = [
|
| 51 |
+
_cosine_similarity(embeddings[i], embeddings[i + 1])
|
| 52 |
for i in range(len(embeddings) - 1)
|
| 53 |
]
|
| 54 |
|
| 55 |
+
mean_sim = np.mean(similarities)
|
| 56 |
+
std_sim = np.std(similarities)
|
| 57 |
+
threshold = mean_sim - std_sim
|
| 58 |
+
|
| 59 |
+
# 의미 경계에서 문장 그룹 분할
|
| 60 |
+
groups: List[List[str]] = [[sentences[0]]]
|
| 61 |
for i, sim in enumerate(similarities):
|
| 62 |
if sim < threshold:
|
| 63 |
+
groups.append([])
|
| 64 |
+
groups[-1].append(sentences[i + 1])
|
| 65 |
+
|
| 66 |
+
# chunk_size 적용: 작은 그룹 병합, 큰 그룹 강제 분할
|
| 67 |
+
merged: List[str] = []
|
| 68 |
+
buffer = ""
|
| 69 |
+
for group in groups:
|
| 70 |
+
group_text = " ".join(group)
|
| 71 |
+
if buffer and len(buffer) + len(group_text) + 1 > chunk_size:
|
| 72 |
+
merged.append(buffer.strip())
|
| 73 |
+
buffer = ""
|
| 74 |
+
buffer = (buffer + " " + group_text).strip() if buffer else group_text
|
| 75 |
+
|
| 76 |
+
if buffer:
|
| 77 |
+
merged.append(buffer.strip())
|
| 78 |
+
|
| 79 |
+
# 큰 청크 강제 분할
|
| 80 |
+
chunks: List[str] = []
|
| 81 |
+
for chunk in merged:
|
| 82 |
+
while len(chunk) > chunk_size:
|
| 83 |
+
split_pos = chunk[:chunk_size].rfind(" ")
|
| 84 |
+
if split_pos == -1:
|
| 85 |
+
split_pos = chunk_size
|
| 86 |
+
chunks.append(chunk[:split_pos].strip())
|
| 87 |
+
chunk = chunk[split_pos:].strip()
|
| 88 |
+
if chunk:
|
| 89 |
+
chunks.append(chunk)
|
| 90 |
+
|
| 91 |
+
# chunk_overlap 적용
|
| 92 |
+
if chunk_overlap > 0 and len(chunks) > 1:
|
| 93 |
+
overlapped = [chunks[0]]
|
| 94 |
+
for i in range(1, len(chunks)):
|
| 95 |
+
prev = chunks[i - 1]
|
| 96 |
+
overlap_text = prev[-chunk_overlap:] if len(prev) > chunk_overlap else prev
|
| 97 |
+
space_pos = overlap_text.find(" ")
|
| 98 |
+
if space_pos != -1:
|
| 99 |
+
overlap_text = overlap_text[space_pos + 1 :]
|
| 100 |
+
overlapped.append((overlap_text + " " + chunks[i]).strip())
|
| 101 |
+
chunks = overlapped
|
| 102 |
+
|
| 103 |
+
return chunks
|
| 104 |
|
| 105 |
|
| 106 |
def get_embedding(text: str) -> List[float]:
|
docs/02-weekend1/README.md
CHANGED
|
@@ -39,7 +39,7 @@
|
|
| 39 |
|
| 40 |
### 기능 구현
|
| 41 |
|
| 42 |
-
- [
|
| 43 |
- [ ] 최소 1개 문서의 청크/임베딩 저장 성공
|
| 44 |
- [ ] `/qa` 질의 3회 성공
|
| 45 |
- [ ] 문서 외 질문에 대해 안전 응답 확인
|
|
|
|
| 39 |
|
| 40 |
### 기능 구현
|
| 41 |
|
| 42 |
+
- [x] PDF 업로드 성공
|
| 43 |
- [ ] 최소 1개 문서의 청크/임베딩 저장 성공
|
| 44 |
- [ ] `/qa` 질의 3회 성공
|
| 45 |
- [ ] 문서 외 질문에 대해 안전 응답 확인
|