woongmin commited on
Commit
0a7fe27
·
1 Parent(s): 74b444e

[Delta-02] split_text 의미 기반 분할 구현

Browse files

Ollama API를 사용한 임베딩 기반 의미 분할로 변경하고
chunk_size/chunk_overlap 적용 로직 추가

app/embedding_utils.py CHANGED
@@ -1,54 +1,106 @@
1
  from typing import List
2
  import nltk
3
- from sentence_transformers import SentenceTransformer
4
- from sklearn.metrics.pairwise import cosine_similarity
5
  import numpy as np
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
6
 
7
 
8
  def split_text(
9
  text: str, chunk_size: int = 1000, chunk_overlap: int = 100
10
  ) -> List[str]:
11
  """
12
- [TODO Day 1] 긴 텍스트를 적절한 크기의 청크로 분할하는 함수를 구현하세요.
13
 
14
- 요구사항:
15
- 1. 텍스트를 의미 단위로 분할할 수 있는 방법을 직접 조사하여 구현하세요.
16
- - 어떤 라이브러리를 사용할지, 어떤 방식으로 분할할지는 스스로 결정하세요.
17
- 2. chunk_size와 chunk_overlap 파라미터가 실제 분할 결과에 어떤 영향을 미치는지
18
- 이해한 상태에서 구현하세요.
19
- 3. (Deep Dive) 다양한 chunk_size를 실험해보고 최적의 값을 찾아보세요.
20
- 힌트: REFERENCE.md의 청킹 섹션을 먼저 읽고, 어떤 파라미터가 품질에 영향을 주는지 파악하세요.
21
 
22
  Args:
23
- text (str): 분할할 전체 텍스트
24
- chunk_size (int): 청크 당 최대 크기
25
- chunk_overlap (int): 청크 간 중복 크기
26
 
27
  Returns:
28
- List[str]: 분할된 텍스트 청크 리스트
29
  """
30
- # ---------------------------------------------------------
31
- # [Day 1] 과제: 여기에 텍스트 분할 로직을 작성하세요.
32
- # ---------------------------------------------------------
33
- model = SentenceTransformer("BAAI/bge-m3")
34
  sentences = nltk.sent_tokenize(text)
35
- embeddings = model.encode(sentences)
 
 
 
36
 
37
- # 인접 문장 유사도 계산
38
  similarities = [
39
- cosine_similarity([embeddings[i]], [embeddings[i + 1]])[0][0]
40
  for i in range(len(embeddings) - 1)
41
  ]
42
 
43
- # 유사도가 임계값 이하인 지점을 경계로 청크 구성
44
- threshold = 0.5
45
- chunks, current = [], [sentences[0]]
 
 
 
46
  for i, sim in enumerate(similarities):
47
  if sim < threshold:
48
- chunks.append(" ".join(current))
49
- current = []
50
- current.append(sentences[i + 1])
51
- chunks.append(" ".join(current))
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
52
 
53
 
54
  def get_embedding(text: str) -> List[float]:
 
1
  from typing import List
2
  import nltk
 
 
3
  import numpy as np
4
+ import requests
5
+ from app.config import OLLAMA_BASE, OLLAMA_EMBED_MODEL
6
+
7
+
8
+ def _ollama_embed(text: str) -> List[float]:
9
+ resp = requests.post(
10
+ f"{OLLAMA_BASE}/api/embeddings",
11
+ json={"model": OLLAMA_EMBED_MODEL, "prompt": text},
12
+ )
13
+ resp.raise_for_status()
14
+ return resp.json()["embedding"]
15
+
16
+
17
+ def _cosine_similarity(a: np.ndarray, b: np.ndarray) -> float:
18
+ norm = np.linalg.norm(a) * np.linalg.norm(b)
19
+ if norm == 0:
20
+ return 0.0
21
+ return float(np.dot(a, b) / norm)
22
 
23
 
24
  def split_text(
25
  text: str, chunk_size: int = 1000, chunk_overlap: int = 100
26
  ) -> List[str]:
27
  """
28
+ 긴 텍스트를 의미 기반으로 청크로 분할하는 함수.
29
 
30
+ 1. nltk 문장 분리
31
+ 2. Ollama 임베딩으로 인접 문장 유사도 계산
32
+ 3. 적응적 threshold(평균 - 1σ)로 의미 경계 분할
33
+ 4. chunk_size 적용 (작은 그룹 병합, 큰 그룹 강제 분할)
34
+ 5. chunk_overlap 적용
 
 
35
 
36
  Args:
37
+ text: 분할할 전체 텍스트
38
+ chunk_size: 청크 당 최대 글자 수
39
+ chunk_overlap: 청크 간 중복 글자 수
40
 
41
  Returns:
42
+ 분할된 텍스트 청크 리스트
43
  """
 
 
 
 
44
  sentences = nltk.sent_tokenize(text)
45
+ if len(sentences) <= 1:
46
+ return [text.strip()] if text.strip() else []
47
+
48
+ embeddings = [np.array(_ollama_embed(s)) for s in sentences]
49
 
 
50
  similarities = [
51
+ _cosine_similarity(embeddings[i], embeddings[i + 1])
52
  for i in range(len(embeddings) - 1)
53
  ]
54
 
55
+ mean_sim = np.mean(similarities)
56
+ std_sim = np.std(similarities)
57
+ threshold = mean_sim - std_sim
58
+
59
+ # 의미 경계에서 문장 그룹 분할
60
+ groups: List[List[str]] = [[sentences[0]]]
61
  for i, sim in enumerate(similarities):
62
  if sim < threshold:
63
+ groups.append([])
64
+ groups[-1].append(sentences[i + 1])
65
+
66
+ # chunk_size 적용: 작은 그룹 병합, 큰 그룹 강제 분할
67
+ merged: List[str] = []
68
+ buffer = ""
69
+ for group in groups:
70
+ group_text = " ".join(group)
71
+ if buffer and len(buffer) + len(group_text) + 1 > chunk_size:
72
+ merged.append(buffer.strip())
73
+ buffer = ""
74
+ buffer = (buffer + " " + group_text).strip() if buffer else group_text
75
+
76
+ if buffer:
77
+ merged.append(buffer.strip())
78
+
79
+ # 큰 청크 강제 분할
80
+ chunks: List[str] = []
81
+ for chunk in merged:
82
+ while len(chunk) > chunk_size:
83
+ split_pos = chunk[:chunk_size].rfind(" ")
84
+ if split_pos == -1:
85
+ split_pos = chunk_size
86
+ chunks.append(chunk[:split_pos].strip())
87
+ chunk = chunk[split_pos:].strip()
88
+ if chunk:
89
+ chunks.append(chunk)
90
+
91
+ # chunk_overlap 적용
92
+ if chunk_overlap > 0 and len(chunks) > 1:
93
+ overlapped = [chunks[0]]
94
+ for i in range(1, len(chunks)):
95
+ prev = chunks[i - 1]
96
+ overlap_text = prev[-chunk_overlap:] if len(prev) > chunk_overlap else prev
97
+ space_pos = overlap_text.find(" ")
98
+ if space_pos != -1:
99
+ overlap_text = overlap_text[space_pos + 1 :]
100
+ overlapped.append((overlap_text + " " + chunks[i]).strip())
101
+ chunks = overlapped
102
+
103
+ return chunks
104
 
105
 
106
  def get_embedding(text: str) -> List[float]:
docs/02-weekend1/README.md CHANGED
@@ -39,7 +39,7 @@
39
 
40
  ### 기능 구현
41
 
42
- - [ ] PDF 업로드 성공
43
  - [ ] 최소 1개 문서의 청크/임베딩 저장 성공
44
  - [ ] `/qa` 질의 3회 성공
45
  - [ ] 문서 외 질문에 대해 안전 응답 확인
 
39
 
40
  ### 기능 구현
41
 
42
+ - [x] PDF 업로드 성공
43
  - [ ] 최소 1개 문서의 청크/임베딩 저장 성공
44
  - [ ] `/qa` 질의 3회 성공
45
  - [ ] 문서 외 질문에 대해 안전 응답 확인