woongmin commited on
Commit
d6d8861
·
1 Parent(s): 24b9451

[Delta-02] search_similar_embeddings 구현 및 작업 현황 정리

Browse files
260315 pilab-sprint2-rag 작업중.md ADDED
@@ -0,0 +1,44 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # pilab-sprint2-rag 작업 현황 (2026-03-15)
2
+
3
+ ## 완료된 작업
4
+
5
+ ### Day 1: PDF 텍스트 추출 + 파일 업로드
6
+ - `app/main.py` — `extract_text_from_pdf()`: pdfplumber로 PDF 전체 페이지 텍스트 추출 구현
7
+ - `app/main.py` — `/documents/` 엔드포인트: 파일 저장 → 텍스트 추출 → 청크 분할 → 임베딩 저장 파이프라인 완성
8
+
9
+ ### Day 2: 임베딩 + DB 저장
10
+ - `app/embedding_utils.py` — `get_embedding()`: Ollama API로 텍스트 → 768차원 벡터 변환
11
+ - `app/embedding_utils.py` — `split_text()`: nltk 문장 분리 + 코사인 유사도 기반 의미 청킹 (적응적 threshold)
12
+ - `app/supabase_utils.py` — `save_embedding()`: document_chunks 테이블에 청크/임베딩 저장
13
+
14
+ ### Day 3 (진행중): 벡터 유사도 검색
15
+ - `app/supabase_utils.py` — `search_similar_embeddings()`: Supabase RPC `match_documents` 호출 + similarity_threshold 필터링 구현 완료
16
+ - 테스트 결과: RPC 정상 동작 확인, threshold=0.5에서 5개 결과 반환, threshold=0.7에서 의미적으로 가까운 질문 시 결과 반환 확인
17
+
18
+ ---
19
+
20
+ ## 남은 작업
21
+
22
+ ### Day 3~4: `/qa` 엔드포인트 RAG 로직 구현 (`app/main.py:141~155`)
23
+
24
+ 현재 stub 상태. 아래 4단계를 구현해야 한다:
25
+
26
+ 1. **질문 임베딩** — `get_embedding(user_question)`으로 질문을 벡터로 변환
27
+ 2. **벡터 검색** — `search_similar_embeddings()`로 관련 청크 가져오기 (함수는 이미 완성)
28
+ 3. **프롬프트 구성** — System Prompt + 검색된 Context + Question 조합
29
+ - 환각 방지를 위한 시스템 프롬프트 설계 필요
30
+ - `docs/01-prework/entry-task.md`에서 작성한 시스템 프롬프트 초안 적용
31
+ 4. **LLM 응답 생성** — Ollama API 호출하여 답변 생성
32
+ - Ollama Chat API 스펙 확인 필요 (`/api/chat`)
33
+ - PROVIDER 설정에 따라 OpenAI 분기 (선택사항)
34
+
35
+ ### Deep Dive (선택)
36
+ - 대화 기억: messages 리스트 관리로 이전 대화 내용 유지 (REFERENCE.md의 Query Rewriting 참고)
37
+ - 비동기 처리: 대량 청크 임베딩 시 속도 개선
38
+
39
+ ---
40
+
41
+ ## 참고 사항
42
+ - 테스트용 document_id: `7579b825-ce72-4928-ab4f-77c6d0205d2a`
43
+ - 임베딩 모델: Ollama (768차원)
44
+ - similarity_threshold 기본값 0.7 — 의미적으로 가까운 질문이어야 결과가 나옴 (키워드 매칭이 아닌 의미 검색)
app/supabase_utils.py CHANGED
@@ -70,7 +70,17 @@ def search_similar_embeddings(
70
  Returns:
71
  List[Dict[str, Any]]: 유사한 문서 청크 리스트
72
  """
73
- # ---------------------------------------------------------
74
- # [Day 3] 과제: 여기에 벡터 검색 로직을 작성하세요.
75
- # ---------------------------------------------------------
76
- pass
 
 
 
 
 
 
 
 
 
 
 
70
  Returns:
71
  List[Dict[str, Any]]: 유사한 문서 청크 리스트
72
  """
73
+ result = supabase.rpc(
74
+ "match_documents",
75
+ {
76
+ "query_embedding": query_embedding,
77
+ "match_count": limit,
78
+ "p_document_id": document_id,
79
+ },
80
+ ).execute()
81
+
82
+ filtered = [
83
+ row for row in result.data if row.get("similarity", 0) >= similarity_threshold
84
+ ]
85
+
86
+ return filtered