Spaces:
Runtime error
Runtime error
[Delta-02] search_similar_embeddings 구현 및 작업 현황 정리
Browse files- 260315 pilab-sprint2-rag 작업중.md +44 -0
- app/supabase_utils.py +14 -4
260315 pilab-sprint2-rag 작업중.md
ADDED
|
@@ -0,0 +1,44 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# pilab-sprint2-rag 작업 현황 (2026-03-15)
|
| 2 |
+
|
| 3 |
+
## 완료된 작업
|
| 4 |
+
|
| 5 |
+
### Day 1: PDF 텍스트 추출 + 파일 업로드
|
| 6 |
+
- `app/main.py` — `extract_text_from_pdf()`: pdfplumber로 PDF 전체 페이지 텍스트 추출 구현
|
| 7 |
+
- `app/main.py` — `/documents/` 엔드포인트: 파일 저장 → 텍스트 추출 → 청크 분할 → 임베딩 저장 파이프라인 완성
|
| 8 |
+
|
| 9 |
+
### Day 2: 임베딩 + DB 저장
|
| 10 |
+
- `app/embedding_utils.py` — `get_embedding()`: Ollama API로 텍스트 → 768차원 벡터 변환
|
| 11 |
+
- `app/embedding_utils.py` — `split_text()`: nltk 문장 분리 + 코사인 유사도 기반 의미 청킹 (적응적 threshold)
|
| 12 |
+
- `app/supabase_utils.py` — `save_embedding()`: document_chunks 테이블에 청크/임베딩 저장
|
| 13 |
+
|
| 14 |
+
### Day 3 (진행중): 벡터 유사도 검색
|
| 15 |
+
- `app/supabase_utils.py` — `search_similar_embeddings()`: Supabase RPC `match_documents` 호출 + similarity_threshold 필터링 구현 완료
|
| 16 |
+
- 테스트 결과: RPC 정상 동작 확인, threshold=0.5에서 5개 결과 반환, threshold=0.7에서 의미적으로 가까운 질문 시 결과 반환 확인
|
| 17 |
+
|
| 18 |
+
---
|
| 19 |
+
|
| 20 |
+
## 남은 작업
|
| 21 |
+
|
| 22 |
+
### Day 3~4: `/qa` 엔드포인트 RAG 로직 구현 (`app/main.py:141~155`)
|
| 23 |
+
|
| 24 |
+
현재 stub 상태. 아래 4단계를 구현해야 한다:
|
| 25 |
+
|
| 26 |
+
1. **질문 임베딩** — `get_embedding(user_question)`으로 질문을 벡터로 변환
|
| 27 |
+
2. **벡터 검색** — `search_similar_embeddings()`로 관련 청크 가져오기 (함수는 이미 완성)
|
| 28 |
+
3. **프롬프트 구성** — System Prompt + 검색된 Context + Question 조합
|
| 29 |
+
- 환각 방지를 위한 시스템 프롬프트 설계 필요
|
| 30 |
+
- `docs/01-prework/entry-task.md`에서 작성한 시스템 프롬프트 초안 적용
|
| 31 |
+
4. **LLM 응답 생성** — Ollama API 호출하여 답변 생성
|
| 32 |
+
- Ollama Chat API 스펙 확인 필요 (`/api/chat`)
|
| 33 |
+
- PROVIDER 설정에 따라 OpenAI 분기 (선택사항)
|
| 34 |
+
|
| 35 |
+
### Deep Dive (선택)
|
| 36 |
+
- 대화 기억: messages 리스트 관리로 이전 대화 내용 유지 (REFERENCE.md의 Query Rewriting 참고)
|
| 37 |
+
- 비동기 처리: 대량 청크 임베딩 시 속도 개선
|
| 38 |
+
|
| 39 |
+
---
|
| 40 |
+
|
| 41 |
+
## 참고 사항
|
| 42 |
+
- 테스트용 document_id: `7579b825-ce72-4928-ab4f-77c6d0205d2a`
|
| 43 |
+
- 임베딩 모델: Ollama (768차원)
|
| 44 |
+
- similarity_threshold 기본값 0.7 — 의미적으로 가까운 질문이어야 결과가 나옴 (키워드 매칭이 아닌 의미 검색)
|
app/supabase_utils.py
CHANGED
|
@@ -70,7 +70,17 @@ def search_similar_embeddings(
|
|
| 70 |
Returns:
|
| 71 |
List[Dict[str, Any]]: 유사한 문서 청크 리스트
|
| 72 |
"""
|
| 73 |
-
|
| 74 |
-
|
| 75 |
-
|
| 76 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 70 |
Returns:
|
| 71 |
List[Dict[str, Any]]: 유사한 문서 청크 리스트
|
| 72 |
"""
|
| 73 |
+
result = supabase.rpc(
|
| 74 |
+
"match_documents",
|
| 75 |
+
{
|
| 76 |
+
"query_embedding": query_embedding,
|
| 77 |
+
"match_count": limit,
|
| 78 |
+
"p_document_id": document_id,
|
| 79 |
+
},
|
| 80 |
+
).execute()
|
| 81 |
+
|
| 82 |
+
filtered = [
|
| 83 |
+
row for row in result.data if row.get("similarity", 0) >= similarity_threshold
|
| 84 |
+
]
|
| 85 |
+
|
| 86 |
+
return filtered
|