from supabase import create_client, Client from typing import List, Dict, Any import os # 환경 변수 로드 및 Supabase 클라이언트 초기화 BATCH_SIZE = int(os.getenv("BATCH_SIZE", "100")) SUPABASE_URL = os.getenv("SUPABASE_URL") SUPABASE_KEY = os.getenv("SUPABASE_KEY") if not SUPABASE_URL or not SUPABASE_KEY: raise ValueError("SUPABASE_URL과 SUPABASE_KEY가 설정되어 있어야 합니다.") supabase: Client = create_client(SUPABASE_URL, SUPABASE_KEY) def save_embedding( document_id: str, chunk: str, embedding: List[float], chunk_index: int, file_hash: str | None = None, ) -> Dict: """ [TODO Day 2] 문서 청크와 임베딩 벡터를 Supabase DB에 저장하는 함수입니다. 요구사항: 1. README.md의 데이터베이스 구성 섹션에서 생성한 테이블에 데이터를 저장하세요. - 어떤 컬럼에 어떤 값을 저장해야 하는지 SQL 스키마를 직접 확인하세요. 2. Supabase Python 클라이언트 사용 방법은 직접 조사하세요. - 힌트: 위에서 이미 초기화된 `supabase` 클라이언트를 활용하세요. Args: document_id (str): 문서 ID chunk (str): 텍스트 청크 내용 embedding (List[float]): 임베딩 벡터 chunk_index (int): 청크 순서 인덱스 Returns: Dict: 저장된 데이터 정보 """ # --------------------------------------------------------- # [Day 2] 과제: 여기에 DB 저장 로직을 작성하세요. # --------------------------------------------------------- if file_hash: metadata = {"file_hash": file_hash} else: metadata = {} data = { "document_id": document_id, "content": chunk, "embedding": embedding, "chunk_index": chunk_index, "metadata": metadata, } result = supabase.table("document_chunks").insert(data).execute() return result.data def save_embeddings_batch( document_id: str, chunks: List[str], embeddings: List[List[float]], file_hash: str | None = None, ) -> None: """ 여러 청크를 한 번에 DB에 저장합니다. """ metadata = {"file_hash": file_hash} if file_hash else {} rows = [ { "document_id": document_id, "content": chunk, "embedding": embedding, "chunk_index": i, "metadata": metadata, } for i, (chunk, embedding) in enumerate(zip(chunks, embeddings)) ] # Supabase는 한 번에 여러 행 insert 지원 for i in range(0, len(rows), BATCH_SIZE): batch = rows[i : i + BATCH_SIZE] supabase.table("document_chunks").insert(batch).execute() def search_similar_embeddings( query_embedding: List[float], document_id: str, limit: int = 10, similarity_threshold: float = 0.6, ) -> List[Dict[str, Any]]: """ [TODO Day 3] 사용자의 질문 벡터와 유사한 문서 청크를 검색하는 함수입니다. 요구사항: 1. README.md의 데이터베이스 구성 섹션에서 생성한 RPC 함수를 활용하여 유사도 검색을 수행하세요. - 어떤 인자를 전달해야 하는지 SQL 스키마의 RPC 함수 정의를 직접 확인하세요. 2. 유사도(similarity)가 similarity_threshold 이상인 결과만 필터링하세요. (선택사항) Args: query_embedding (List[float]): 질문의 임베딩 벡터 document_id (str): 검색할 문서 ID limit (int): 반환할 최대 결과 수 similarity_threshold (float): 유사도 임계값 Returns: List[Dict[str, Any]]: 유사한 문서 청크 리스트 """ result = supabase.rpc( "match_documents", { "query_embedding": query_embedding, "match_count": limit, "p_document_id": document_id, }, ).execute() # 디버깅: 벡터 검색 결과 요약 print(f"\n{'='*60}") print( f" 벡터 검색 결과 (총 {len(result.data)}건, 임계값 >= {similarity_threshold})" ) print(f"{'='*60}") for i, row in enumerate(result.data, 1): sim = row.get("similarity", 0) preview = row.get("content", "")[:60].replace("\n", " ") marker = "✓" if sim >= similarity_threshold else "✗" print(f" {marker} [{i:2d}] 유사도 {sim:.4f} | {preview}...") print(f"{'='*60}") filtered = [ row for row in result.data if row.get("similarity", 0) >= similarity_threshold ] print(f" → 통과: {len(filtered)}건 / 제외: {len(result.data) - len(filtered)}건") return filtered def search_by_keyword( query: str, document_id: str, limit: int = 5 ) -> List[Dict[str, Any]]: """키워드 기반 검색 (벡터 검색 보완용). 고유명사 등 정확한 매칭이 필요할 때 사용.""" STOP_WORDS = { "은", "는", "이", "가", "을", "를", "의", "에", "에서", "로", "으로", "와", "과", "도", "만", "에게", "한", "하는", "있는", "없는", "알려주세요", "알려줘", "무엇인가요", "뭐야", "어떤", } words = query.replace("?", "").replace(".", "").replace(",", "").split() keywords = [w for w in words if len(w) > 1 and w not in STOP_WORDS] if not keywords: return [] seen = set() results = [] for kw in keywords: rows = ( supabase.table("document_chunks") .select("content") .eq("document_id", document_id) .ilike("content", f"%{kw}%") .limit(limit) .execute() ).data for row in rows: if row["content"] not in seen: seen.add(row["content"]) results.append(row) return results[:limit] def get_document_id_by_hash(file_hash: str) -> str: result = supabase.rpc("get_document_by_hash", {"p_hash": file_hash}).execute() if result.data: return result.data[0]["document_id"] return None