Spaces:
Runtime error
Runtime error
[Delta-02] 중복 업로드 방지 로직 추가 및 체크리스트 업데이트
Browse files- README.md +6 -6
- app/main.py +16 -3
- app/supabase_utils.py +18 -2
- docs/02-weekend1/README.md +9 -8
README.md
CHANGED
|
@@ -335,12 +335,12 @@ pipenv run pre-commit install
|
|
| 335 |
- 주말(토/일, 9:00-18:00): 페어프로그래밍으로 구현/검증
|
| 336 |
- 평일: 사전 준비, 조사, 실험 기록, 의사결정 정리
|
| 337 |
|
| 338 |
-
| 단계
|
| 339 |
-
|---|---|---|
|
| 340 |
-
| **Prework**
|
| 341 |
-
| **Weekend-1** | Week 1 주말
|
| 342 |
-
| **Midweek**
|
| 343 |
-
| **Weekend-2** | Week 2 주말
|
| 344 |
|
| 345 |
<br>
|
| 346 |
<br>
|
|
|
|
| 335 |
- 주말(토/일, 9:00-18:00): 페어프로그래밍으로 구현/검증
|
| 336 |
- 평일: 사전 준비, 조사, 실험 기록, 의사결정 정리
|
| 337 |
|
| 338 |
+
| 단계 | 기간 | 문서 |
|
| 339 |
+
| ------------- | ------------------ | ------------------------------------------------------------ |
|
| 340 |
+
| **Prework** | Week 1 전 평일 | [`docs/01-prework/README.md`](./docs/01-prework/README.md) |
|
| 341 |
+
| **Weekend-1** | Week 1 주말 | [`docs/02-weekend1/README.md`](./docs/02-weekend1/README.md) |
|
| 342 |
+
| **Midweek** | Week 1~2 사이 평일 | [`docs/03-midweek/README.md`](./docs/03-midweek/README.md) |
|
| 343 |
+
| **Weekend-2** | Week 2 주말 | [`docs/04-weekend2/README.md`](./docs/04-weekend2/README.md) |
|
| 344 |
|
| 345 |
<br>
|
| 346 |
<br>
|
app/main.py
CHANGED
|
@@ -9,11 +9,16 @@ from typing import Dict, List
|
|
| 9 |
|
| 10 |
# 필요한 모듈 임포트 (여러분이 구현한 모듈)
|
| 11 |
from .embedding_utils import split_text, get_embedding
|
| 12 |
-
from .supabase_utils import
|
|
|
|
|
|
|
|
|
|
|
|
|
| 13 |
from .config import UPLOAD_DIR, ALLOWED_EXTENSIONS, OLLAMA_BASE, OLLAMA_CHAT_MODEL
|
| 14 |
|
| 15 |
import pdfplumber
|
| 16 |
import requests
|
|
|
|
| 17 |
|
| 18 |
app = FastAPI(title="DocuFlow AI Agent")
|
| 19 |
|
|
@@ -79,10 +84,18 @@ async def upload_document(file: UploadFile = File(...)):
|
|
| 79 |
# 4. 임베딩 및 저장
|
| 80 |
# ---------------------------------------------------------
|
| 81 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 82 |
# 1. 파일 저장
|
| 83 |
file_path = os.path.join(UPLOAD_DIR, f"{document_id}_{file.filename}")
|
| 84 |
with open(file_path, "wb") as f:
|
| 85 |
-
content = await file.read()
|
| 86 |
f.write(content)
|
| 87 |
|
| 88 |
# 2. 텍스트 추출
|
|
@@ -94,7 +107,7 @@ async def upload_document(file: UploadFile = File(...)):
|
|
| 94 |
# 4. 임베딩 및 저장
|
| 95 |
for i, chunk in enumerate(chunks):
|
| 96 |
embedding = get_embedding(chunk)
|
| 97 |
-
save_embedding(document_id, chunk, embedding, i)
|
| 98 |
|
| 99 |
return {
|
| 100 |
"message": "문서 처리가 완료되었습니다.",
|
|
|
|
| 9 |
|
| 10 |
# 필요한 모듈 임포트 (여러분이 구현한 모듈)
|
| 11 |
from .embedding_utils import split_text, get_embedding
|
| 12 |
+
from .supabase_utils import (
|
| 13 |
+
save_embedding,
|
| 14 |
+
search_similar_embeddings,
|
| 15 |
+
get_document_id_by_hash,
|
| 16 |
+
)
|
| 17 |
from .config import UPLOAD_DIR, ALLOWED_EXTENSIONS, OLLAMA_BASE, OLLAMA_CHAT_MODEL
|
| 18 |
|
| 19 |
import pdfplumber
|
| 20 |
import requests
|
| 21 |
+
import hashlib
|
| 22 |
|
| 23 |
app = FastAPI(title="DocuFlow AI Agent")
|
| 24 |
|
|
|
|
| 84 |
# 4. 임베딩 및 저장
|
| 85 |
# ---------------------------------------------------------
|
| 86 |
|
| 87 |
+
content = await file.read()
|
| 88 |
+
file_hash = hashlib.sha256(content).hexdigest()
|
| 89 |
+
existing_id = get_document_id_by_hash(file_hash)
|
| 90 |
+
if existing_id:
|
| 91 |
+
return {
|
| 92 |
+
"message": "이미 동일한 문서가 업로드되어 있습니다.",
|
| 93 |
+
"document_id": existing_id,
|
| 94 |
+
}
|
| 95 |
+
|
| 96 |
# 1. 파일 저장
|
| 97 |
file_path = os.path.join(UPLOAD_DIR, f"{document_id}_{file.filename}")
|
| 98 |
with open(file_path, "wb") as f:
|
|
|
|
| 99 |
f.write(content)
|
| 100 |
|
| 101 |
# 2. 텍스트 추출
|
|
|
|
| 107 |
# 4. 임베딩 및 저장
|
| 108 |
for i, chunk in enumerate(chunks):
|
| 109 |
embedding = get_embedding(chunk)
|
| 110 |
+
save_embedding(document_id, chunk, embedding, i, file_hash=file_hash)
|
| 111 |
|
| 112 |
return {
|
| 113 |
"message": "문서 처리가 완료되었습니다.",
|
app/supabase_utils.py
CHANGED
|
@@ -13,7 +13,11 @@ supabase: Client = create_client(SUPABASE_URL, SUPABASE_KEY)
|
|
| 13 |
|
| 14 |
|
| 15 |
def save_embedding(
|
| 16 |
-
document_id: str,
|
|
|
|
|
|
|
|
|
|
|
|
|
| 17 |
) -> Dict:
|
| 18 |
"""
|
| 19 |
[TODO Day 2] 문서 청크와 임베딩 벡터를 Supabase DB에 저장하는 함수입니다.
|
|
@@ -36,12 +40,17 @@ def save_embedding(
|
|
| 36 |
# ---------------------------------------------------------
|
| 37 |
# [Day 2] 과제: 여기에 DB 저장 로직을 작성하세요.
|
| 38 |
# ---------------------------------------------------------
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 39 |
data = {
|
| 40 |
"document_id": document_id,
|
| 41 |
"content": chunk,
|
| 42 |
"embedding": embedding,
|
| 43 |
"chunk_index": chunk_index,
|
| 44 |
-
"metadata":
|
| 45 |
}
|
| 46 |
result = supabase.table("document_chunks").insert(data).execute()
|
| 47 |
return result.data
|
|
@@ -84,3 +93,10 @@ def search_similar_embeddings(
|
|
| 84 |
]
|
| 85 |
|
| 86 |
return filtered
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 13 |
|
| 14 |
|
| 15 |
def save_embedding(
|
| 16 |
+
document_id: str,
|
| 17 |
+
chunk: str,
|
| 18 |
+
embedding: List[float],
|
| 19 |
+
chunk_index: int,
|
| 20 |
+
file_hash: str | None = None,
|
| 21 |
) -> Dict:
|
| 22 |
"""
|
| 23 |
[TODO Day 2] 문서 청크와 임베딩 벡터를 Supabase DB에 저장하는 함수입니다.
|
|
|
|
| 40 |
# ---------------------------------------------------------
|
| 41 |
# [Day 2] 과제: 여기에 DB 저장 로직을 작성하세요.
|
| 42 |
# ---------------------------------------------------------
|
| 43 |
+
if file_hash:
|
| 44 |
+
metadata = {"file_hash": file_hash}
|
| 45 |
+
else:
|
| 46 |
+
metadata = {}
|
| 47 |
+
|
| 48 |
data = {
|
| 49 |
"document_id": document_id,
|
| 50 |
"content": chunk,
|
| 51 |
"embedding": embedding,
|
| 52 |
"chunk_index": chunk_index,
|
| 53 |
+
"metadata": metadata,
|
| 54 |
}
|
| 55 |
result = supabase.table("document_chunks").insert(data).execute()
|
| 56 |
return result.data
|
|
|
|
| 93 |
]
|
| 94 |
|
| 95 |
return filtered
|
| 96 |
+
|
| 97 |
+
|
| 98 |
+
def get_document_id_by_hash(file_hash: str) -> str:
|
| 99 |
+
result = supabase.rpc("get_document_by_hash", {"p_hash": file_hash}).execute()
|
| 100 |
+
if result.data:
|
| 101 |
+
return result.data[0]["document_id"]
|
| 102 |
+
return None
|
docs/02-weekend1/README.md
CHANGED
|
@@ -41,16 +41,16 @@
|
|
| 41 |
|
| 42 |
- [x] PDF 업로드 성공
|
| 43 |
- [x] 최소 1개 문서의 청크/임베딩 저장 성공
|
| 44 |
-
- [
|
| 45 |
-
- [
|
| 46 |
-
- [
|
| 47 |
|
| 48 |
### 시스템 프롬프트 품질 검증
|
| 49 |
|
| 50 |
-
- [
|
| 51 |
-
- [
|
| 52 |
-
- [
|
| 53 |
-
- [
|
| 54 |
|
| 55 |
### 이해도 확인 (페어 구두 설명)
|
| 56 |
|
|
@@ -58,7 +58,8 @@
|
|
| 58 |
설명하지 못하는 항목은 코드와 [`docs/00-shared/reference.md`](../00-shared/reference.md)를 다시 확인하세요.
|
| 59 |
|
| 60 |
- [ ] "`chunk_size`를 줄이면 검색 결과와 답변 품질이 어떻게 달라지는가?"
|
| 61 |
-
- [
|
|
|
|
| 62 |
- [ ] "`similarity_threshold`를 0.7에서 0.3으로 낮추면 어떤 일이 벌어지는가?"
|
| 63 |
- [ ] "현재 구현에서 대용량 PDF를 업로드할 때 병목이 어디에서 생기는가?"
|
| 64 |
|
|
|
|
| 41 |
|
| 42 |
- [x] PDF 업로드 성공
|
| 43 |
- [x] 최소 1개 문서의 청크/임베딩 저장 성공
|
| 44 |
+
- [x] `/qa` 질의 3회 성공
|
| 45 |
+
- [x] 문서 외 질문에 대해 안전 응답 확인
|
| 46 |
+
- [x] 실패 케이스 3개 이상 기록
|
| 47 |
|
| 48 |
### 시스템 프롬프트 품질 검증
|
| 49 |
|
| 50 |
+
- [x] [`docs/01-prework/entry-task.md`](../01-prework/entry-task.md)에서 작성한 시스템 프롬프트 초안을 실제 구현에 적용
|
| 51 |
+
- [x] 문서에 없는 질문 3가지에서 환각 없이 거절/한계 고지 응답 확인
|
| 52 |
+
- [x] 문서에 있는 질문 3가지에서 근거(sources)를 포함한 답변 확인
|
| 53 |
+
- [x] 프롬프트 1회 이상 수정 후 수정 전/후 답변 차이 기록
|
| 54 |
|
| 55 |
### 이해도 확인 (페어 구두 설명)
|
| 56 |
|
|
|
|
| 58 |
설명하지 못하는 항목은 코드와 [`docs/00-shared/reference.md`](../00-shared/reference.md)를 다시 확인하세요.
|
| 59 |
|
| 60 |
- [ ] "`chunk_size`를 줄이면 검색 결과와 답변 품질이 어떻게 달라지는가?"
|
| 61 |
+
- [x] "같은 문서를 두 번 업로드하면 어떤 문제가 생기는가? 어떻게 해결할 수 있는가?"
|
| 62 |
+
- similarity가 떨어졌으며, 할루시네이션 현상이 많이 발생했다.
|
| 63 |
- [ ] "`similarity_threshold`를 0.7에서 0.3으로 낮추면 어떤 일이 벌어지는가?"
|
| 64 |
- [ ] "현재 구현에서 대용량 PDF를 업로드할 때 병목이 어디에서 생기는가?"
|
| 65 |
|