woongmin commited on
Commit
0bbd198
·
1 Parent(s): 2c0a524

[Delta-02] 중복 업로드 방지 로직 추가 및 체크리스트 업데이트

Browse files
Files changed (4) hide show
  1. README.md +6 -6
  2. app/main.py +16 -3
  3. app/supabase_utils.py +18 -2
  4. docs/02-weekend1/README.md +9 -8
README.md CHANGED
@@ -335,12 +335,12 @@ pipenv run pre-commit install
335
  - 주말(토/일, 9:00-18:00): 페어프로그래밍으로 구현/검증
336
  - 평일: 사전 준비, 조사, 실험 기록, 의사결정 정리
337
 
338
- | 단계 | 기간 | 문서 |
339
- |---|---|---|
340
- | **Prework** | Week 1 전 평일 | [`docs/01-prework/README.md`](./docs/01-prework/README.md) |
341
- | **Weekend-1** | Week 1 주말 | [`docs/02-weekend1/README.md`](./docs/02-weekend1/README.md) |
342
- | **Midweek** | Week 1~2 사이 평일 | [`docs/03-midweek/README.md`](./docs/03-midweek/README.md) |
343
- | **Weekend-2** | Week 2 주말 | [`docs/04-weekend2/README.md`](./docs/04-weekend2/README.md) |
344
 
345
  <br>
346
  <br>
 
335
  - 주말(토/일, 9:00-18:00): 페어프로그래밍으로 구현/검증
336
  - 평일: 사전 준비, 조사, 실험 기록, 의사결정 정리
337
 
338
+ | 단계 | 기간 | 문서 |
339
+ | ------------- | ------------------ | ------------------------------------------------------------ |
340
+ | **Prework** | Week 1 전 평일 | [`docs/01-prework/README.md`](./docs/01-prework/README.md) |
341
+ | **Weekend-1** | Week 1 주말 | [`docs/02-weekend1/README.md`](./docs/02-weekend1/README.md) |
342
+ | **Midweek** | Week 1~2 사이 평일 | [`docs/03-midweek/README.md`](./docs/03-midweek/README.md) |
343
+ | **Weekend-2** | Week 2 주말 | [`docs/04-weekend2/README.md`](./docs/04-weekend2/README.md) |
344
 
345
  <br>
346
  <br>
app/main.py CHANGED
@@ -9,11 +9,16 @@ from typing import Dict, List
9
 
10
  # 필요한 모듈 임포트 (여러분이 구현한 모듈)
11
  from .embedding_utils import split_text, get_embedding
12
- from .supabase_utils import save_embedding, search_similar_embeddings
 
 
 
 
13
  from .config import UPLOAD_DIR, ALLOWED_EXTENSIONS, OLLAMA_BASE, OLLAMA_CHAT_MODEL
14
 
15
  import pdfplumber
16
  import requests
 
17
 
18
  app = FastAPI(title="DocuFlow AI Agent")
19
 
@@ -79,10 +84,18 @@ async def upload_document(file: UploadFile = File(...)):
79
  # 4. 임베딩 및 저장
80
  # ---------------------------------------------------------
81
 
 
 
 
 
 
 
 
 
 
82
  # 1. 파일 저장
83
  file_path = os.path.join(UPLOAD_DIR, f"{document_id}_{file.filename}")
84
  with open(file_path, "wb") as f:
85
- content = await file.read()
86
  f.write(content)
87
 
88
  # 2. 텍스트 추출
@@ -94,7 +107,7 @@ async def upload_document(file: UploadFile = File(...)):
94
  # 4. 임베딩 및 저장
95
  for i, chunk in enumerate(chunks):
96
  embedding = get_embedding(chunk)
97
- save_embedding(document_id, chunk, embedding, i)
98
 
99
  return {
100
  "message": "문서 처리가 완료되었습니다.",
 
9
 
10
  # 필요한 모듈 임포트 (여러분이 구현한 모듈)
11
  from .embedding_utils import split_text, get_embedding
12
+ from .supabase_utils import (
13
+ save_embedding,
14
+ search_similar_embeddings,
15
+ get_document_id_by_hash,
16
+ )
17
  from .config import UPLOAD_DIR, ALLOWED_EXTENSIONS, OLLAMA_BASE, OLLAMA_CHAT_MODEL
18
 
19
  import pdfplumber
20
  import requests
21
+ import hashlib
22
 
23
  app = FastAPI(title="DocuFlow AI Agent")
24
 
 
84
  # 4. 임베딩 및 저장
85
  # ---------------------------------------------------------
86
 
87
+ content = await file.read()
88
+ file_hash = hashlib.sha256(content).hexdigest()
89
+ existing_id = get_document_id_by_hash(file_hash)
90
+ if existing_id:
91
+ return {
92
+ "message": "이미 동일한 문서가 업로드되어 있습니다.",
93
+ "document_id": existing_id,
94
+ }
95
+
96
  # 1. 파일 저장
97
  file_path = os.path.join(UPLOAD_DIR, f"{document_id}_{file.filename}")
98
  with open(file_path, "wb") as f:
 
99
  f.write(content)
100
 
101
  # 2. 텍스트 추출
 
107
  # 4. 임베딩 및 저장
108
  for i, chunk in enumerate(chunks):
109
  embedding = get_embedding(chunk)
110
+ save_embedding(document_id, chunk, embedding, i, file_hash=file_hash)
111
 
112
  return {
113
  "message": "문서 처리가 완료되었습니다.",
app/supabase_utils.py CHANGED
@@ -13,7 +13,11 @@ supabase: Client = create_client(SUPABASE_URL, SUPABASE_KEY)
13
 
14
 
15
  def save_embedding(
16
- document_id: str, chunk: str, embedding: List[float], chunk_index: int
 
 
 
 
17
  ) -> Dict:
18
  """
19
  [TODO Day 2] 문서 청크와 임베딩 벡터를 Supabase DB에 저장하는 함수입니다.
@@ -36,12 +40,17 @@ def save_embedding(
36
  # ---------------------------------------------------------
37
  # [Day 2] 과제: 여기에 DB 저장 로직을 작성하세요.
38
  # ---------------------------------------------------------
 
 
 
 
 
39
  data = {
40
  "document_id": document_id,
41
  "content": chunk,
42
  "embedding": embedding,
43
  "chunk_index": chunk_index,
44
- "metadata": {},
45
  }
46
  result = supabase.table("document_chunks").insert(data).execute()
47
  return result.data
@@ -84,3 +93,10 @@ def search_similar_embeddings(
84
  ]
85
 
86
  return filtered
 
 
 
 
 
 
 
 
13
 
14
 
15
  def save_embedding(
16
+ document_id: str,
17
+ chunk: str,
18
+ embedding: List[float],
19
+ chunk_index: int,
20
+ file_hash: str | None = None,
21
  ) -> Dict:
22
  """
23
  [TODO Day 2] 문서 청크와 임베딩 벡터를 Supabase DB에 저장하는 함수입니다.
 
40
  # ---------------------------------------------------------
41
  # [Day 2] 과제: 여기에 DB 저장 로직을 작성하세요.
42
  # ---------------------------------------------------------
43
+ if file_hash:
44
+ metadata = {"file_hash": file_hash}
45
+ else:
46
+ metadata = {}
47
+
48
  data = {
49
  "document_id": document_id,
50
  "content": chunk,
51
  "embedding": embedding,
52
  "chunk_index": chunk_index,
53
+ "metadata": metadata,
54
  }
55
  result = supabase.table("document_chunks").insert(data).execute()
56
  return result.data
 
93
  ]
94
 
95
  return filtered
96
+
97
+
98
+ def get_document_id_by_hash(file_hash: str) -> str:
99
+ result = supabase.rpc("get_document_by_hash", {"p_hash": file_hash}).execute()
100
+ if result.data:
101
+ return result.data[0]["document_id"]
102
+ return None
docs/02-weekend1/README.md CHANGED
@@ -41,16 +41,16 @@
41
 
42
  - [x] PDF 업로드 성공
43
  - [x] 최소 1개 문서의 청크/임베딩 저장 성공
44
- - [ ] `/qa` 질의 3회 성공
45
- - [ ] 문서 외 질문에 대해 안전 응답 확인
46
- - [ ] 실패 케이스 3개 이상 기록
47
 
48
  ### 시스템 프롬프트 품질 검증
49
 
50
- - [ ] [`docs/01-prework/entry-task.md`](../01-prework/entry-task.md)에서 작성한 시스템 프롬프트 초안을 실제 구현에 적용
51
- - [ ] 문서에 없는 질문 3가지에서 환각 없이 거절/한계 고지 응답 확인
52
- - [ ] 문서에 있는 질문 3가지에서 근거(sources)를 포함한 답변 확인
53
- - [ ] 프롬프트 1회 이상 수정 후 수정 전/후 답변 차이 기록
54
 
55
  ### 이해도 확인 (페어 구두 설명)
56
 
@@ -58,7 +58,8 @@
58
  설명하지 못하는 항목은 코드와 [`docs/00-shared/reference.md`](../00-shared/reference.md)를 다시 확인하세요.
59
 
60
  - [ ] "`chunk_size`를 줄이면 검색 결과와 답변 품질이 어떻게 달라지는가?"
61
- - [ ] "같은 문서를 두 번 업로드하면 어떤 문제가 생기는가? 어떻게 해결할 수 있는가?"
 
62
  - [ ] "`similarity_threshold`를 0.7에서 0.3으로 낮추면 어떤 일이 벌어지는가?"
63
  - [ ] "현재 구현에서 대용량 PDF를 업로드할 때 병목이 어디에서 생기는가?"
64
 
 
41
 
42
  - [x] PDF 업로드 성공
43
  - [x] 최소 1개 문서의 청크/임베딩 저장 성공
44
+ - [x] `/qa` 질의 3회 성공
45
+ - [x] 문서 외 질문에 대해 안전 응답 확인
46
+ - [x] 실패 케이스 3개 이상 기록
47
 
48
  ### 시스템 프롬프트 품질 검증
49
 
50
+ - [x] [`docs/01-prework/entry-task.md`](../01-prework/entry-task.md)에서 작성한 시스템 프롬프트 초안을 실제 구현에 적용
51
+ - [x] 문서에 없는 질문 3가지에서 환각 없이 거절/한계 고지 응답 확인
52
+ - [x] 문서에 있는 질문 3가지에서 근거(sources)를 포함한 답변 확인
53
+ - [x] 프롬프트 1회 이상 수정 후 수정 전/후 답변 차이 기록
54
 
55
  ### 이해도 확인 (페어 구두 설명)
56
 
 
58
  설명하지 못하는 항목은 코드와 [`docs/00-shared/reference.md`](../00-shared/reference.md)를 다시 확인하세요.
59
 
60
  - [ ] "`chunk_size`를 줄이면 검색 결과와 답변 품질이 어떻게 달라지는가?"
61
+ - [x] "같은 문서를 두 번 업로드하면 어떤 문제가 생기는가? 어떻게 해결할 수 있는가?"
62
+ - similarity가 떨어졌으며, 할루시네이션 현상이 많이 발생했다.
63
  - [ ] "`similarity_threshold`를 0.7에서 0.3으로 낮추면 어떤 일이 벌어지는가?"
64
  - [ ] "현재 구현에서 대용량 PDF를 업로드할 때 병목이 어디에서 생기는가?"
65