# Week 1 주말 패킷 (핵심 구현) [Stage: Weekend-1] 관련 문서: [`README.md`](../../README.md), [`docs/00-shared/reference.md`](../00-shared/reference.md) 주말(토/일, 9:00-18:00) 페어프로그래밍으로 아래 흐름을 완성합니다. - 문서 업로드/텍스트 추출 - 청킹/임베딩/벡터 저장 - 검색/답변 생성(RAG) --- ## 목표 - 로컬에서 업로드 → 검색 → 답변까지 E2E 동작 - 문서 외 질문에 대해 안전 응답 기본 동작 확보 - 최소 3개 실패 케이스를 재현/기록 --- ## 구현 범위 - `app/main.py` - `extract_text_from_pdf()` - `/documents/` 파이프라인 - `/qa` RAG 파이프라인 - `app/embedding_utils.py` - `split_text()` - `get_embedding()` - `app/supabase_utils.py` - `save_embedding()` - `search_similar_embeddings()` --- ## Weekend-1 DoD (페어 기준) ### 기능 구현 - [x] PDF 업로드 성공 - [x] 최소 1개 문서의 청크/임베딩 저장 성공 - [x] `/qa` 질의 3회 성공 - [x] 문서 외 질문에 대해 안전 응답 확인 - [x] 실패 케이스 3개 이상 기록 ### 시스템 프롬프트 품질 검증 - [x] [`docs/01-prework/entry-task.md`](../01-prework/entry-task.md)에서 작성한 시스템 프롬프트 초안을 실제 구현에 적용 - [x] 문서에 없는 질문 3가지에서 환각 없이 거절/한계 고지 응답 확인 - [x] 문서에 있는 질문 3가지에서 근거(sources)를 포함한 답변 확인 - [x] 프롬프트 1회 이상 수정 후 수정 전/후 답변 차이 기록 ### 이해도 확인 (페어 구두 설명) 구현 완료 후 아래 질문에 서로 구두로 설명할 수 있어야 합니다. 설명하지 못하는 항목은 코드와 [`docs/00-shared/reference.md`](../00-shared/reference.md)를 다시 확인하세요. - [x] "`chunk_size`를 줄이면 검색 결과와 답변 품질이 어떻게 달라지는가? - `chunk_size`를 줄이면 질문에 대한 답변의 내용이 너무 함축되어 품질이 떨어집니다. (답변에서 한자가 등장하는 현상이 생겼음) - [x] "같은 문서를 두 번 업로드하면 어떤 문제가 생기는가? 어떻게 해결할 수 있는가?" - similarity가 떨어졌으며, 할루시네이션 현상이 많이 발생했다. - [x] "`similarity_threshold`를 0.7에서 0.3으로 낮추면 어떤 일이 벌어지는가?" - 유사도가 낮아지면 질문과 관련된 단어가 있으면 맥락을 무시한 채 글을 가져와 판단하려고 한다. - [x] "현재 구현에서 대용량 PDF를 업로드할 때 병목이 어디에서 생기는가?" - 1. 병목 구간: embed_and_save_sec 전체 시간의 약 90%가 이 구간에서 소요됨. 청크마다 get_embedding()(Ollama 호출) + save_embedding()(Supabase insert)가 순차 실행됨. 청크 수가 많을수록 이 구간 시간이 길어짐. - 2. split_text_sec가 짧은 이유 문장 수가 500개를 넘어 \_simple_split_by_chars fallback이 사용됨. 임베딩 호출 없이 글자 수 기준으로만 분할해서 매우 빠름. - 3. extract_text_sec (23.58초) 페이지 수에 비례해 시간이 증가. 500페이지 이상 PDF라면 이 정도는 일반적인 수준. - 정리 - 병목: embed_and_save_sec (임베딩 + DB 저장) - 개선 방향: 청크 단위 임베딩/저장을 병렬 처리하거나 배치 처리로 바꾸는 것. - 참고: Weekend-1 이해도 질문 “대용량 PDF 업로드 시 병목이 어디인가?”에 대한 답은 임베딩 + DB 저장 루프라고 할 수 있음. --- ## 검증 명령 ```bash # 서버 실행 pipenv run uvicorn app.main:app --reload ``` 검증은 UI 또는 API 방식 중 팀에서 합의한 하나로 통일하세요.