Spaces:
Runtime error
Runtime error
[Delta-02] add: week1 사전 과제 제출
Browse files- docs/01-prework/entry-task.md +13 -8
- docs/01-prework/self-check.md +58 -2
docs/01-prework/entry-task.md
CHANGED
|
@@ -30,30 +30,35 @@
|
|
| 30 |
|
| 31 |
### 테스트 1
|
| 32 |
|
| 33 |
-
- 질문:
|
| 34 |
- 기대 동작:
|
|
|
|
|
|
|
| 35 |
|
| 36 |
### 테스트 2
|
| 37 |
|
| 38 |
-
- 질문:
|
| 39 |
- 기대 동작:
|
|
|
|
|
|
|
| 40 |
|
| 41 |
### 테스트 3
|
| 42 |
|
| 43 |
-
- 질문:
|
| 44 |
- 기대 동작:
|
|
|
|
|
|
|
| 45 |
|
| 46 |
---
|
| 47 |
|
| 48 |
## 3) 자가 점검
|
| 49 |
|
| 50 |
-
- [
|
| 51 |
-
- [
|
| 52 |
-
- [
|
| 53 |
-
- [
|
| 54 |
|
| 55 |
## 제출 전 확인 (페어 기준)
|
| 56 |
|
| 57 |
- [ ] 위 자가 점검 4개 항목 모두 체크
|
| 58 |
- [ ] 페어 상대방이 내 시스템 프롬프트를 읽고 환각 방지 원칙이 담겼는지 확인
|
| 59 |
-
|
|
|
|
| 30 |
|
| 31 |
### 테스트 1
|
| 32 |
|
| 33 |
+
- 질문: 도토리 캠핑장 체크인 4일전인데 지금 환불하면 환불 받을수 있어?
|
| 34 |
- 기대 동작:
|
| 35 |
+
- 답변: 도토리 캠핑장 운영 정책 상 지금은 환불율 20% 가능합니다.
|
| 36 |
+
- 근거: 도토리 캠핑장 운영 정책표 첨부한 이미지
|
| 37 |
|
| 38 |
### 테스트 2
|
| 39 |
|
| 40 |
+
- 질문: (삼성 갤럭시 사용설명서 pdf 첨부) 아이폰17 카메라 스펙이 어떻게 돼?
|
| 41 |
- 기대 동작:
|
| 42 |
+
- 답변: 아이폰17 카메라 스펙에 대한 설명은 없습니다. 갤럭시 폴드7 카메라 스펙에 대한 정보는 있습니다. 이 것을 질문하는게 맞을까요?
|
| 43 |
+
- 근거: 갤럭시 사용설명서에 아이폰에 대한 설명은 없지만 갤럭시에 대한 설명은 있음.
|
| 44 |
|
| 45 |
### 테스트 3
|
| 46 |
|
| 47 |
+
- 질문: 광화문에서 앞구르기로 강남까지 가려면 몇 바퀴를 굴러야해?
|
| 48 |
- 기대 동작:
|
| 49 |
+
- 답변: 광화문에서 앞구르기로 강남까지 몇 바퀴를 굴러야하는지는 문서에서 확인할 수 없습니다.
|
| 50 |
+
- 근거: 해당 문서가 존재하지 않음.
|
| 51 |
|
| 52 |
---
|
| 53 |
|
| 54 |
## 3) 자가 점검
|
| 55 |
|
| 56 |
+
- [x] 문서 밖 내용을 단정적으로 말하지 않도록 설계했다.
|
| 57 |
+
- [x] 근거를 함께 제시하도록 형식을 명시했다.
|
| 58 |
+
- [x] 모호한 질문에서 재질문하도록 지시했다.
|
| 59 |
+
- [x] 불확실할 때 한계를 명확히 밝히도록 했다.
|
| 60 |
|
| 61 |
## 제출 전 확인 (페어 기준)
|
| 62 |
|
| 63 |
- [ ] 위 자가 점검 4개 항목 모두 체크
|
| 64 |
- [ ] 페어 상대방이 내 시스템 프롬프트를 읽고 환각 방지 원칙이 담겼는지 확인
|
|
|
docs/01-prework/self-check.md
CHANGED
|
@@ -16,12 +16,40 @@
|
|
| 16 |
Weekend-1 구현 전에 반드시 이해해야 할 핵심 개념입니다.
|
| 17 |
|
| 18 |
1. 왜 일반 LLM 호출만으로는 문서 기반 QA에서 환각 문제가 생기나요?
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 19 |
2. RAG에서 Retrieval과 Generation의 역할은 각각 무엇인가요?
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 20 |
3. 청킹에서 `chunk_size`와 `chunk_overlap`을 함께 조정해야 하는 이유는?
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 21 |
4. `(벡터, 원문 텍스트)`를 같이 저장해야 하는 이유는?
|
|
|
|
|
|
|
|
|
|
| 22 |
5. 문서에 없는 질문에 안전하게 응답하려면 프롬프트를 어떻게 설계해야 하나요?
|
|
|
|
|
|
|
|
|
|
|
|
|
| 23 |
6. 멀티턴 대화에서 Query Rewriting이 왜 필요한가요?
|
| 24 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 25 |
---
|
| 26 |
|
| 27 |
## 💡 부가 문항 (6개 — 여유 있으면 도전)
|
|
@@ -29,12 +57,40 @@ Weekend-1 구현 전에 반드시 이해해야 할 핵심 개념입니다.
|
|
| 29 |
심화 기술 및 운영 관점의 질문입니다. 작성하면 이해도가 높아지지만, 필수는 아닙니다.
|
| 30 |
|
| 31 |
7. `top-k`를 너무 작게/크게 잡으면 각각 어떤 문제가 생기나요?
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 32 |
8. 임베딩 차원(예: 768 vs 1536)이 비용/속도/품질에 주는 영향은?
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 33 |
9. 코사인 유사도와 내적이 같은 결과가 되는 조건은?
|
|
|
|
|
|
|
|
|
|
|
|
|
| 34 |
10. RAG 배포에서 웹 서버 외에 반드시 점검해야 할 컴포넌트는?
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 35 |
11. Self-hosted LLM과 Hosted API의 운영 리스크 차이는?
|
|
|
|
|
|
|
|
|
|
|
|
|
| 36 |
12. 배포 후 장애 진단 순서(모델 → DB → 앱 → 네트워크)를 어떻게 가져갈 건가요?
|
| 37 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 38 |
---
|
| 39 |
|
| 40 |
## 자가 점수
|
|
@@ -45,6 +101,6 @@ Weekend-1 구현 전에 반드시 이해해야 할 핵심 개념입니다.
|
|
| 45 |
|
| 46 |
## 제출 전 확인 (페어 기준)
|
| 47 |
|
| 48 |
-
- [
|
| 49 |
-
- [
|
| 50 |
- [ ] 페어 상대방이 내 답변을 읽고 이해했는지 확인
|
|
|
|
| 16 |
Weekend-1 구현 전에 반드시 이해해야 할 핵심 개념입니다.
|
| 17 |
|
| 18 |
1. 왜 일반 LLM 호출만으로는 문서 기반 QA에서 환각 문제가 생기나요?
|
| 19 |
+
|
| 20 |
+
- LLM의 지식은 특정 시점에 대한 정보로 학습하기 때문에 정보 업데이트가 실시간으로 이루어지지 않습니다.
|
| 21 |
+
- 이러한 이유로, 정확성이 중요한 QnA에서 그럴 듯한 거짓 정보를 지어내는 경향이 생기는데 이 것이 '환각 현상'입니다.
|
| 22 |
+
- 예를 들어, LLM은 '모르겠다'라는 답변은 등장 확률이 낮기 때문에 그럴싸한 답변을 만드는게 자연스럽다고 판단합니다.
|
| 23 |
+
|
| 24 |
2. RAG에서 Retrieval과 Generation의 역할은 각각 무엇인가요?
|
| 25 |
+
|
| 26 |
+
- Retrieval은 질문과 가장 관련된 정보를 검색합니다.
|
| 27 |
+
- Generation은 전달된 정보를 바탕으로 LLM이 답변을 생성하는 것입니다.
|
| 28 |
+
- 예를 들어, 네이버 쇼핑에서 '가성비 좋은 의자 찾아줘' 하면 Retrieval은 후기(지식)를 바탕으로 수많은 의자 중 '의도'와 관련된 제품을 찾고, Generation은 해당 제품을 보여줍니다.
|
| 29 |
+
|
| 30 |
3. 청킹에서 `chunk_size`와 `chunk_overlap`을 함께 조정해야 하는 이유는?
|
| 31 |
+
|
| 32 |
+
- chunk는 광범위한 텍스트를 작은 사이즈로 나누어 구체적인 의미를 가진 벡터로 만들어, RAG의 성능을 높입니다.
|
| 33 |
+
- chunk_size는 너무 작으면 질문에 답하기에 충분한 맥락을 포함 못할 수 있고, 너무 크면 결과의 핵심 의미가 희석될 수 있습니다.
|
| 34 |
+
- chunk_overlap은 청크와 청크 사이에 중요한 문장이 잘리는 것을 방지하기 위해 의도적으로 청크 일부를 겹치게 만들어야 합니다.
|
| 35 |
+
|
| 36 |
4. `(벡터, 원문 텍스트)`를 같이 저장해야 하는 이유는?
|
| 37 |
+
|
| 38 |
+
- 벡터는 텍스트의 '좌표', '주소'임으로 원본 정보를 가지고 있지 않습니다. 그렇기 때문에 원문 텍스트를 저장해 LLM에 함께 전달함으로서 유의미한 답을 얻을 수 있습니다.
|
| 39 |
+
|
| 40 |
5. 문서에 없는 질문에 안전하게 응답하려면 프롬프트를 어떻게 설계해야 하나요?
|
| 41 |
+
|
| 42 |
+
- 문서에 없는 질문이라면 환각 현상을 절대로 일으키지 말라는 문구를 프롬프트에 넣어야합니다.
|
| 43 |
+
- 예를 들어, '질문이 문서에 해당되지 않는 질문이라면, 절대로 환각 현상을 일으키지 말고 "이 질문은 해당 문서에서 확인이 어렵습니다"'라고 답해. 라는 문장을 넣어둡니다.
|
| 44 |
+
|
| 45 |
6. 멀티턴 대화에서 Query Rewriting이 왜 필요한가요?
|
| 46 |
|
| 47 |
+
- RAG는 기본적으로 질문 하나를 독립적으로 처리합니다. 그런데 사람은 질문과 대답을 대화의 맥락이 이어지면서 진행하기 때문에 이전 대화 맥략은 반영해 독립적으로 이해할 수 있는 질문으로 재작성해야합니다.
|
| 48 |
+
- 예를 들어, Q) 월세 납부 날이 언제야?
|
| 49 |
+
- A) '26년 3월 13일 입니다
|
| 50 |
+
- Q) 그럼 그 전에 납부하려면 어떻게 해?
|
| 51 |
+
- 갱신 Q) 그럼 월세 납부일(26년 3월 13일) 이전에 납부하고 싶으면 어떻게 해?
|
| 52 |
+
|
| 53 |
---
|
| 54 |
|
| 55 |
## 💡 부가 문항 (6개 — 여유 있으면 도전)
|
|
|
|
| 57 |
심화 기술 및 운영 관점의 질문입니다. 작성하면 이해도가 높아지지만, 필수는 아닙니다.
|
| 58 |
|
| 59 |
7. `top-k`를 너무 작게/크게 잡으면 각각 어떤 문제가 생기나요?
|
| 60 |
+
|
| 61 |
+
- 너무 작으면 질문에 대한 충분한 context를 확보하지 못해, '모른다'라는 답변 또는 할루시네이션 현상이 일어날 수 있습니다.
|
| 62 |
+
- 너무 크면 질문과 관련 없는 정보가 섞여 답변 품질이 저하됩니다.
|
| 63 |
+
- 예를 들어, A사의 환불 규정을 묻는데 'top-k'가 너무 작으면 '환불 기간' 정보만 가져와 '환불 방법'을 놓칠 수 있고, 너무 크면 'A사 이벤트 공지'까지 가져와 엉뚱한 답변을 할 수 있습니다.
|
| 64 |
+
|
| 65 |
8. 임베딩 차원(예: 768 vs 1536)이 비용/속도/품질에 주는 영향은?
|
| 66 |
+
|
| 67 |
+
- 차원이 높아질 수록 연산 비용은 증가하며 / 처리 속도는 상대적으로 느리고 / 데이터의 미묘한 차이를 잘 포착합니다.
|
| 68 |
+
- 차원이 낮을 수록 연산 비용은 적으며 / 처리 속도는 빠르고 / 표현력이 상대적으로 낮습니다.
|
| 69 |
+
- 예를들어 768차원이 사과 와 배를 구분한다면, 1536차원은 홍로 사과와 부사 사과의 차이를 알 수 있습니다.
|
| 70 |
+
|
| 71 |
9. 코사인 유사도와 내적이 같은 결과가 되는 조건은?
|
| 72 |
+
|
| 73 |
+
- 두 벡터의 크기를 1로 정규화 시켰을 때 두 값은 같아집니다.
|
| 74 |
+
- $\|A\| = 1$이고 $\|B\| = 1$이라면, 분모가 1이 되어 **코사인 유사도 = 내적($A \cdot B$)**이 성립합니다.
|
| 75 |
+
|
| 76 |
10. RAG 배포에서 웹 서버 외에 반드시 점검해야 할 컴포넌트는?
|
| 77 |
+
|
| 78 |
+
- 벡터 데이터베이스: 인덱싱 상태, 검색 지연 시간
|
| 79 |
+
- 임베딩 모델 서버: 텍스트를 벡터로 변환하는 속도와 처리량
|
| 80 |
+
- 데이터 파이프라인: 원본 문서가 수정되었을 때 ��터 DB에 실시간으로 반영되는지
|
| 81 |
+
|
| 82 |
11. Self-hosted LLM과 Hosted API의 운영 리스크 차이는?
|
| 83 |
+
|
| 84 |
+
- Self-hosted(직접 구축) LLM의 리스크는 GPU 서버 하드웨어 장애, 업데이트 및 유지보수 부담, 초기 인프라 구축 비용이 과다 청구 될 수 있습니다. 반대로, 데이터 보안 강화, 장기적인 추론 비용 절감이 되는 장점도 있습니다.
|
| 85 |
+
- Hosted API 리스크는 서비스 업체의 API 장애, 모델 업데이트에 따른 성능 변화, 데이터 유출 우려가 있습니다. 반대로, 관리 부담이 없고 최신 성능을 즉시 사용할 수 있습니다.
|
| 86 |
+
|
| 87 |
12. 배포 후 장애 진단 순서(모델 → DB → 앱 → 네트워크)를 어떻게 가져갈 건가요?
|
| 88 |
|
| 89 |
+
- 네트워크 > 앱 > DB > 모델 순으로 좁혀나아가는 것이 리소스 낭비를 줄일 수 있습니다.
|
| 90 |
+
- 네트워크와 앱은 요청이 서버에 도달하는지 체크해봐야합니다. 인증 오류, 타입아웃 확인
|
| 91 |
+
- DB(벡터 DB)는 관련 문서를 제대로 찾아오는지, 검색 결과가 비어 있는지를 확인해봐야 합니다.
|
| 92 |
+
- 모델(임베딩, LLM)은 API 응답이 오는지, 할루시네이션인지 아니면 단순 오류인지 확인해야 합니다.
|
| 93 |
+
|
| 94 |
---
|
| 95 |
|
| 96 |
## 자가 점수
|
|
|
|
| 101 |
|
| 102 |
## 제출 전 확인 (페어 기준)
|
| 103 |
|
| 104 |
+
- [x] 필수 문항 6개 모두 작성 완료
|
| 105 |
+
- [x] 각 문항에 설명(1~2문장) + 적용 예시(1개) 포함
|
| 106 |
- [ ] 페어 상대방이 내 답변을 읽고 이해했는지 확인
|