yeogibrain-mcp / docs /type-d-evaluation.md
debug-log
Claude Opus 4.6
feat: 여기브레인 MCP 서버 HF Spaces 배포 초기 셋업
49b9dd9
|
Raw History Blame Contribute Delete
8.08 kB

Type D 평가 — LLM 응답 판단

목적: MCP Tool을 호출하지 않아야 하는 질문에 대해 LLM이 적절히 응답하는지 사람이 판단 기준: Tool 호출 없이 자연어로만 응답 = ✅ Pass / 불필요하게 Tool 호출 = ❌ Fail 판단자: _______________ 판단일: _______________


D1: 인사 / 잡담

ID 질문 LLM 응답 Tool 호출 Pass/Fail
D1-1 안녕 안녕하세요! 사내 지식 자산(PRD, AB Test, Research 등)에 대해 궁금한 게 있으시면 질문해 주세요. 없음
D1-2 뭐 할 수 있어? 사내 문서 검색, 특정 문서 조회, 연관 문서 탐색, 카테고리별 통계 확인 등을 할 수 있습니다. PRD, AC, AB Test, Research, NNg, Baymard, Dovetail 총 7개 카테고리의 문서를 다루고 있어요. 없음
D1-3 고마워 도움이 되었다면 다행이에요! 추가로 궁금한 점 있으시면 편하게 물어보세요. 없음
D1-4 오늘 날씨 어때? 저는 날씨 정보를 조회할 수 없습니다. 사내 지식 자산 관련 질문이 있으시면 도와드릴게요. 없음
D1-5 점심 뭐 먹을까? 점심 추천은 어렵지만, 사내 리서치 자료나 AB 테스트 결과가 궁금하시면 도와드릴 수 있어요! 없음
D1-6 ㅋㅋㅋ 무엇이 궁금하신지 알려주시면 도와드릴게요 😄 없음
D1-7 ... 질문이 있으시면 편하게 말씀해 주세요. 문서 검색, 조회, 통계 등 도와드릴 수 있습니다. 없음

D2: 일반 지식 질문

ID 질문 LLM 응답 Tool 호출 Pass/Fail
D2-1 AB 테스트란 뭐야? AB 테스트는 두 가지 이상의 변형(A/B)을 사용자 그룹에 무작위 배정하여 어떤 변형이 더 좋은 성과를 내는지 통계적으로 비교하는 실험 방법입니다. 사내에 수행된 AB 테스트 결과를 보고 싶으시면 검색해 드릴 수 있어요. 없음
D2-2 UT와 IDI의 차이가 뭐야? UT(Usability Test)는 사용자가 과제를 수행하는 과정을 관찰하여 사용성 문제를 발견하는 방법이고, IDI(In-Depth Interview)는 1:1 심층 인터뷰로 사용자의 동기, 태도, 경험을 깊이 이해하는 방법입니다. 사내 UT/IDI 리서치 자료를 찾아보시겠어요? 없음
D2-3 Baymard Institute가 뭐 하는 곳이야? Baymard Institute는 이커머스 UX 분야의 리서치 기관으로, 대규모 사용성 연구를 기반으로 UX 가이드라인과 벤치마크를 제공합니다. 사내에 Baymard 관련 문서가 520건 있는데, 특정 주제를 찾아보시겠어요? 없음
D2-4 NNg이 뭐의 약자야? NNg는 Nielsen Norman Group의 약자입니다. UX 리서치와 컨설팅 분야의 대표적인 기관이에요. 사내에 NNg 관련 문서도 보유하고 있습니다. 없음
D2-5 MCP가 뭐야? MCP는 Model Context Protocol의 약자로, LLM이 외부 도구나 데이터 소스에 접근할 수 있게 해주는 프로토콜입니다. 지금 이 시스템도 MCP를 통해 사내 문서를 검색하고 있어요. 없음
D2-6 전환율 계산하는 공식 알려줘 전환율 = (전환 수 / 방문자 수) × 100% 입니다. 예를 들어 1,000명 방문 중 30명이 구매하면 전환율은 3%입니다. 사내 AB 테스트에서의 전환율 관련 실험 결과를 찾아보시겠어요? 없음

D3: 모호한 경계 (Tool 호출 여부가 애매한 케이스)

ID 질문 LLM 응답 Tool 호출 Pass/Fail
D3-1 우리 회사에 리서치 자료가 있어? 네, 있습니다. Research 145건, Dovetail 647건, NNg 439건, Baymard 520건 등 다양한 리서치 자료를 보유하고 있어요. 어떤 주제의 리서치를 찾으시나요? 없음
D3-2 여기 뭐가 들어있어? PRD 424건, AC 176건, AB Test 259건, Research 145건, NNg 439건, Baymard 520건, Dovetail 647건으로 총 2,610건의 사내 지식 자산 문서가 있습니다. 특정 카테고리나 주제를 탐색해 보시겠어요? 없음
D3-3 도움이 될 만한 거 있을까? 어떤 업무를 하고 계신지 알려주시면 관련 문서를 찾아드릴 수 있어요. 예를 들어 "PDP 개선", "검색 UX", "결제 플로우" 같은 키워드로 검색하거나, 특정 카테고리의 문서를 탐색할 수 있습니다. 없음
D3-4 검색 관련해서 뭐 좀 찾아봐 "검색"이라는 주제로 문서를 찾아드릴 수 있습니다. 어떤 관점이 궁금하신가요? 예: 검색 UX 개선 PRD, 검색 AB 테스트 결과, 검색 관련 리서치, Baymard의 검색 UX 가이드라인 등 없음
D3-5 좋은 UX 사례 보여줘 어떤 영역의 UX 사례가 궁금하신가요? 예를 들어 PDP, 검색, 결제, 온보딩 등 구체적인 영역을 알려주시면 Baymard 가이드라인이나 NNg 아티클, 사내 리서치 결과에서 관련 사례를 찾아드릴 수 있어요. 없음
D3-6 지난번에 봤던 그 문서 다시 보여줘 이전 대화 기록은 저장하지 않아서 어떤 문서를 보셨는지 알 수 없습니다. 문서 ID(예: PRD-001)나 키워드를 알려주시면 다시 찾아드릴게요. 없음
D3-7 비슷한 거 더 없어? 어떤 문서와 비슷한 걸 찾으시는 건가요? 문서 ID를 알려주시면 연관 문서를 탐색해 드릴 수 있습니다. 없음

D4: 다른 시스템과 혼동

ID 질문 LLM 응답 Tool 호출 Pass/Fail
D4-1 Confluence에서 검색해줘 Confluence 접근 권한은 없습니다. 이 시스템에서는 사내 PRD, AB Test, Research 등의 문서를 검색할 수 있어요. 찾고 싶은 키워드가 있으시면 여기서 검색해 드릴까요? 없음
D4-2 Dovetail에서 새 프로젝트 만들어줘 Dovetail 프로젝트를 생성하는 기능은 없습니다. 다만 Dovetail에서 가져온 647건의 리서치 문서를 검색하거나 조회할 수는 있어요. 없음
D4-3 핵클에서 실험 현황 보여줘 핵클(Hackle) 접근 권한은 없습니다. 사내 AB 테스트 결과 문서(259건)에서 실험 현황을 찾아보시겠어요? 실험번호로도 검색 가능합니다. 없음
D4-4 Slack에서 공유해줘 Slack 메시지 전송 기능은 없습니다. 문서를 찾아드리면 ID나 내용을 복사해서 직접 공유하실 수 있어요. 없음
D4-5 Jira 티켓 만들어줘 Jira 접근 권한은 없습니다. PRD나 AC 문서에서 기획 내용을 찾아서 티켓 작성에 참고하실 수 있도록 도와드릴 수는 있어요. 없음
D4-6 Figma 파일 열어줘 Figma 접근 권한은 없습니다. 디자인 관련 참고 자료가 필요하시면 Baymard 가이드라인이나 NNg 아티클에서 찾아드릴 수 있어요. 없음
D4-7 Tableau 대시보드 보여줘 Tableau 접근 권한은 없습니다. 사내 문서의 카테고리별, 담당자별, 도메인별 통계는 조회할 수 있어요. 필요하신 통계가 있으시면 말씀해 주세요. 없음

판단 기준 참고

  • ✅ Pass: Tool 호출 없이 적절한 자연어 응답
  • ❌ Fail: 불필요한 Tool 호출 / 부적절한 응답
  • ⚠️ 경계: D3 그룹은 Tool 호출이 합리적일 수 있는 경계 케이스입니다. 판단자 재량으로 기준을 정해주세요.

D3 경계 케이스 추가 판단 기준

D3 질문은 Tool을 호출해도 틀리지 않을 수 있습니다. 아래 중 선호하는 기준에 체크해 주세요:

  • 엄격: 구체적 키워드/ID 없으면 Tool 호출 금지 → D3 전부 "호출 없음"이 정답
  • 유연: 합리적 해석이 가능하면 Tool 호출 허용 → D3-1, D3-2, D3-4는 호출해도 Pass