Spaces:
Runtime error
Download docs/00-shared/reference.md from progressive-intelligence-lab/docuflow: direct link, hf CLI and curl.
- Browser
- Download file 44.1 kB
-
https://huggingface.co/spaces/progressive-intelligence-lab/docuflow/resolve/main/docs/00-shared/reference.md
- Command line
-
hf download hf://spaces/progressive-intelligence-lab/docuflow/docs/00-shared/reference.md
-
curl -L -o reference.md https://huggingface.co/spaces/progressive-intelligence-lab/docuflow/resolve/main/docs/00-shared/reference.md
๐ฌ AI Q&A ์์คํ ๊ธฐ์ ์ฌ์ธต ๋ถ์
โ 1. ๋ฌธ์ ์ ์: ์ผ๋ฐ LLM์ ํ๊ณ
"์ ๊ทธ๋ฅ ChatGPT API์ ๋ฐ๋ก ์ง๋ฌธํ๋ฉด ์ ๋๋์?"
์ด๋ ๋งค์ฐ ํฉ๋ฆฌ์ ์ธ ์ง๋ฌธ์ ๋๋ค. ๊ทธ์ ๋ํ ๋ต๋ณ์ LLM(๊ฑฐ๋ ์ธ์ด ๋ชจ๋ธ)์ ๊ทผ๋ณธ์ ์ธ ํน์ง์ ์์ต๋๋ค.
- LLM์ ์ง์์ ํ๋ จ ์์ ์ ๋ฉ์ถฐ์์ต๋๋ค: LLM์ ์ธํฐ๋ท์ ๋ฐฉ๋ํ ๊ณต๊ฐ ๋ฐ์ดํฐ๋ฅผ ํ์ตํ์ง๋ง, ๊ทธ ์ง์์ ํน์ ๊ณผ๊ฑฐ ์์ ์ ๊ณ ์ ๋์ด ์์ต๋๋ค. ์ฐ๋ฆฌ๊ฐ ๋ฐฉ๊ธ ์ ๋ก๋ํ ๋น๊ณต๊ฐ PDF ํ์ผ์ด๋ ์ต์ ์ ๋ณด์ ๋ํด์๋ ์ ํ ์์ง ๋ชปํฉ๋๋ค.
- ๊ฑฐ์ง๋ง์ ํ ์ ์์ต๋๋ค (ํ๊ฐ, Hallucination): LLM์ ๋ชจ๋ฅด๋ ์ ๋ณด์ ๋ํด "๋ชจ๋ฅด๊ฒ ์ต๋๋ค"๋ผ๊ณ ๋ตํ๊ธฐ๋ณด๋ค, ๊ทธ๋ด๋ฏํ ๊ฑฐ์ง ์ ๋ณด๋ฅผ ์ง์ด๋ด๋ ๊ฒฝํฅ์ด ์์ต๋๋ค. ์ด๋ ์ ํ์ฑ์ด ์ค์ํ Q&A ์์คํ ์์๋ ์น๋ช ์ ์ธ ๋จ์ ์ ๋๋ค.
์ด ํ๊ฐ ํ์์ ์ดํดํ๋ ค๋ฉด, LLM์ด ์ธ๊ฐ์ฒ๋ผ '์ฌ๊ณ 'ํ๋ ์กด์ฌ๊ฐ ์๋๋ผ ๊ทน๋๋ก ์ ๊ตํ '๋ค์ ๋จ์ด ์์ธก ๊ธฐ๊ณ' ๋ผ๋ ๋ณธ์ง์ ์์์ผ ํฉ๋๋ค. LLM์ ๊ฐ์ฅ ๊ธฐ๋ณธ์ ์ธ ์๋ฌด๋ ์ฃผ์ด์ง ๋ฌธ๋งฅ ๋ค์์ ์ฌ ๊ฐ์ฅ ํ๋ฅ ์ด ๋์ ๋จ์ด๋ฅผ ์์ธกํ๋ ๊ฒ์ด๊ธฐ ๋๋ฌธ์ ๋๋ค. ์๋ฅผ ๋ค์ด, "ํ๋์ ์๊น์" ์ด๋ผ๋ ํ ์คํธ๋ฅผ ๋ฐ์ผ๋ฉด, ๋ฐฉ๋ํ ํ๋ จ ๋ฐ์ดํฐ ์์์ "ํ๋์"์ด๋ผ๋ ๋จ์ด๊ฐ ๋ค๋ฐ๋ฅผ ํต๊ณ์ ํ๋ฅ ์ด ์๋์ ์ผ๋ก ๋๋ค๋ ๊ฒ์ ํ์ตํ๊ธฐ ๋๋ฌธ์ "ํ๋์์ ๋๋ค"๋ผ๊ณ ๋ต๋ณ์ ์์ฑํฉ๋๋ค.
์ด๋ LLM์ ์ "๋ชจ๋ฅด๊ฒ ์ต๋๋ค"๋ผ๊ณ ์์งํ๊ฒ ๋ตํ์ง ์์๊น์? ๊ทธ ์ด์ ๋ LLM์ ํ๋ จ ๋ชฉํ์ ์์ต๋๋ค. LLM์ '์ง์ค๋ง์ ๋งํ๋๋ก' ํ๋ จ๋์ง ์์์ต๋๋ค. LLM์ ํ๋ จ ๋ชฉํ๋ '์ฃผ์ด์ง ํ ์คํธ ๋ค์์ ์ด์ด์ง, ํต๊ณ์ ์ผ๋ก ๊ฐ์ฅ ๊ทธ๋ด๋ฏํ ํ ์คํธ๋ฅผ ์์ฑ'ํ๋ ๊ฒ์ ๋๋ค. '์ง์ค์ฑ'์ ํ๋ จ์ ๋ชฉํ๊ฐ ์๋๋ผ, ๋ฐฉ๋ํ ๋ฐ์ดํฐ ์์ ์ฌ์ค๋ค์ ํ์ตํ ๊ฒฐ๊ณผ๋ก ๋ํ๋๋ ๋ถ์์ ์ธ ํน์ง์ผ ๋ฟ์ ๋๋ค. '๋ชจ๋ฅด๊ฒ ๋ค'๋ ๋ต๋ณ์ ํต๊ณ์ ์ผ๋ก ๋ฑ์ฅ ํ๋ฅ ์ด ๋ฎ๊ธฐ ๋๋ฌธ์, LLM์ ๊ทธ๋ณด๋ค ๊ทธ๋ด๋ฏํ ๋ฌด์ธ๊ฐ๋ฅผ ์ง์ด๋ด๋ ๊ฒ์ ๋ ์์ฐ์ค๋ฌ์ด ๋ฌธ์ฅ ์์ฑ์ด๋ผ๊ณ ํ๋จํ๋ ๊ฒฝํฅ์ด ์์ต๋๋ค.
์ด๋ ๋ง์น ์ ๊ตํ ๊ฐ์ง API(Mock API) ์ ๊ฐ์ต๋๋ค. ์์ฒญ์ ํ์์ด ์ฌ๋ฐ๋ฅด๊ธฐ๋ง ํ๋ฉด, ์ค์ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ฐ๊ฒฐ๋์ด ์์ง ์๋๋ผ๋ ํญ์ ๊ทธ๋ด๋ฏํ ๊ตฌ์กฐ์ ๋ฐ์ดํฐ ํ์ ์ JSON ์๋ต์ ์์ฑํด์ ๋ณด๋ด์ฃผ๋ ๊ฒ๊ณผ ๊ฐ์ต๋๋ค. ์๋ต์ ๋ด์ฉ์ ์ง์ง๊ฐ ์๋์ง๋ง, ํ์์ ์๋ฒฝํ ๊ฒ๊ณผ ๋ง์ฐฌ๊ฐ์ง์ ๋๋ค.
๐ ๋ฐ๋ผ์, ์ฐ๋ฆฌ๋ง์ ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ ํํ ๋ต๋ณ์ ์ป๊ธฐ ์ํด์๋ LLM์ ๊ทธ๋ฅ ์ฌ์ฉํ๋ ๊ฒ์ด ์๋๋ผ, ํน๋ณํ ๋ฐฉ์์ด ํ์ํฉ๋๋ค.
๐ก 2. ํด๊ฒฐ์ฑ : RAG (Retrieval-Augmented Generation)
RAG (๊ฒ์-์ฆ๊ฐ ์์ฑ)๋ ์์์ ์ธ๊ธ๋ LLM์ ํ๊ณ๋ฅผ ๊ทน๋ณตํ๊ธฐ ์ํ ๊ฐ๋ ฅํ๊ณ ํ์ค์ ์ธ ์ํคํ ์ฒ ํจํด์ ๋๋ค.
LLM์ ๊ทธ๋ฅ ์ง๋ฌธํ๋ ๊ฒ์, ๋ง์น ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ก์ปฌ DB๋ ์บ์๋ ์ ํ ํ์ธํ์ง ์๊ณ ๋ชจ๋ ์์ฒญ์ ์ธ๋ถ API์ ๋ณด๋ด๋ ๊ฒ๊ณผ ๋น์ทํฉ๋๋ค. RAG๋ ์ฌ์ฉ์์ ์ง๋ฌธ์ด ๋ค์ด์ค๋ฉด, ๋จผ์ ์ฐ๋ฆฌ ๋ก์ปฌ ๋ฐ์ดํฐ๋ฒ ์ด์ค(Vector DB) ์์ ์ง๋ฌธ๊ณผ ๊ฐ์ฅ ๊ด๋ จ๋ ์ ๋ณด๋ฅผ ๊ฒ์(Retrieve) ํ๊ณ , ๊ทธ ๊ฒ์ ๊ฒฐ๊ณผ๋ฅผ LLM์ ๋ํ API ์์ฒญ ๋ณธ๋ฌธ์ ํฌํจ(Augment) ํ์ฌ ๋ณด๋ ๋๋ค. LLM์ ์ถ๊ฐ๋ก ์ ๋ฌ๋ ์ด ์ ๋ณด๋ฅผ ๋ฐํ์ผ๋ก ๋ต๋ณ์ ์์ฑ(Generate) ํฉ๋๋ค.
์ฝ๊ฒ ๋งํด, LLM์๊ฒ '์คํ๋ถ ํ ์คํธ'๋ฅผ ๋ณด๊ฒ ํ์ฌ, ์ฐ๋ฆฌ๊ฐ ์ ๊ณตํ ์๋ฃ(์ ๋ก๋๋ ๋ฌธ์) ์์์๋ง ๋ต๋ณ์ ๋ง๋ค๋๋ก ์ ๋ํ๋ ๊ธฐ์ ์ ๋๋ค.
๐ RAG์ ์ค์ ํ์ฉ ์ฌ๋ก
RAG๋ ์ด์ ์์ด๋์ด ๋จ๊ณ๋ฅผ ๋์ด, ์๋ง์ ๊ธ๋ก๋ฒ ๋ฐ ๊ตญ๋ด ์๋น์ค์์ ํต์ฌ ๊ธฐ์ ๋ก ์ฌ์ฉ๋๋ฉฐ ์ฌ์ฉ์ ๊ฒฝํ์ ํ์ ํ๊ณ ์์ต๋๋ค.
์ฐจ์ธ๋ ๊ณ ๊ฐ ์ง์ ์ฑ๋ด (ํ ์ค, ์นด์นด์ค๋ฑ ํฌ ๋ฑ):
- ํ์ฌ์ ๋ด๋ถ ๋์๋ง ๋ฌธ์, ๊ธ์ต์ํ ์ฝ๊ด, ์ด์ ์๋ด ๊ธฐ๋ก ๋ฑ์ ๊ธฐ๋ฐ์ผ๋ก ๊ณ ๊ฐ์ ๋ณต์กํ ์ง๋ฌธ์ 24์๊ฐ ์ ํํ๊ณ ์ผ๊ด๋ ๋ต๋ณ์ ์ ๊ณตํฉ๋๋ค. ์๋ด์์ ๋ฐ๋ณต์ ์ธ ์ ๋ฌด๋ฅผ ์ค์ฌ์ฃผ๊ณ , ๊ณ ๊ฐ์ ๊ธฐ๋ค๋ฆด ํ์ ์์ด ์ฆ์ ํด๊ฒฐ์ฑ ์ ์ป์ ์ ์์ต๋๋ค.
์ง๋ฅํ ์ํ ๊ฒ์ ๋ฐ ์ถ์ฒ (๋ค์ด๋ฒ ์ผํ, ์ฟ ํก ๋ฑ):
- "๊ฐ์ฑ๋น ์ข์ ์บ ํ ์์ ์ฐพ์์ค"์ ๊ฐ์ด, ์ฌ์ฉ์์ ์ถ์์ ์ธ ์์ฐ์ด ์ง๋ฌธ์ '์๋'๋ฅผ ํ์ ํฉ๋๋ค. ์๋ง์ ์ํ์ ์์ธ ์ค๋ช ๊ณผ ๊ตฌ๋งค ํ๊ธฐ(์ง์)๋ฅผ ๋ฐํ์ผ๋ก, ๋จ์ ํค์๋ ๋งค์นญ์ ๋์ด ๊ฐ์ฅ ์ ํฉํ ์ํ์ ์ฐพ์ ์ ์ํฉ๋๋ค.
์ง์ ๊ธฐ๋ฐ ์ง์์๋ต ๋ฐ ์์ฝ (Notion Q&A ๋ฑ):
- "์ง๋ 1๋ถ๊ธฐ ๋ง์ผํ ์์ฐ ๋ณด๊ณ ์ ์ฐพ์์ค"์ ๊ฐ์ด ์ฌ๋ด ๋ฌธ์๋ฅผ ๊ฒ์ํ๋ ๊ฒ์ ๋์ด, ์ฌ์ฉ์๊ฐ ์ ๋ก๋ํ ์๋ฃ๋ ์น ํ์ด์ง์ ๋ด์ฉ์ ๊ธฐ๋ฐ์ผ๋ก ์ง๋ฌธ์ ๋ตํ๊ณ , ๊ธด ๊ธ์ ํต์ฌ๋ง ์์ฝํด์ฃผ๋ ๋ฑ ์ง์ ๊ด๋ฆฌ์ ํจ์จ์ฑ์ ๊ทน๋ํํฉ๋๋ค.
์ด์ฒ๋ผ RAG๋ ์ฐ๋ฆฌ๊ฐ ๊ฐ์ง '๋ฐ์ดํฐ'์ ๊ฐ์น๋ฅผ ๊ทน๋ํํ์ฌ, LLM์ ๋์ฑ ๋๋ํ๊ณ ์ ์ฉํ๊ฒ ๋ง๋๋ ๊ฐ์ฅ ํ์ค์ ์ด๊ณ ๊ฐ๋ ฅํ ๋ฐฉ๋ฒ ์ค ํ๋์ ๋๋ค.
๐งฉ 3. RAG์ ํต์ฌ ๊ตฌ์ฑ ์์
RAG ์ํฌํ๋ก์ฐ๋ฅผ ๊ฐ๋ฅํ๊ฒ ํ๋ ๋ ๊ฐ์ง ํต์ฌ ๊ธฐ์ ์ ๋๋ค.
โจ 3-1. ํ ์คํธ ์๋ฒ ๋ฉ (Text Embedding): ๋จ์ด๋ฅผ '์๋ฏธ์ ์ขํ'๋ก ๋ฐ๊พธ๊ธฐ
- ํต์ฌ ์์ด๋์ด: ์ปดํจํฐ๊ฐ ๊ธ์์ ๋ชจ์์ด ์๋๋ผ '์๋ฏธ'๋ฅผ ์ดํดํ๊ณ ๋น๊ตํ๊ฒ ๋ง๋๋ ๊ธฐ์ ์ ๋๋ค.
๐ง ๋ฒกํฐ(Vector)๋ ๋ฌด์์ธ๊ฐ? (์ํ ์์ด ์ดํดํ๊ธฐ)
"๋ฒกํฐ"๋ผ๋ ๋ง์ ๊ฒ๋จน์ ํ์ ์์ต๋๋ค. ๋ณต์กํ ์ํ ๊ณต์์ ์ ํ ํ์ ์๊ณ , '์ขํ' ๋ผ๋ ๊ฐ๋ ๋ง ์ดํดํ๋ฉด ์ถฉ๋ถํฉ๋๋ค.
2์ฐจ์ ์ง๋ ์์ '์ขํ':
- ์ฐ๋ฆฌ๋ ์ง๋ ์ ํน์ ๋์์ ์์น๋ฅผ '์๋'์ '๊ฒฝ๋'๋ผ๋ 2๊ฐ์ ์ซ์๋ก ํํํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ์์ธ์ ๋๋ต
[์๋ 37.5, ๊ฒฝ๋ 127.0]์ด๋ผ๋ ์ขํ๋ฅผ ๊ฐ์ง๋๋ค. - ์ด
[37.5, 127.0]์ด๋ผ๋ ์ซ์ ๋ฐฐ์ด์ด ๋ฐ๋ก 2์ฐจ์ ๋ฒกํฐ์ ๋๋ค. - ์ค์ํ ๊ฒ์, ์ด ์ขํ ๋๋ถ์ ์ปดํจํฐ๋ ์์ธ๊ณผ ๋ถ์ฐ ์ฌ์ด์ '๊ฑฐ๋ฆฌ'๋ฅผ ๊ณ์ฐํ ์ ์์ต๋๋ค.
- ์ฐ๋ฆฌ๋ ์ง๋ ์ ํน์ ๋์์ ์์น๋ฅผ '์๋'์ '๊ฒฝ๋'๋ผ๋ 2๊ฐ์ ์ซ์๋ก ํํํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ์์ธ์ ๋๋ต
'์๋ฏธ'์ ์ง๋ ์์ '์ขํ':
- ์ด์ ์ง๋์ ์ถ์ '์๋/๊ฒฝ๋'๊ฐ ์๋๋ผ '์๋ฏธ'๋ผ๊ณ ์์ํด๋ด ์๋ค. ์๋ฅผ ๋ค์ด, ํ์ชฝ ์ถ์ '๊ฒฉ์์ฑ'์, ๋ค๋ฅธ ์ถ์ '์ฃผ์ ๊ฐ ๊ธฐ์ ์ธ๊ฐ?'๋ฅผ ๋ํ๋ผ ์ ์์ต๋๋ค.
- "์๋ฒ ์ ๊ฒ ์ผ์ ์ ๊ณต์ง๋๋ฆฝ๋๋ค"๋ผ๋ ๋ฌธ์ฅ์ '๊ฒฉ์์ฑ' ์ถ์์๋ ๋์ ๊ฐ์, '๊ธฐ์ ์ฃผ์ ' ์ถ์์๋ ๋์ ๊ฐ์ ๊ฐ์ง ๊ฒ๋๋ค.
- "์ค๋ ์๋ฒ ํฐ์ก์ ใ ใ "๋ผ๋ ๋ฌธ์ฅ์ ๋ ์ถ ๋ชจ๋์์ ๋ฎ์ ๊ฐ์ ๊ฐ๊ฒ ์ฃ .
- ์ด๋ฐ ์๋ฏธ์ ๋ฐ๋ผ ์์น๋ฅผ ์ฐ์ ์ ์๋ '์๋ฏธ์ ์ง๋'๋ฅผ ์๊ฐํด ๋ณผ ์ ์์ต๋๋ค.
N์ฐจ์ '์๋ฏธ ๊ณต๊ฐ'์ '์ขํ':
- ์๋ฒ ๋ฉ ๋ชจ๋ธ์ด ํ๋ ์ผ์ ๋ฐ๋ก ์ด๊ฒ์
๋๋ค. ๋จ, '๊ฒฉ์์ฑ', '๊ธฐ์ ์ฃผ์ '์ ๊ฐ์ด ๋จ์ํ 2๊ฐ์ ์ถ์ด ์๋๋ผ, AI๊ฐ ํ์ตํ ์๋ฐฑ~์์ฒ ๊ฐ์ ์ถ์์ ์ธ ์๋ฏธ ์ถ์ ๊ฐ์ง '์๋ฏธ ๊ณต๊ฐ'์ ๋ง๋ญ๋๋ค. ์ด ์ฐจ์์ ์๋ ์ฌ์ฉํ๋ ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋๋ค. (์ฐธ๊ณ : ํ์ฌ ์ฐ๋ฆฌ ํ๋ก์ ํธ๊ฐ ์ฌ์ฉํ๋
nomic-embed-text๋ชจ๋ธ์ 768์ฐจ์์ ๋ฒกํฐ๋ฅผ ์์ฑํฉ๋๋ค. OpenAI์text-embedding-ada-002๋ 1536์ฐจ์์ ๋๋ค.) - ์ฐ๋ฆฌ๊ฐ "์ค๋ ๋ ์จ๊ฐ ์ข๋ค"๋ผ๋ ๋ฌธ์ฅ์ ๋ชจ๋ธ์ ๋ณด๋ด๋ฉด, ๋ชจ๋ธ์ ์ด ๋ฌธ์ฅ์ด N์ฐจ์์ ์๋ฏธ ๊ณต๊ฐ์์ ์ด๋์ ์์นํ๋์ง๋ฅผ ๋ํ๋ด๋ N๊ฐ์ ์ซ์ ๋ฆฌ์คํธ(์ขํ) ๋ฅผ ๋๋ ค์ค๋๋ค. ์ด๊ฒ์ด ๋ฐ๋ก N์ฐจ์ ๋ฒกํฐ์ ๋๋ค.
[0.01, -0.23, 0.45, ..., -0.09](์ซ์๊ฐ N๊ฐ)
- ์๋ฒ ๋ฉ ๋ชจ๋ธ์ด ํ๋ ์ผ์ ๋ฐ๋ก ์ด๊ฒ์
๋๋ค. ๋จ, '๊ฒฉ์์ฑ', '๊ธฐ์ ์ฃผ์ '์ ๊ฐ์ด ๋จ์ํ 2๊ฐ์ ์ถ์ด ์๋๋ผ, AI๊ฐ ํ์ตํ ์๋ฐฑ~์์ฒ ๊ฐ์ ์ถ์์ ์ธ ์๋ฏธ ์ถ์ ๊ฐ์ง '์๋ฏธ ๊ณต๊ฐ'์ ๋ง๋ญ๋๋ค. ์ด ์ฐจ์์ ์๋ ์ฌ์ฉํ๋ ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋๋ค. (์ฐธ๊ณ : ํ์ฌ ์ฐ๋ฆฌ ํ๋ก์ ํธ๊ฐ ์ฌ์ฉํ๋
๊ทธ๋์ ์ด๊ฒ ์ ๊ฐ๋ ฅํ๊ฐ?:
- ์ด์ ๋ชจ๋ ๋ฌธ์๋ ์์ ๋ง์ ๊ณ ์ ํ '์๋ฏธ ์ขํ'๋ฅผ ๊ฐ๊ฒ ๋ฉ๋๋ค.
- ์ปดํจํฐ๋ ์ด ์ขํ๋ค ์ฌ์ด์ '๊ฑฐ๋ฆฌ'๋ฅผ ๊ณ์ฐํ ์ ์์ต๋๋ค.
- "์๋์ฐจ๊ฐ ๊ณ ์ฅ๋ฌ์ด์"๋ผ๋ ๋ฌธ์ฅ์ ์ขํ์ "์ฐจ์ ๋ฌธ์ ๊ฐ ์๊ฒผ์ด์"๋ผ๋ ๋ฌธ์ฅ์ ์ขํ๋ ์๋ฏธ ๊ณต๊ฐ์์ ๋งค์ฐ ๊ฐ๊น์ด ๊ฑฐ๋ฆฌ์ ์์นํ๊ฒ ๋ฉ๋๋ค.
- ๋ฐ๋ฉด "์ฐจ๋ฅผ ๋ง์๊ณ ์์ด์"๋ผ๋ ๋ฌธ์ฅ์ ์ขํ๋ ํจ์ฌ ๋จผ ๊ฑฐ๋ฆฌ์ ์์นํฉ๋๋ค.
- ๊ฒฐ๋ก : ๋ฒกํฐ๋ ์ปดํจํฐ๊ฐ ํ ์คํธ์ '์๋ฏธ์ ์ ์ฌ๋'๋ฅผ '๋ฌผ๋ฆฌ์ ๊ฑฐ๋ฆฌ'๋ก ๊ณ์ฐํ ์ ์๊ฒ ํด์ฃผ๋ ๋ง๋ฒ ๊ฐ์ ๋ฒ์ญ๊ธฐ์ ๋๋ค.
์๋ ๋ค์ด์ด๊ทธ๋จ์ ๋จ์ด๋ค์ด '์๋ฏธ ๊ณต๊ฐ' ์์์ ์ด๋ป๊ฒ ๊ด๊ณ๋ฅผ ํ์ฑํ๋์ง ์๊ฐ์ ์ผ๋ก ๋ณด์ฌ์ค๋๋ค. '๊ฐ์์ง'์ '๊ฐ'์ ๊ด๊ณ๋ '์๋ผ ๊ณ ์์ด'์ '๊ณ ์์ด'์ ๊ด๊ณ์ ๊ธฐํํ์ ์ผ๋ก ์ ์ฌํ ๋ฐฉํฅ๊ณผ ๊ฑฐ๋ฆฌ๋ฅผ ๊ฐ๊ฒ ๋ฉ๋๋ค.
graph TD
subgraph "์๋ฏธ ๊ณต๊ฐ (Semantic Space)"
puppy[๊ฐ์์ง]
dog[๊ฐ]
kitten[์๋ผ ๊ณ ์์ด]
cat[๊ณ ์์ด]
end
dog --"์๋ผ ๊ด๊ณ"--> puppy
cat --"์๋ผ ๊ด๊ณ"--> kitten
dog --"์ข
(Species) ๊ด๊ณ"--> cat
๐ง ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ์ด๋ป๊ฒ '์๋ฏธ'๋ฅผ ํ์ตํ๋์?
์ด์ "๋ฒกํฐ"๊ฐ '์๋ฏธ์ ์ขํ'๋ผ๋ ๊ฒ์ ์์์ผ๋, ํ ๊ฐ์ง ์ง๋ฌธ์ด ๋จ์ต๋๋ค. "๋์ฒด ์ด๋ค ๊ท์น์ผ๋ก ๊ทธ ์ขํ๋ฅผ ์ ํ๋ ๊ฑธ๊น?"
๊ฒฐ๋ก ๋ถํฐ ๋งํ๋ฉด, ์ฌ๋์ด ๊ท์น์ ์ ํด์ฃผ์ง ์์ต๋๋ค. ๋ชจ๋ธ์ด ๋ฐฉ๋ํ ํ ์คํธ ๋ฐ์ดํฐ ์์์ ๋จ์ด์ ๋ฌธ์ฅ๋ค์ '๊ด๊ณ'๋ฅผ ์ค์ค๋ก ํ์ตํ์ฌ ๊ท์น์ ๋ง๋ญ๋๋ค.
๊ด๊ณ๋ก๋ถํฐ ์๋ฏธ ๋ฐฐ์ฐ๊ธฐ: ๋ชจ๋ธ์ ์์ญ์ต ๊ฐ์ ๋ฌธ์ฅ์ ์ฝ์ผ๋ฉฐ ์ด๋ค ๋จ์ด๋ค์ด ํจ๊ป, ํน์ ๋น์ทํ ๋งฅ๋ฝ์์ ๋ฑ์ฅํ๋์ง ํต๊ณ์ ์ผ๋ก ํ์ตํฉ๋๋ค.
- "์ด๋ฆฐ ๊ฐ์์ง๋ ๊ฐ์ ์๋ผ์ด๋ค."
- "์๋ผ ๊ณ ์์ด๋ ๊ณ ์์ด์ ์๋ผ์ด๋ค."
- "๊ฐ๋ ๋ฉ๋ฉ ์ง๋๋ค."
- "๊ณ ์์ด๋ ์ผ์น ํ๊ณ ์ด๋ค."
์ด๋ฐ ๋ฌธ์ฅ๋ค์ ๋ฌด์ํ ๋ง์ด ํ์ตํ๋ฉด์, ๋ชจ๋ธ์ '๊ฐ์์ง'์ '๊ฐ', ๊ทธ๋ฆฌ๊ณ '์๋ผ ๊ณ ์์ด'์ '๊ณ ์์ด'๊ฐ ์ ์ฌํ ๊ด๊ณ('์๋ผ' ๊ด๊ณ)์ ์๋ค๋ ๊ฒ์ ํ์ ํฉ๋๋ค.
'์๋ฏธ์ ๋ฐฉํฅ'๊ณผ '๊ฑฐ๋ฆฌ'๋ก ๊ด๊ณ ํํ:
- ํ์ต์ด ๋๋๋ฉด, ๋ชจ๋ธ์ ์ด ๊ด๊ณ๋ค์ ์์ ์ค๋ช ํ '์๋ฏธ ๊ณต๊ฐ'์ด๋ผ๋ ๊ฐ์์ ์ง๋์ ๋ฐฐ์นํฉ๋๋ค.
- ๊ทธ ๊ฒฐ๊ณผ, '๊ฐ์์ง' ์ขํ์์ '๊ฐ' ์ขํ๋ฅผ ๋บ ๋ฐฉํฅ๊ณผ ๊ฑฐ๋ฆฌ๋, '์๋ผ ๊ณ ์์ด' ์ขํ์์ '๊ณ ์์ด' ์ขํ๋ฅผ ๋บ ๋ฐฉํฅ๊ณผ ๊ฑฐ๋ฆฌ์ ๊ฑฐ์ ๋๊ฐ์์ง๋๋ค. (
๊ฐ์์ง - ๊ฐ โ ์๋ผ ๊ณ ์์ด - ๊ณ ์์ด) - ๋ง์ฐฌ๊ฐ์ง๋ก, '๊ฑท๋ค'์์ '๊ฑธ์๋ค'๋ก ๊ฐ๋ ๋ฐฉํฅ์ '๋ฐ๋ค'์์ '๋ฐ์๋ค'๋ก ๊ฐ๋ ๋ฐฉํฅ๊ณผ ๋น์ทํด์ง๋๋ค. (์์ ๊ด๊ณ ํ์ต)
- ์ด๊ฒ์ด ๋ฐ๋ก ๋ชจ๋ธ์ด ๋จ์ด ์ฌ์ด์ ๋ฌธ๋ฒ์ , ์๋ฏธ์ ๊ด๊ณ๋ฅผ '๊ธฐํํ์ ๊ด๊ณ'๋ก ์ดํดํ๋ ๋ฐฉ์์ ๋๋ค.
์ถ์์ ์ธ N๊ฐ์ ์ถ:
- ์ฐ๋ฆฌ๊ฐ ๋น์ ๋ก ๋ค์๋ '๊ฒฉ์์ฑ' ๊ฐ์ ์ถ์ ์ฌ๋์ด ์ดํดํ๊ธฐ ์ฌ์ด ์์์ผ ๋ฟ์ ๋๋ค.
- ์ค์ ๋ชจ๋ธ์ด ์ฌ์ฉํ๋ ์๋ฐฑ~์์ฒ ๊ฐ์ ์ถ์ AI ๋ชจ๋ธ์ด ์ค์ค๋ก ์ฐพ์๋ธ, ์ธ๊ฐ์ด ์ง๊ด์ ์ผ๋ก ์ด๋ฆ์ ๋ถ์ด๊ธฐ ์ด๋ ค์ด ๋งค์ฐ ๋ณต์กํ๊ณ ์ถ์์ ์ธ '์๋ฏธ์ ๊ตฌ์ฑ ์์'๋ค์ ๋๋ค.
- ์ด ์ถ๋ค์ด ๋ชจ์ฌ ๋จ์ด์ ๋ฌธ์ฅ์ ๋ฏธ๋ฌํ ๋์์ค ์ฐจ์ด๊น์ง ํํํ๋ ์ ๊ตํ '์๋ฏธ์ ์ขํ'๋ฅผ ๋ง๋ค์ด๋ด๋ ๊ฒ์ ๋๋ค.
๐ค ์ ๊น, '์ฐจ์ ์'๋ ๋๊ฐ ์ด๋ป๊ฒ ์ ํ๋์?
๊ฒฐ๋ก ๋ถํฐ ๋งํ๋ฉด, ๋ฒกํฐ์ ์ฐจ์ ์๋ ๋ชจ๋ธ์ ํ๋ จ์ํค๊ธฐ ์ ์ ์ฌ๋์ด ๋ฏธ๋ฆฌ ์ ํ๋ ์ค์ํ 'ํ์ดํผํ๋ผ๋ฏธํฐ(Hyperparameter)' ์ ๋๋ค.
ํ์ดํผํ๋ผ๋ฏธํฐ๋, ๋ชจ๋ธ์ด ๋ฐ์ดํฐ๋ก๋ถํฐ ์ค์ค๋ก 'ํ์ต'ํ๋ ๊ฐ(Parameter)์ด ์๋๋ผ, ํ์ต ๊ณผ์ ๊ณผ ๋ชจ๋ธ์ ๊ตฌ์กฐ๋ฅผ ์ ์ดํ๊ธฐ ์ํด ์ฌ๋์ด ์ฌ์ ์ ์ง์ ์ค์ ํ๋ ๊ฐ๋ค์ ์๋ฏธํฉ๋๋ค.
์น ๊ฐ๋ฐ์ ๋น์ ํ์๋ฉด, ์ด๋ ์ ํ๋ฆฌ์ผ์ด์
์ ์ํคํ
์ฒ(์: MSA vs Monolith)๋ฅผ ๊ฒฐ์ ํ๊ฑฐ๋, DB ํ๋์ VARCHAR ๊ธธ์ด๋ฅผ ๋ฏธ๋ฆฌ ์ ํ๋ ๊ฒ๊ณผ ๋น์ทํฉ๋๋ค. ํ ๋ฒ ์ ํด์ง๋ฉด ๋ฐ๊พธ๊ธฐ ์ด๋ ต๊ณ , ์์คํ
์ ์ฒด์ ์ฑ๋ฅ๊ณผ ๋น์ฉ์ ํฐ ์ํฅ์ ๋ฏธ์นฉ๋๋ค.
- ๊ณ ์ฐจ์ (High Dimension, ์: 1536 - OpenAI)
- ์ฅ์ : ๋ ๋ง์ '์๋ฏธ์ ์ถ'์ผ๋ก ํ ์คํธ์ ๋ฏธ๋ฌํ ๋์์ค๋ฅผ ์ ๊ตํ๊ฒ ํํํ ์ ์์ต๋๋ค. (์ฑ๋ฅ ์ ์ฌ๋ ฅ โ)
- ๋จ์ : ๋ฒกํฐ ํฌ๊ธฐ๊ฐ ์ปค์ ธ ์ ์ฅ ๊ณต๊ฐ์ ๋ง์ด ์ฐจ์งํ๊ณ , ๊ฒ์ ์๋๋ ๋๋ ค์ง๋๋ค. (๋น์ฉ/์๋ โ)
- ์ค์ฐจ์ (Medium Dimension, ์: 768 - Ollama nomic-embed-text)
- ์ฅ์ : ์ฑ๋ฅ๊ณผ ํจ์จ์ฑ์ ๊ท ํ์ด ์ ์กํ์์ด ๋๋ถ๋ถ์ RAG ์์ ์ ์ถฉ๋ถํ ์ฑ๋ฅ์ ์ ๊ณตํ๋ฉด์๋ ์ ์ฅ ๊ณต๊ฐ๊ณผ ๊ฒ์ ์๋ ๋ฉด์์ ํจ์จ์ ์ ๋๋ค.
- ๋จ์ : ๋งค์ฐ ๋ณต์กํ ์๋ฏธ ๊ตฌ๋ถ์ด ํ์ํ ๊ฒฝ์ฐ ๊ณ ์ฐจ์ ๋ชจ๋ธ ๋๋น ์ฝ๊ฐ์ ์ฑ๋ฅ ์ฐจ์ด๊ฐ ์์ ์ ์์ต๋๋ค.
- ์ ์ฐจ์ (Low Dimension, ์: 384)
- ์ฅ์ : ๋ฒกํฐ๊ฐ ์๊ณ ๊ฐ๋ฒผ์ ์ ์ฅ๊ณผ ๊ฒ์์ด ๋น ๋ฅด๊ณ ๊ฒฝ์ ์ ์ ๋๋ค. (๋น์ฉ/์๋ โ)
- ๋จ์ : ํํ๋ ฅ์ด ๋ถ์กฑํ์ฌ ์๋ก ๋ค๋ฅธ ์๋ฏธ๊ฐ ์ถฉ๋ํ ๊ฐ๋ฅ์ฑ์ด ์์ต๋๋ค. (์ฑ๋ฅ ์ ์ฌ๋ ฅ โ)
์ฐ๋ฆฌ๊ฐ ์ฌ์ฉํ๋ nomic-embed-text ๋ชจ๋ธ์ 768์ด๋ผ๋ ์ฐจ์ ์๋, ๋ชจ๋ธ์ ๋ง๋ ๊ฐ๋ฐํ์ด ์๋ง์ ์คํ์ ํตํด '์ฑ๋ฅ'๊ณผ 'ํจ์จ์ฑ' ์ฌ์ด์ ์ต์ ์ ๊ท ํ์ ์ ์ฐพ์ ๊ฒฐ์ ํ ๊ฐ์
๋๋ค. (์ฐธ๊ณ : OpenAI์ text-embedding-ada-002๋ 1536์ฐจ์์
๋๋ค.) ์ฐ๋ฆฌ๋ ์ด๋ฏธ ๋ง๋ค์ด์ง ๋ชจ๋ธ์ ์ฌ์ฉํ๋ฏ๋ก ์ด ๊ฐ์ ์ง์ ๋ฐ๊ฟ ์๋ ์์ง๋ง, ์ด ๊ฐ๋
์ ์ดํดํ๋ ๊ฒ์ ์ ํน์ ๋ชจ๋ธ์ ์ ํํ๋์ง, ๊ทธ๋ฆฌ๊ณ ๊ทธ ์ ํ์ด ์์คํ
์ ์ด๋ค ์ํฅ์ ๋ฏธ์น๋์ง ์ดํดํ๋ ๋ฐ ๋งค์ฐ ์ค์ํฉ๋๋ค.
๐๏ธ 3-2. ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค (Vector Database)
- ๋ฌด์์ธ๊ฐ?: ์์์ ์์ฑ๋ ์๋ง์ ๋ฒกํฐ(์๋ฏธ ์ขํ)๋ค์ ์ ์ฅํ๊ณ , ํน์ ๋ฒกํฐ์ ๊ฐ์ฅ '๊ฐ๊น์ด(์ ์ฌํ)' ๋ค๋ฅธ ๋ฒกํฐ๋ค์ ์ด๊ณ ์์ผ๋ก ๊ฒ์ํ๋ ๋ฐ ํนํ๋ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋๋ค.
- ์ ํ์ํ๊ฐ?: ์๋ฐฑ๋ง ๊ฐ์ ๋ฒกํฐ ์ค์์ ํน์ ๋ฒกํฐ์ ๊ฐ์ฅ ์ ์ฌํ ๊ฒ์ ์ฐพ๊ธฐ ์ํด ๋ชจ๋ ๋ฒกํฐ์ ์ผ์ผ์ด ๊ฑฐ๋ฆฌ๋ฅผ ๊ณ์ฐํ๋ ๊ฒ์ ๋งค์ฐ ๋นํจ์จ์ ์
๋๋ค(Full Scan). ๋ฒกํฐ ๋ฐ์ดํฐ๋ฒ ์ด์ค๋ ํน์ํ ์ธ๋ฑ์ค๋ฅผ ์ฌ์ฉํ์ฌ ์ด ๊ฒ์ ์๋๋ฅผ ํ๊ธฐ์ ์ผ๋ก ๋์ฌ์ค๋๋ค. ์ด๋ ๊ด๊ณํ ๋ฐ์ดํฐ๋ฒ ์ด์ค์์
WHERE์ ์ ๊ฒ์ ์๋๋ฅผ ๋์ด๊ธฐ ์ํดB-Tree ์ธ๋ฑ์ค๋ฅผ ๊ฑฐ๋ ๊ฒ๊ณผ ์ ํํ ๊ฐ์ ์๋ฆฌ์ ๋๋ค. - ์ฃผ์ ์๋ฃจ์
๋ค: ์ฐ๋ฆฌ ํ๋ก์ ํธ์์๋ PostgreSQL์ ํ์ฅ ๊ธฐ๋ฅ์ธ
pgvector๋ฅผ Supabase๋ฅผ ํตํด ์ฌ์ฉํ๊ณ ์์ง๋ง, ์์ฅ์๋ ๋ค์ํ ๋ฒกํฐ DB ์๋ฃจ์ ์ด ์กด์ฌํฉ๋๋ค.- ์ ๋ฌธ ๋ฒกํฐ DB (Managed):
Pinecone,Weaviate๋ฑ. ๋ฒกํฐ ๊ฒ์ ์ ์ฉ์ผ๋ก ์ค๊ณ๋ ์์ ๊ด๋ฆฌํ ํด๋ผ์ฐ๋ ์๋น์ค์ ๋๋ค. - ์คํ์์ค ๋ผ์ด๋ธ๋ฌ๋ฆฌ/DB:
Milvus,Faiss(by Meta) ๋ฑ. ์ง์ ์ค์นํ๊ณ ์ด์ํด์ผ ํ๋ ๋์ ์ ์ฐ์ฑ์ ์ ๊ณตํ๋ ์๋ฃจ์ ์ ๋๋ค. - ๊ธฐ์กด DB์ ํ์ฅ ๊ธฐ๋ฅ:
pgvector(in PostgreSQL),Redis,Elasticsearch,MongoDB Atlas Vector Search๋ฑ. ์ด๋ฏธ ์ฌ์ฉ ์ค์ธ DB์ ๋ฒกํฐ ๊ฒ์ ๊ธฐ๋ฅ์ ์ถ๊ฐํ๋ ๋ฐฉ์์ ๋๋ค.
- ์ ๋ฌธ ๋ฒกํฐ DB (Managed):
๐ 4. ์ ์ฒด ์ํฌํ๋ก์ฐ ์ ๋ฆฌ
์ฐ๋ฆฌ ํ๋ก์ ํธ์์ RAG๊ฐ ์๋ํ๋ ์ ์ฒด ํ๋ฆ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
graph TD
subgraph "์ธ๋ฑ์ฑ (๋ฌธ์ โ ์ง์ ๋ฒ ์ด์ค)"
A[PDF ๋ฌธ์] --> B(ํ
์คํธ ์ฒญํฌ ๋ถํ )
B --> C{์๋ฒ ๋ฉ ๋ชจ๋ธ}
C -- "๋ฒกํฐ์ ์๋ณธ ํ
์คํธ<br/>์์ผ๋ก ์ ์ฅ" --> D((๋ฒกํฐ DB))
end
subgraph "๋ต๋ณ ์์ฑ (์ง๋ฌธ โ ๋ต๋ณ)"
E[์ฌ์ฉ์ ์ง๋ฌธ] --> F{์๋ฒ ๋ฉ ๋ชจ๋ธ}
D & F -- "์ ์ฌ๋ ๊ฒ์" --> G[๊ด๋ จ์ฑ ๋์ ์ ๋ณด]
E & G -- "ํ๋กฌํํธ ๊ตฌ์ฑ" --> H{LLM}
H --> I((์ฌ์ฉ์์๊ฒ ๋ต๋ณ))
end
๐ฅ 1๋จ๊ณ: ์ธ๋ฑ์ฑ (Indexing / ๋ฌธ์ ์ฒ๋ฆฌ)
- ์ ๋ก๋: ์ฌ์ฉ์๊ฐ PDF๋ฅผ ์ ๋ก๋ํฉ๋๋ค.
- ๋ถํ (Chunking): ์๋ฒ(FastAPI)๋ PDF๋ฅผ ์ฌ๋ฌ ๊ฐ์ ์์ ํ ์คํธ ์ฒญํฌ(Chunk) ๋ก ๋ถํ ํฉ๋๋ค. (์์ธํ ๋ด์ฉ์ ์๋๋ฅผ ์ฐธ๊ณ ํ์ธ์)
- ์๋ฒ ๋ฉ (Embedding): ๊ฐ ์ฒญํฌ๋ ๋ก์ปฌ Ollama ์๋ฒ์ Embedding API๋ก ์ ์ก๋์ด ๋ฒกํฐ๋ก ๋ณํ๋ฉ๋๋ค. (๊ธฐ๋ณธ:
nomic-embed-text, 768์ฐจ์) - ์ ์ฅ (Storing):
(์๋ณธ ํ ์คํธ ์ฒญํฌ, ๋ฒกํฐ)์์ด Supabase(PostgreSQL + pgvector) DB์ ์ ์ฅ๋ฉ๋๋ค.
๐ค ์ฒญํน(Chunking)์ ์, ์ด๋ป๊ฒ ํด์ผ ํ ๊น์?
"๋ฌธ์๋ฅผ ๊ทธ๋ฅ ํต์งธ๋ก ์๋ฒ ๋ฉํ๋ฉด ์ ๋๋์?"
์ข์ ์ง๋ฌธ์ ๋๋ค. ๋ฌธ์๋ฅผ '์ฒญํฌ'๋ผ๋ ์์ ๋จ์๋ก ๋๋๋ ๋ฐ์๋ ๋ช ๊ฐ์ง ์ค์ํ ๊ธฐ์ ์ , ์ ๋ต์ ์ด์ ๊ฐ ์์ต๋๋ค.
์๋ฏธ์ ๋ช ํ์ฑ ํ๋ณด:
- ๊ฑฐ๋ํ ๋ฌธ์ ์ ์ฒด๋ฅผ ํ๋์ ๋ฒกํฐ๋ก ๋ง๋ค๋ฉด, ๊ทธ ๋ฒกํฐ๋ ๋ฌธ์์ 'ํ๊ท ์ ์ธ' ์๋ฏธ๋ฅผ ๋ํ๋ด๊ฒ ๋ฉ๋๋ค. ์ด๋ ๋๋ฌด ๊ด๋ฒ์ํด์, ์ฌ์ฉ์์ ๊ตฌ์ฒด์ ์ธ ์ง๋ฌธ๊ณผ ๊ด๋ จ๋ ๋ถ๋ถ์ ์ ํํ ์ฐพ์๋ด๊ธฐ ์ด๋ ต์ต๋๋ค.
- ์์ ์ฒญํฌ๋ก ๋๋๋ฉด, ๊ฐ ์ฒญํฌ๋ ๋ ์ง์ค๋๊ณ ๊ตฌ์ฒด์ ์ธ ์๋ฏธ๋ฅผ ๊ฐ์ง ๋ฒกํฐ๋ฅผ ๊ฐ๊ฒ ๋ฉ๋๋ค. ์ด๋ฅผ ํตํด ์ฌ์ฉ์์ ์ง๋ฌธ๊ณผ ์ ๋ง๋ก '๊ด๋ จ์ฑ ๋์' ์ ๋ณด ์กฐ๊ฐ์ ์ ํํ ์ฐพ์๋ผ ์ ์์ต๋๋ค.
LLM ๋ฐ ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ํ ํฐ ํ๊ณ:
- LLM ๋ชจ๋ธ๊ณผ ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ํ ๋ฒ์ ์ฒ๋ฆฌํ ์ ์๋ ํ ์คํธ์ ์(ํ ํฐ ์)์ ์ ํ์ด ์์ต๋๋ค. LLM์ ๊ฒฝ์ฐ ์ด๋ฅผ '์ปจํ ์คํธ ์ฐฝ(Context Window)'์ด๋ผ๊ณ ๋ถ๋ฆ ๋๋ค.
- ์๋ฐฑ ํ์ด์ง์ง๋ฆฌ ๋ฌธ์๋ฅผ ํต์งธ๋ก ์๋ฒ ๋ฉํ๊ฑฐ๋ LLM์๊ฒ ์ ๋ฌํ ์๋ ์์ต๋๋ค. ๋ฐ๋ผ์ ์ฐ๋ฆฌ๋ ๊ฒ์์ ํตํด ๊ฐ์ฅ ๊ด๋ จ ์๋ '์ฒญํฌ'๋ค๋ง ๊ณจ๋ผ์ LLM์ ์ปจํ ์คํธ ์ฐฝ ์์ ํจ์จ์ ์ผ๋ก ๋ฃ์ด์ฃผ์ด์ผ ํฉ๋๋ค.
์ฒญํน(Chunking)์ Best Practices
๊ทธ๋ ๋ค๋ฉด ์ด๋ป๊ฒ ์ฒญํฌ๋ฅผ ๋๋๋ ๊ฒ์ด ๊ฐ์ฅ ํจ์จ์ ์ผ๊น์? ์ด๋ RAG ์์คํ ์ ์ฑ๋ฅ์ ํฐ ์ํฅ์ ๋ฏธ์น๋ ์ค์ํ ๊ณผ์ ์ด๋ฉฐ, ๋ณดํต ๋ค์ ๋ ๊ฐ์ง ์์๋ฅผ ํต์ฌ ํ์ดํผํ๋ผ๋ฏธํฐ๋ก ๊ณ ๋ คํฉ๋๋ค.
์ฒญํฌ ํฌ๊ธฐ (Chunk Size):
- ๋๋ฌด ์์ผ๋ฉด? ๋ฌธ์ฅ์ ์๋ฏธ๊ฐ ์ค๊ฐ์ ์๋ฆด ์ ์๊ณ , ์ง๋ฌธ์ ๋ตํ๊ธฐ์ ์ถฉ๋ถํ ๋งฅ๋ฝ์ ํฌํจํ์ง ๋ชปํ ์ ์์ต๋๋ค.
- ๋๋ฌด ํฌ๋ฉด? ๊ด๋ จ ์๋ ์ ๋ณด๊ฐ ๋๋ฌด ๋ง์ด ํฌํจ๋์ด, ๊ฒ์๋ ๊ฒฐ๊ณผ์ ํต์ฌ ์๋ฏธ๊ฐ ํฌ์๋ ์ ์์ต๋๋ค.
- ์ ๋ต์ ์์ผ๋ฉฐ, ๋ฌธ์์ ์ข ๋ฅ์ ๋ด์ฉ์ ๋ฐ๋ผ ์ ์ ํ ํฌ๊ธฐ๋ฅผ ์คํ์ ์ผ๋ก ์ฐพ์์ผ ํฉ๋๋ค. ๋ณดํต 256, 512, 1024 ํ ํฐ ๋ฑ์ ๊ธฐ์ค์ผ๋ก ์ก์ต๋๋ค.
์ฒญํฌ ๊ฒน์นจ (Chunk Overlap):
- ์ฒญํฌ์ ์ฒญํฌ ์ฌ์ด์ ๊ฑธ์ณ ์๋ ์ค์ํ ๋ฌธ์ฅ์ด๋ ์์ด๋์ด๊ฐ ์๋ฆฌ๋ ๊ฒ์ ๋ฐฉ์งํ๊ธฐ ์ํด, ์๋์ ์ผ๋ก ์ฒญํฌ์ ์ผ๋ถ๋ฅผ ๊ฒน์น๊ฒ ๋ง๋ญ๋๋ค.
- ์๋ฅผ ๋ค์ด, 512 ํ ํฐ ํฌ๊ธฐ๋ก ์๋ฅด๋, ๊ฐ ์ฒญํฌ๊ฐ ์ด์ ์ฒญํฌ์ ๋ง์ง๋ง 50๊ฐ ํ ํฐ์ ํฌํจํ๊ฒ ๋ง๋๋ ์์ ๋๋ค. ์ด๋ ๊ฒ ํ๋ฉด ์ ๋ณด์ ์ฐ์์ฑ์ ์ ์งํ๋ ๋ฐ ํฐ ๋์์ด ๋ฉ๋๋ค.
๐ ์ค์ ๊ตฌํ์ ์ฌ์ฉํ ์ฒญํน ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋์ ๋ฐฉ์์ ์ง์ ์กฐ์ฌํด๋ณด์ธ์. ์ด๋ค ๊ตฌ๋ถ์(separator)๋ฅผ ์ด๋ค ์์๋ก ์ ์ฉํ๋์ง,
chunk_size๊ฐ ํ ํฐ ๊ธฐ์ค์ธ์ง ๋ฌธ์ ๊ธฐ์ค์ธ์ง ํ์ธํ๋ฉด ์ฒญํน ํ๋ผ๋ฏธํฐ ํ๋ ์ ํจ์ฌ ์ ํํ ํ๋จ์ ๋ด๋ฆด ์ ์์ต๋๋ค.
๐ค ์ ๋ฒกํฐ์ ์๋ณธ ํ ์คํธ๋ฅผ ํจ๊ป ์ ์ฅํ ๊น์?
"๊ฒ์์ ๋ฒกํฐ๋ก ํ ํ ๋ฐ, ์ ์๋ณธ ํ ์คํธ๊น์ง DB์ ์ ์ฅํด์ผ ํ๋์?"
์ด๋ RAG์ ์ต์ข ๋ชฉํ๋ฅผ ์๊ฐํ๋ฉด ๋ช ํํด์ง๋๋ค.
๋ฒกํฐ๋ '์ฃผ์', ์๋ณธ ํ ์คํธ๋ '๋ด์ฉ๋ฌผ'์ ๋๋ค.
- ๋ฒกํฐ๋ ํ
์คํธ์ ์๋ฏธ๋ฅผ ๋ํ๋ด๋ '์ขํ' ๋๋ '์ฃผ์'์ผ ๋ฟ, ๊ทธ ์์ฒด๋ก ์๋ณธ ์ ๋ณด๋ฅผ ๋ด๊ณ ์์ง๋ ์์ต๋๋ค.
[0.01, -0.23, ...]๊ฐ์ ์ซ์ ๋ฐฐ์ด์ LLM์๊ฒ ์ค๋ด์ผ ์๋ฌด ์๋ฏธ๊ฐ ์์ต๋๋ค. - ์ฐ๋ฆฌ์ ์ต์ข ๋ชฉํ๋ ์ฌ์ฉ์์ ์ง๋ฌธ๊ณผ ๊ฐ์ฅ ์ ์ฌํ '์ ๋ณด(ํ ์คํธ)' ๋ฅผ ์ฐพ์์ LLM์๊ฒ '์ฐธ๊ณ ์๋ฃ'๋ก ์ ๊ณตํ๋ ๊ฒ์ ๋๋ค.
- ๋ฒกํฐ๋ ํ
์คํธ์ ์๋ฏธ๋ฅผ ๋ํ๋ด๋ '์ขํ' ๋๋ '์ฃผ์'์ผ ๋ฟ, ๊ทธ ์์ฒด๋ก ์๋ณธ ์ ๋ณด๋ฅผ ๋ด๊ณ ์์ง๋ ์์ต๋๋ค.
๋ฐ๋ผ์ ์ํฌํ๋ก์ฐ๋ ๋ค์๊ณผ ๊ฐ์ด ์ด๋ฃจ์ด์ง๋๋ค.
- ์ฌ์ฉ์์ '์ง๋ฌธ ๋ฒกํฐ'๋ฅผ ์ฌ์ฉํ์ฌ ๋ฒกํฐ DB์์ ๊ฐ์ฅ ๊ฐ๊น์ด '์ฃผ์(๋ฒกํฐ)' ๋ค์ ์ฐพ์ต๋๋ค.
- ์ฐพ์๋ธ '์ฃผ์'์ ํด๋นํ๋ '๋ด์ฉ๋ฌผ(์๋ณธ ํ ์คํธ ์ฒญํฌ)' ์ DB์์ ๊บผ๋ ๋๋ค.
- ์ด '๋ด์ฉ๋ฌผ'๋ค์ ๋ชจ์ ์ปจํ ์คํธ๋ก ๊ตฌ์ฑํ ๋ค, LLM์๊ฒ ์ง๋ฌธ๊ณผ ํจ๊ป ์ ๋ฌํฉ๋๋ค.
๊ฒฐ๋ก ์ ์ผ๋ก, (๋ฒกํฐ, ์๋ณธ ํ
์คํธ) ์์ผ๋ก ์ ์ฅํ๋ ๊ฒ์, ์ด๊ณ ์์ผ๋ก ๊ด๋ จ ์ ๋ณด๋ฅผ ์ฐพ๊ธฐ ์ํ ์ธ๋ฑ์ค(๋ฒกํฐ) ์, ์ฐพ์ ํ์ LLM์๊ฒ ์ค์ ๋ก ์ ๊ณตํ ๋ฐ์ดํฐ(์๋ณธ ํ
์คํธ) ๋ฅผ ํจ๊ป ๊ด๋ฆฌํ๋, ๋งค์ฐ ํจ์จ์ ์ธ ๋ฐฉ์์
๋๋ค.
๐ฌ 2๋จ๊ณ: ๊ฒ์ ๋ฐ ์์ฑ (Retrieval & Generation / Q&A)
์ฌ์ฉ์ ์ง๋ฌธ: ์ฌ์ฉ์๊ฐ ์น UI์์ ์ง๋ฌธ์ ์ ๋ ฅํฉ๋๋ค.
์ง๋ฌธ ์๋ฒ ๋ฉ: ์ง๋ฌธ ํ ์คํธ ์ญ์ ๋ก์ปฌ Ollama ์๋ฒ์ Embedding API๋ก ์ ์ก๋์ด '์ง๋ฌธ ๋ฒกํฐ' ๋ก ๋ณํ๋ฉ๋๋ค.
์ ์ฌ๋ ๊ฒ์: ์๋ฒ๋ ์ด '์ง๋ฌธ ๋ฒกํฐ'๋ฅผ ๊ฐ์ง๊ณ Supabase DB์ ์ฟผ๋ฆฌ๋ฅผ ์คํํฉ๋๋ค (
match_documentsํจ์). DB๋ ๋ฒกํฐ ๊ฒ์์ ํตํด ์ง๋ฌธ ๋ฒกํฐ์ ๊ฐ์ฅ ์๋ฏธ์ ์ผ๋ก ์ ์ฌํ(๊ฐ๊น์ด) ์์ 5๊ฐ์ ํ ์คํธ ์ฒญํฌ๋ฅผ ๋ฐํํฉ๋๋ค.์ปจํ ์คํธ ์์ฑ: ์๋ฒ๋ ์ด 5๊ฐ์ ์ฒญํฌ๋ฅผ ์กฐํฉํ์ฌ '์ปจํ ์คํธ(Context)' ๋ผ๋ ํ๋์ ๊ธด ๋ฌธ์์ด์ ๋ง๋ญ๋๋ค.
์ฆ๊ฐ๋ ํ๋กฌํํธ ์์ฑ: ์ต์ข ์ ์ผ๋ก ๋ก์ปฌ Ollama ์๋ฒ์ Chat API(
llama3.1)์ ๋ค์๊ณผ ๊ฐ์ ์ฆ๊ฐ๋ ํ๋กฌํํธ(Augmented Prompt) ๋ฅผ ์ ์กํฉ๋๋ค.์ปจํ ์คํธ: [DB์์ ์ฐพ์ ๊ด๋ จ ๋ด์ฉ 5๊ฐ] > ์ง๋ฌธ: [์ฌ์ฉ์์ ์๋ณธ ์ง๋ฌธ]
"์ ์ปจํ ์คํธ๋ฅผ ๋ฐํ์ผ๋ก ์ง๋ฌธ์ ๋ตํด์ฃผ์ธ์."
๋ต๋ณ ์์ฑ: LLM์ ์ด '์ชฝ์ง(Context)'๋ฅผ ์ฐธ๊ณ ํ์ฌ ๋ต๋ณ์ ์์ฑํ๊ณ , ์๋ฒ๋ ์ด ๋ต๋ณ์ ์ฌ์ฉ์์๊ฒ ๋ณด์ฌ์ค๋๋ค.
(์ฐธ๊ณ : OpenAI๋ฅผ ์ฌ์ฉํ๋ ค๋ฉด .env์์ PROVIDER=openai๋ก ์ค์ ํ๋ฉด GPT-3.5-turbo๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค.)
๐ฏ 5. ์ฌํ ๊ณ ๋ ค์ฌํญ: RAG ์์คํ ์ฑ๋ฅ ๋์ด๊ธฐ
์ง๊ธ๊น์ง ์ค๋ช ํ ์ํฌํ๋ก์ฐ๋ RAG์ ๊ธฐ๋ณธ ๋ผ๋์ ๋๋ค. ์ค์ ์ด์ ํ๊ฒฝ์์๋ ๋ ๋์ ๋ต๋ณ ํ์ง์ ์ํด ๋ค์๊ณผ ๊ฐ์ ์์๋ค์ ์ถ๊ฐ๋ก ๊ณ ๋ คํ๊ฒ ๋ฉ๋๋ค.
๐ 5-1. ์ ์ฌ๋ ์ธก์ ๋ฐฉ์: ์ ํ๊ณผ ์ง์ค
"๋ฒกํฐ๊ฐ '๊ฐ๊น๋ค'๋ ๊ฒ์ ๊ณ์ฐํ๋ ๋ฐฉ๋ฒ์ ํ ๊ฐ์ง๋ฟ์ธ๊ฐ์?"
- ๊ทธ๋ ์ง ์์ต๋๋ค. ๋ฒกํฐ ๊ณต๊ฐ์์ ๋ ๋ฒกํฐ์ '์ ์ฌ๋' ๋๋ '๊ฑฐ๋ฆฌ'๋ฅผ ์ธก์ ํ๋ ๋ฐฉ๋ฒ์ ์ฌ๋ฌ ๊ฐ์ง๊ฐ ์์ผ๋ฉฐ, ๊ฐ๊ฐ์ ์ฅ๋จ์ ์ด ์์ด ์ฌ์ฉ ์ฌ๋ก์ ๋ง๊ฒ ์ ํํด์ผ ํฉ๋๋ค.
๊ฐ์ฅ ์ค์ํ ์์น์ ์๋ฒ ๋ฉ ๋ชจ๋ธ์ ํ๋ จํ ๋ ์ฌ์ฉ๋ ์ธก์ ๋ฐฉ์๊ณผ ๋์ผํ ๋ฐฉ์์ ๋ฒกํฐ DB์์๋ ์ฌ์ฉํ๋ ๊ฒ์ ๋๋ค. ์๋ฅผ ๋ค์ด, ์ฝ์ฌ์ธ ์ ์ฌ๋๋ก ํ๋ จ๋
all-MiniLM-L6-v2๋ชจ๋ธ์ ์ฌ์ฉํ๋ค๋ฉด, DB์์๋ ์ฝ์ฌ์ธ ์ ์ฌ๋๋ฅผ ์ฌ์ฉํด์ผ ์ต์์ ๊ฒฐ๊ณผ๋ฅผ ์ป์ ์ ์์ต๋๋ค. ๋ง์ฝ ์ด๋ค ๋ฐฉ์์ ์ฌ์ฉํ๋์ง ๋ถ๋ถ๋ช ํ๊ฑฐ๋, LSH์ฒ๋ผ ํน์ ์์ค ํจ์ ์์ด ๋ง๋ค์ด์ง ์๋ฒ ๋ฉ์ด๋ผ๋ฉด, ๋ฐ์ดํฐ์ ์ฌ์ฉ ์ฌ๋ก์ ํน์ฑ์ ๋ฐ๋ผ ๊ฐ์ฅ ์ ํฉํ ๋ฐฉ์์ ์ ํํด์ผ ํฉ๋๋ค.
๐ค ์ ๊น, ์ฝ์ฌ์ธ ์ ์ฌ๋๋ ์ ๋ง 'ํฌ๊ธฐ'์ ๋ฌด๊ดํ๊ฐ์?
๋ค, ๊ทธ๋ ์ต๋๋ค. ํ์ง๋ง ์ฝ์ฌ์ธ ์ ์ฌ๋ ๊ณ์ฐ์์ '๋ด์ (Dot Product)'์ด ํฌํจ๋์ด ์์ด ์ด ๋ถ๋ถ์ด ํท๊ฐ๋ฆด ์ ์์ต๋๋ค. ๋ด์ ์ ๋ ๋ฒกํฐ์ ํฌ๊ธฐ์ ๋ฐฉํฅ์ ๋ชจ๋ ๋ฐ์ํ๊ธฐ ๋๋ฌธ์ ๋๋ค.
ํต์ฌ์ ์ฝ์ฌ์ธ ์ ์ฌ๋์ ๋ง์ง๋ง ๋จ๊ณ์ธ '์ ๊ทํ(Normalization)', ์ฆ ๊ฐ ๋ฒกํฐ ํฌ๊ธฐ์ ๊ณฑ์ผ๋ก ๋๋ ์ฃผ๋ ๊ณผ์ ์ ์์ต๋๋ค. ์ด ๊ณผ์ ์ด ๋ฒกํฐ์ 'ํฌ๊ธฐ'๋ผ๋ ์์๋ฅผ ์ํ์ ์ผ๋ก ์๋ฒฝํ๊ฒ ์ ๊ฑฐํ๊ณ , ์์ํ๊ฒ '๋ฐฉํฅ' ์ ๋ณด๋ง์ ๋จ๊น๋๋ค. ์๋ ๋ค์ด์ด๊ทธ๋จ์ ๋ ๊ณ์ฐ ๋ฐฉ์์ ์ฐจ์ด๋ฅผ ๋ช ํํ ๋ณด์ฌ์ค๋๋ค.
graph TD
subgraph "๋ด์ : ๋ฐฉํฅ๊ณผ ํฌ๊ธฐ๋ฅผ ๋ชจ๋ ๊ณ ๋ ค"
direction LR
style C fill:#FFE6CC,stroke:#D79B00
style D fill:#FFE6CC,stroke:#D79B00
A["๋ฒกํฐ A (ํ: 3)"] --> C("์ ์ = ๋ฐฉํฅ ์ ์ฌ๋ ร <b>3</b> ร <b>5</b>");
B["๋ฒกํฐ B (ํ: 5)"] --> C;
C -- "๊ฒฐ๊ณผ๊ฐ์<br/><b>๋ฐฉํฅ๊ณผ ํฌ๊ธฐ</b><br/>๋ชจ๋์ ์ํฅ์ ๋ฐ์" --> D(๋์ ์ ์);
end
subgraph "์ฝ์ฌ์ธ ์ ์ฌ๋: ์ค์ง ๋ฐฉํฅ๋ง ๊ณ ๋ ค"
direction LR
style G fill:#DAE8FC,stroke:#6C8EBF
style H fill:#DAE8FC,stroke:#6C8EBF
E["๋ฒกํฐ A (ํ: 3)"] -- "ํฌ๊ธฐ๋ฅผ 1๋ก ์ ๊ทํ" --> F["๋ฒกํฐ A'<br/>(ํ: 1)"];
I["๋ฒกํฐ B (ํ: 5)"] -- "ํฌ๊ธฐ๋ฅผ 1๋ก ์ ๊ทํ" --> J["๋ฒกํฐ B'<br/>(ํ: 1)"];
F --> G("์ ์ = ๋ฐฉํฅ ์ ์ฌ๋ ร <b>1</b> ร <b>1</b>");
J --> G
G -- "๊ฒฐ๊ณผ๊ฐ์<br/>์ค์ง <b>๋ฐฉํฅ</b>์๋ง<br/>์ํฅ์ ๋ฐ์" --> H(๋ฐฉํฅ ์ ์)
end
๊ฐ์ฅ ๋ํ์ ์ธ 3๊ฐ์ง๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
| ์ธก์ ๋ฐฉ์ | ํต์ฌ ์๋ฆฌ (์ง๊ด์ ์๋ฏธ) | ๋ฌด์์ ๋ฏผ๊ฐํ๊ฐ? | ํน์ง ๋ฐ ์ฃผ์ ์ฌ์ฉ ์ฌ๋ก |
|---|---|---|---|
| ์ฝ์ฌ์ธ ์ ์ฌ๋ | "๋ ๋ฒกํฐ๊ฐ ๊ฐ์ ๋ฐฉํฅ์ ๋ฐ๋ผ๋ณด๋๊ฐ?" (๊ฐ๋ ์ธก์ ) | ๋ฐฉํฅ(Direction) ์๋ง ๋ฏผ๊ฐ. | (์ฐ๋ฆฌ ํ๋ก์ ํธ์ ์ ํ) ํ ์คํธ์ '์ฃผ์ '๋ '๋งฅ๋ฝ'์ด ์ค์ํ ๋ ์ฌ์ฉํฉ๋๋ค. "์ฐจ๊ฐ ๊ณ ์ฅ๋ฌ๋ค"์ "์๋์ฐจ๊ฐ ๋ง๊ฐ์ก๋ค"๋ ๋ฌธ์ฅ ๊ธธ์ด(๋ฒกํฐ ํฌ๊ธฐ)๊ฐ ๋ฌ๋ผ๋ ๋ฐฉํฅ์ด ๋น์ทํด ์ ์ฌ๋๊ฐ ๋๊ฒ ๋์ต๋๋ค. |
| ์ ํด๋ฆฌ๋ ๊ฑฐ๋ฆฌ | "๋ ์ ์ฌ์ด์ ์ต๋จ ์ง์ ๊ฑฐ๋ฆฌ๋ ์ผ๋ง์ธ๊ฐ?" | ์ ๋์ ์์น(Magnitude & Direction) ์ ๋ฏผ๊ฐ. | ์ด๋ฏธ์ง ์ ์ฌ๋(ํฝ์ ๊ฐ ์ฐจ์ด), ์์น ๋ฐ์ดํฐ ๋ถ์ ๋ฑ ๋ฒกํฐ์ ๊ฐ ์์๊ฐ์ด ์ ๋์ ์ธ ์๋ฏธ๋ฅผ ๊ฐ์ง ๋ ์ฌ์ฉํฉ๋๋ค. ์ถ์ฒ ์์คํ ์์ "A๋ ์ํ๋ฅผ 5๋ฒ, B๋ 1๋ฒ ๋ดค๋ค" ๊ฐ์ ์ ๋์ ์ธ ํ์ ์ฐจ์ด๋ฅผ ๋ฐ์ํ๊ณ ์ถ์ ๋ ์ ํฉํฉ๋๋ค. |
| ๋ด์ (Dot Product) | "ํ ๋ฒกํฐ๊ฐ ๋ค๋ฅธ ๋ฒกํฐ ๋ฐฉํฅ์ผ๋ก ์ผ๋ง๋ ๊ธฐ์ฌํ๋๊ฐ?" | ๋ฐฉํฅ๊ณผ ํฌ๊ธฐ(Direction & Magnitude) ๋ชจ๋์ ๋ฏผ๊ฐ. | ๊ฐ์ ๋ฐฉํฅ์ผ ๋, ํฌ๊ธฐ๊ฐ ํด์๋ก(์: ๋ ์ธ๊ธฐ ์๊ฑฐ๋ ์ค์ํ ์๋ก) ๋ ๋์ ์ ์๋ฅผ ๋ถ์ฌํ๊ณ ์ถ์ ๋ ์ฌ์ฉํฉ๋๋ค. ์ ๊ทํ(normalize)๋ ๋ฒกํฐ์์๋ ์ฝ์ฌ์ธ ์ ์ฌ๋์ ๋์ผํ ๊ฒฐ๊ณผ๋ฅผ ๋ด๋ฉด์ ๊ณ์ฐ์ด ๋ ๋น ๋ฅด๋ค๋ ์ฅ์ ์ด ์์ด, ๊ฒ์ ์์คํ ๋ด๋ถ ์ต์ ํ์ ์์ฃผ ์ฌ์ฉ๋ฉ๋๋ค. |
์ฐธ๊ณ ์๋ฃ: Vector Similarity Explained (Pinecone)
๐ก ์ฌํ: ์ ์ฐธ๊ณ ์๋ฃ์์๋ ๋ด์ ๊ณผ ์ฝ์ฌ์ธ ์ ์ฌ๋๋ฅผ ํผ์ฉํด์ ์ค๋ช ํ๋์?
์์ ์ค๋ช ์ผ๋ก ํผ๋์ค๋ฌ์ธ ์ ์๋ ์ง์ ์ ๋๋ค. "์ฝ์ฌ์ธ ์ ์ฌ๋๋ ํฌ๊ธฐ์ ๋ฌด๊ดํ๋ค"๊ณ ๋ฐฐ์ ๋๋ฐ, ์ Pinecone ๊ฐ์ ๊ธฐ์ ๋ฌธ์์์๋ ๋ด์ (ํฌ๊ธฐ์ ์ํฅ์ ๋ฐ์)์ ์ฝ์ฌ์ธ ์ ์ฌ๋์ ๊ฑฐ์ ๊ฐ์ ๊ฒ์ฒ๋ผ ์ค๋ช ํ ๊น์?
๊ฒฐ๋ก ๋ถํฐ ๋งํ๋ฉด, ์ด๋ '์ฑ๋ฅ ์ต์ ํ'๋ฅผ ์ํด ๋๋ฆฌ ์ฌ์ฉ๋๋ ๊ธฐ๋ฒ ๋๋ฌธ์ ๋๋ค.
ํต์ฌ์ '์ฌ์ ์ ๊ทํ(Pre-normalization)' ๋ผ๋ ๊ฐ๋ ์ ์์ต๋๋ค.
- ์ ์ฅ ์์ ์ ์ ๊ทํ: ๋ฒกํฐ๋ฅผ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ ์ฅํ ๋, ๋ชจ๋ ๋ฒกํฐ์ ํฌ๊ธฐ(Magnitude, L2-norm)๋ฅผ 1๋ก ์ ๊ทํํด์ ์ ์ฅํฉ๋๋ค.
- ๊ฒ์ ์์ ์๋ ๋ด์ ์ฌ์ฉ: ์ด๋ ๊ฒ ๋ชจ๋ ๋ฒกํฐ์ ํฌ๊ธฐ๊ฐ 1์ด ๋๋ฉด, ์ฝ์ฌ์ธ ์ ์ฌ๋ ๊ณ์ฐ ๊ณต์
cos(ฮธ) = (A โข B) / (||A|| * ||B||)์์ ๋ถ๋ชจ||A|| * ||B||๊ฐ ํญ์1 * 1 = 1์ด ๋ฉ๋๋ค. - ๊ฒฐ๊ณผ: ๊ฒฐ๊ตญ ์ฝ์ฌ์ธ ์ ์ฌ๋ ๊ณ์ฐ์ด ๋ด์ (
A โข B) ๊ณ์ฐ๊ณผ ์์ ํ ๋์ผํด์ง๋๋ค.
๋ด์ ์ฐ์ฐ์ ๋๋์ ์ด ํฌํจ๋ ์ฝ์ฌ์ธ ์ ์ฌ๋ ๊ณ์ฐ๋ณด๋ค ํจ์ฌ ๋น ๋ฅด๊ธฐ ๋๋ฌธ์, ๋๋ถ๋ถ์ ๊ณ ์ฑ๋ฅ ๋ฒกํฐ ๊ฒ์ ์์คํ ์ ์ด๋ฐ ์ต์ ํ ๊ธฐ๋ฒ์ ์ฌ์ฉํฉ๋๋ค.
๋ฐ๋ผ์ ๊ธฐ์ ๋ฌธ์๋ค์ด ๋ ์ฉ์ด๋ฅผ ํผ์ฉํ๋ ๊ฒ์, '์๋ฆฌ' ๋ณด๋ค๋ '์ต์ ํ๋ ์ค์ ๊ตฌํ' ์ ๊ด์ ์์ ์ค๋ช ํ๊ธฐ ๋๋ฌธ์ ๋๋ค. ์๋ฆฌ์ ์ผ๋ก๋ ์ฝ์ฌ์ธ ์ ์ฌ๋๋ ์ฌ์ ํ ๋ฐฉํฅ๋ง์, ๋ด์ ์ ๋ฐฉํฅ๊ณผ ํฌ๊ธฐ๋ฅผ ๋ชจ๋ ๊ณ ๋ คํ๋ ๊ฒ์ด ๋ง์ต๋๋ค.
๐ค ๊ทธ๋ ๋ค๋ฉด ์ ์ฐ๋ฆฌ ํ๋ก์ ํธ๋ ์ฝ์ฌ์ธ ์ ์ฌ๋๋ฅผ ์ฌ์ฉํ๋์?
1. ๊ฐ๋ : '์๋ฏธ'๋ฅผ ์ฐพ๊ธฐ ์ํ ์ต์ ์ ์งํ
- RAG์ ๋ชฉ์ ์ ํ ์คํธ์ '์๋ฏธ'๊ฐ ๋น์ทํ ๊ฒ์ ์ฐพ๋ ๊ฒ์ด๊ณ , ์ด๋ ๋ฒกํฐ์ '๋ฐฉํฅ'์ผ๋ก ํํ๋ฉ๋๋ค. ์ฌ๊ธฐ์ ํ ๊ฐ์ง ์คํดํ๊ธฐ ์ฌ์ด ์ ์ด ์์ต๋๋ค. ์ฝ์ฌ์ธ ์ ์ฌ๋์ ๊ณ์ฐ์์๋ ๋ฒกํฐ์ ํฌ๊ธฐ์ ๋ฐฉํฅ์ ๋ชจ๋ ๋ฐ์ํ๋ '๋ด์ (Dot Product)'์ด ํฌํจ๋์ง๋ง, ์ด ๊ฐ์ ๊ฐ ๋ฒกํฐ ํฌ๊ธฐ์ ๊ณฑ์ผ๋ก ๋๋๋ ์ ๊ทํ(Normalization) ๊ณผ์ ์ด ํต์ฌ์ ๋๋ค.
- ์ด ์ ๊ทํ ๋๋ถ์ ๋ฒกํฐ์ 'ํฌ๊ธฐ' ์ ๋ณด๋ ์์๋๊ณ , ์ต์ข ์ ์ผ๋ก๋ ์์ํ๊ฒ ๋ ๋ฒกํฐ๊ฐ ๊ฐ๋ฆฌํค๋ '๋ฐฉํฅ'์ ์ ์ฌ์ฑ๋ง์ด ๋จ๊ฒ ๋ฉ๋๋ค. ๋ฌธ์ฅ์ ๊ธธ์ด๋ ๋จ์ด ์ฌ์ฉ ๋น๋์ ๊ฐ์ ์์(๋ฒกํฐ์ ํฌ๊ธฐ์ ์ํฅ์ ์ค ์ ์๋)์ ์๊ด์์ด, ๋ด์ฉ์ '์๋ฏธ'๊ฐ ์ผ๋ง๋ ๋น์ทํ์ง๋ฅผ ์ธก์ ํด์ผ ํ๋ ์ฐ๋ฆฌ ํ๋ก์ ํธ์ ๋ชฉ์ ์ ๊ฐ์ฅ ์ ๋ถํฉํ๋ ๋ฐฉ์์ ๋๋ค.
2. ํ์ค: ์ธ๋ฑ์ค ์นํ์ ์ธ '๊ฑฐ๋ฆฌ'์ ํ์์ฑ
- ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ๋ฒกํฐ ์ธ๋ฑ์ค(์ฐ๋ฆฌ๊ฐ ์ฌ์ฉํ IVFFlat ๋ฑ)๋ '์ ์ฌ๋'(ํด์๋ก ์ข์)๊ฐ ์๋ '๊ฑฐ๋ฆฌ'(์์์๋ก ์ข์) ๊ฐ๋ ์ ๋ง์ถฐ ์ฑ๋ฅ์ด ์ต์ ํ๋์ด ์์ต๋๋ค.
3.
pgvector์ ํด๊ฒฐ์ฑ : ์ต์ ํ๋ ์ฐ์ฐ์pgvector๋ ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด, ๋ด๋ถ์ ์ผ๋ก๋ ๊ฐ์ฅ ๋น ๋ฅธ '๋ด์ ' ์ฐ์ฐ์ ํ์ฉํ๋ฉด์๋ ๊ฒฐ๊ณผ๋ฅผ '๊ฑฐ๋ฆฌ' ๊ฐ๋ ์ผ๋ก ๋ฐํํด์ฃผ๋ ์ต์ ํ๋ ์ฐ์ฐ์๋ค์ ์ ๊ณตํฉ๋๋ค.<=>(์ฝ์ฌ์ธ ๊ฑฐ๋ฆฌ):1 - (์ฝ์ฌ์ธ ์ ์ฌ๋)๋ฅผ ๊ณ์ฐํฉ๋๋ค. ์ธ๋ฑ์ค๋ฅผ ํ์ฉํ ์ ์ฌ๋ ๊ฒ์์ ์ํ ๊ฐ์ฅ ํ์ค์ ์ด๊ณ ์ง๊ด์ ์ธ ์ฐ์ฐ์์ ๋๋ค.
โ 5-2. LLM ๋ชจ๋ธ ์ ํ์ ์ค์์ฑ (The Importance of LLM Choice)
์ต์ข ๋ต๋ณ์ ํ์ง์ ๊ฒฐ์ ํ๋ ๊ฐ์ฅ ์ค์ํ ์์ ์ค ํ๋๋ ๋ฐ๋ก ๋ง์ง๋ง์ ๋ต๋ณ ์์ฑ์ ์์ฒญํ LLM ๋ชจ๋ธ์ ์ ํ์ ๋๋ค.
์ฐ๋ฆฌ ํ๋ก์ ํธ๋ ๊ธฐ๋ณธ์ ์ผ๋ก ๋ก์ปฌ Ollama(
llama3.1) ๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์ด๋ ์๋ง์ ์ ํ์ง ์ค ํ๋์ด๋ฉฐ, ๊ฐ ๋ชจ๋ธ์ ๋ค์๊ณผ ๊ฐ์ ์ฅ๋จ์ ์ ๊ฐ์ง๋๋ค.- ์ฑ๋ฅ (Performance): ๋ชจ๋ธ์ด ์ผ๋ง๋ ๋ณต์กํ ์ถ๋ก ์ ์ํ๊ณ , ์ง์๋ฅผ ์ ๋ฐ๋ฅด๋ฉฐ, ์์ฐ์ค๋ฌ์ด ๋ฌธ์ฅ์ ๋ง๋๋๊ฐ?
- ๋น์ฉ (Cost): API ํธ์ถ์ ์ผ๋ง์ ๋น์ฉ์ด ๋๋๊ฐ? (๋ณดํต ์ฒ๋ฆฌํ๋ ํ ์คํธ์ ์์ ๋ฐ๋ผ ๊ณผ๊ธ๋ฉ๋๋ค)
- ์๋ (Speed): ์์ฒญ์ ๋ณด๋์ ๋ ๋ต๋ณ์ด ์์ฑ๋๊ธฐ๊น์ง ์ผ๋ง๋ ๊ฑธ๋ฆฌ๋๊ฐ?
์ฃผ์ ๋ชจ๋ธ ๋น๊ต:
Ollama(๋ก์ปฌ ์คํ์์ค ๋ชจ๋ธ, ์ฐ๋ฆฌ ํ๋ก์ ํธ์ ๊ธฐ๋ณธ ์ ํ):- ์๋ฒ ๋ฉ ๋ชจ๋ธ:
nomic-embed-text(768์ฐจ์) - ๊ฒฝ๋์ด๋ฉด์๋ ์ฐ์ํ ์ฑ๋ฅ์ ์ ๊ณตํ๋ ์คํ์์ค ์๋ฒ ๋ฉ ๋ชจ๋ธ - ์ฑํ
๋ชจ๋ธ:
llama3.1(8B) - Meta์ Llama 3 ๊ณ์ด. GPT-3.5 ์์ค์ ์ฑ๋ฅ์ ๋ก์ปฌ์์ ๋ฌด๋ฃ๋ก ์ฌ์ฉ ๊ฐ๋ฅ. Ollama์์llama3.3,qwen2.5,gemma3๋ฑ ๋ค์ํ ์ต์ ๋ชจ๋ธ๋ ์ ํ ๊ฐ๋ฅ - ์ฅ์ :
- ์์ ๋ฌด๋ฃ (API ๋น์ฉ ์์)
- ๋ฐ์ดํฐ ํ๋ผ์ด๋ฒ์ ๋ณด์ฅ (๋ก์ปฌ์์ ์คํ)
- ์ธํฐ๋ท ์ฐ๊ฒฐ ์์ด๋ ๋์ ๊ฐ๋ฅ
- ๋ชจ๋ธ์ ์ง์ ์ ์ดํ๊ณ ์ปค์คํฐ๋ง์ด์ง ๊ฐ๋ฅ
- ๋จ์ :
- ๋ก์ปฌ ํ๋์จ์ด(CPU/GPU, ๋ฉ๋ชจ๋ฆฌ) ์ฑ๋ฅ์ ์์กด
- ์ด๊ธฐ ๋ชจ๋ธ ๋ค์ด๋ก๋ ์๊ฐ ํ์
- ํด๋ผ์ฐ๋ ๋ชจ๋ธ ๋๋น ์๋ต ์๋๊ฐ ๋๋ฆด ์ ์์
- ์ฌ์ฉ ์ฌ๋ก: ํ๋ผ์ด๋ฒ์๊ฐ ์ค์ํ ๋ฌธ์ ์ฒ๋ฆฌ, ๊ฐ๋ฐ/ํ์ต ํ๊ฒฝ, ๋น์ฉ ์ ๊ฐ์ด ํ์ํ ํ๋ก์ ํธ
- ์๋ฒ ๋ฉ ๋ชจ๋ธ:
GPT-4o/GPT-4o mini(by OpenAI, ์ ํ์ฌํญ): ํ์ฌ OpenAI์ ์ฃผ๋ ฅ ๋ชจ๋ธ.GPT-4o๋ ๊ณ ์ฑ๋ฅ,GPT-4o mini๋ ๋น ๋ฅด๊ณ ์ ๋ ดํ๋ฉด์๋ ์ถฉ๋ถํ ์ฑ๋ฅ์ ์ ๊ณตํด RAG ์์ ์ ๊ฐ์ฅ ํฉ๋ฆฌ์ ์ธ ํด๋ผ์ฐ๋ ์ ํ์ง์ ๋๋ค. (๊ตฌํGPT-3.5-turbo๋ฅผ ๋์ฒด)o3-mini/o1(by OpenAI): ๋ณต์กํ ์ถ๋ก ์ด ํ์ํ ์์ ์ ํนํ๋ ์ถ๋ก ๋ชจ๋ธ(Reasoning Model). ๋จ์ Q&A๋ณด๋ค๋ ๋ค๋จ๊ณ ๋ ผ๋ฆฌ ์ถ๋ก ์ด ํ์ํ ๊ฒฝ์ฐ์ ์ ํฉํฉ๋๋ค.Claude 3.7 Sonnet/Claude 3.5 Haiku(by Anthropic): Anthropic์ ์ต์ ๋ชจ๋ธ.Claude 3.7 Sonnet์ ์ต๊ณ ์ฑ๋ฅ,Claude 3.5 Haiku๋ ๋น ๋ฅด๊ณ ์ ๋ ดํฉ๋๋ค. ๊ธด ๋ฌธ์ ์ฒ๋ฆฌ์ ๊ฐํ ๋์ฉ๋ ์ปจํ ์คํธ ์ฐฝ(200K ํ ํฐ)์ด ํน์ง์ ๋๋ค.Gemini 2.0 Flash(by Google): ๋น ๋ฅธ ์๋ต ์๋์ ๋ฎ์ ๋น์ฉ์ด ๊ฐ์ ์ธ Google์ ์ต์ ๊ฒฝ๋ ๋ชจ๋ธ. ๋ฉํฐ๋ชจ๋ฌ(ํ ์คํธ+์ด๋ฏธ์ง) ์ฒ๋ฆฌ๋ ์ง์ํฉ๋๋ค.
์ฐ๋ฆฌ ํ๋ก์ ํธ๊ฐ
Ollama๋ฅผ ๊ธฐ๋ณธ์ผ๋ก ์ ํํ ์ด์ :- ๋น์ฉ ํจ์จ์ฑ: API ํธ์ถ ๋น์ฉ์ด ์ ํ ๋ฐ์ํ์ง ์์ ๊ฐ๋ฐ ๋ฐ ํ์ต ๋จ๊ณ์์ ๋ถ๋ด์ด ์์ต๋๋ค.
- ํ๋ผ์ด๋ฒ์: ๋ฏผ๊ฐํ ๋ฌธ์๋ฅผ ์ธ๋ถ ์๋ฒ๋ก ์ ์กํ์ง ์๊ณ ๋ก์ปฌ์์ ์ฒ๋ฆฌํ ์ ์์ด ๋ณด์์ด ๊ฐํ๋ฉ๋๋ค.
- ํ์ต ๋ชฉ์ : ์คํ์์ค ๋ชจ๋ธ์ ๋์ ์๋ฆฌ๋ฅผ ์ง์ ํ์ธํ๊ณ ์คํํ ์ ์์ต๋๋ค.
- ์ถฉ๋ถํ ์ฑ๋ฅ: Llama 3.1์ ๋๋ถ๋ถ์ RAG ์์ ์ ์ถฉ๋ถํ ์ฑ๋ฅ์ ์ ๊ณตํฉ๋๋ค.
(์ ํ์ฌํญ) ๋ฐฐํฌ ํ๊ฒฝ์์ ๋ ๋์ ์ฑ๋ฅ์ด๋ ์์ ์ ์ธ ์๋ต ์๋๊ฐ ํ์ํ๋ค๋ฉด
.env์์PROVIDER=openai๋ก ์ค์ ํ์ฌ OpenAI ๋ชจ๋ธ์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
๐ 6. RAG๋ฅผ ๋์ด์: ํ์ธํ๋์ ํ์์ฑ
์ง๊ธ๊น์ง ์ฐ๋ฆฌ๋ RAG๊ฐ ์ด๋ป๊ฒ ์ธ๋ถ ์ง์์ LLM์ ์ฃผ์ ํ์ฌ ์ ํํ๊ณ ๊ทผ๊ฑฐ ์๋ ๋ต๋ณ์ ์์ฑํ๋์ง ์์๋ณด์์ต๋๋ค. RAG๋ LLM์๊ฒ '์คํ๋ถ ํ ์คํธ'๋ฅผ ๋ณด๊ฒ ํ์ฌ, ์ฐ๋ฆฌ๊ฐ ์ ๊ณตํ ๋ฌธ์ ๋ด์์ ๋ต์ ์ฐพ๊ฒ ํ๋ ๋งค์ฐ ๊ฐ๋ ฅํ ์ ๊ทผ๋ฒ์ ๋๋ค.
ํ์ง๋ง ๋ง์ฝ ์ฐ๋ฆฌ์ ์๊ตฌ์ฌํญ์ด ๋จ์ํ '๋ฌด์' ์ ์๋ ๊ฒ์ ๋์ด, '์ด๋ป๊ฒ' ๋งํด์ผ ํ๋์ง์ ๋ํ ๊ฒ์ด๋ผ๋ฉด ์ด๋จ๊น์?
- ํน์ ๋ธ๋๋์ ๋ชฉ์๋ฆฌ: ๊ณ ๊ฐ ์๋น์ค ์ฑ๋ด์ด ํญ์ ํ์ฌ์ ์ ํด์ง ํค์ค๋งค๋(์น๊ทผํจ, ์ ๋ฌธ์ ์ ๋ฑ)๋ก๋ง ๋๋ตํด์ผ ํ ๋
- ํน์ ๋ถ์ผ์ ์ ๋ฌธ ์ฉ์ด: ์๋ฃ AI๊ฐ ์ผ๋ฐ์ ์ธ ๋จ์ด ๋์ , ์ ํํ ์ํ ์ฉ์ด๋ฅผ ์ผ๊ด๋๊ฒ ์ฌ์ฉํด์ผ ํ ๋
- ์ ํด์ง ์ถ๋ ฅ ํ์: ๋ฒ๋ฅ AI๊ฐ ํญ์ ๊ณ์ฝ์์ ํน์ ์กฐํญ ํ์์ ๋ง์ถฐ ํ ์คํธ๋ฅผ ์์ฑํด์ผ ํ ๋
์ด๋ฐ ๊ฒฝ์ฐ, ์ฐ๋ฆฌ๋ LLM์๊ฒ ๋จ์ํ ์๋ก์ด '์ง์'์ ์ ๊ณตํ๋ ๊ฒ์ ๋์ด, LLM์ ๊ทผ๋ณธ์ ์ธ 'ํ๋'์ด๋ '์คํ์ผ' ์์ฒด๋ฅผ ๋ณํ์ํค๊ณ ์ถ์ต๋๋ค. RAG๋ LLM์๊ฒ '์ฐธ๊ณ ์๋ฃ'๋ฅผ ์ฅ์ฌ์ฃผ๋ ๊ฒ์ด์ง๋ง, LLM์ ๋งํฌ๋ ์ฌ๊ณ ๋ฐฉ์์ ๋ฐ๊พธ์ง๋ ๋ชปํฉ๋๋ค.
๋ฐ๋ก ์ด ์ง์ ์์ ํ์ธํ๋(Fine-tuning) ์ ํ์์ฑ์ด ๋๋๋ฉ๋๋ค.
ํ์ธํ๋์ ํน์ ์์ ์ด๋ ๋๋ฉ์ธ์ ๋ง๋ ์๋ง์ '์ง๋ฌธ๊ณผ ์ ๋ต'(๊ฐ๊ฐ ์ ํต์ ์ธ ๋จธ์ ๋ฌ๋์ Feature์ Label์ ํด๋น) ์์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ง๊ณ LLM์ ์ถ๊ฐ๋ก ํ๋ จ์ํค๋ ๊ณผ์ ์ ๋๋ค. ์ด๋ ๋ง์น LLM์ ํน์ ๋ถ์ผ์ '์ ๋ฌธ๊ฐ'๋ก ๋ง๋ค๊ธฐ ์ํ ์ง์ค ํ๋ จ๊ณผ ๊ฐ์ต๋๋ค. ์ด๋ฅผ ํตํด ์ฐ๋ฆฌ๋ LLM์ด ๋จ์ํ ์ฃผ์ด์ง ์ ๋ณด๋ฅผ ํ์ฉํ๋ ๊ฒ์ ๋์ด, ์ฐ๋ฆฌ๊ฐ ์ํ๋ ์คํ์ผ๊ณผ ํ์์ผ๋ก ์๊ฐํ๊ณ ์๋ตํ๋๋ก ๊ทธ '๋ณธ์ฑ'์ ๋ฐ๊ฟ ์ ์์ต๋๋ค.
๋ฐ๋ผ์, ๋ค์ ๋จ๊ณ์์๋ RAG๋ก ํด๊ฒฐํ๊ธฐ ์ด๋ ค์ด ๋ฌธ์ ๋ค์ ํ์ธํ๋์ ํตํด ์ด๋ป๊ฒ ํด๊ฒฐํ ์ ์๋์ง ์์๋ณผ ๊ฒ์ ๋๋ค.
โ๏ธ RAG vs ํ์ธํ๋: ์ธ์ ๋ฌด์์ ์จ์ผ ํ ๊น?
| ๊ตฌ๋ถ | RAG (๊ฒ์-์ฆ๊ฐ ์์ฑ) | ํ์ธํ๋ (Fine-tuning) |
|---|---|---|
| ๋ชฉํ | LLM์๊ฒ ์๋ก์ด '์ง์' ์ ์ ๊ณตํ์ฌ ์ฌ์ค ๊ธฐ๋ฐ ๋ต๋ณ ์์ฑ | LLM์ 'ํ๋'์ด๋ '์คํ์ผ' ์ ํน์ ๋ชฉ์ ์ ๋ง๊ฒ ๋ณํ |
| ํต์ฌ ์๋ฆฌ | '์คํ๋ถ ํ ์คํธ' (์ธ๋ถ ์ง์ ์ฐธ์กฐ) | '์ ๋ฌธ๊ฐ ์ง์ค ํ๋ จ' (๋ชจ๋ธ์ ๋ด๋ถ ์ง์๊ณผ ํ๋ ๊ต์ ) |
| ์ฃผ์ ์ฌ์ฉ ์ฌ๋ก | ์ต์ ์ ๋ณด ๋ฐ์, ์ฌ๋ด ๋ฌธ์ ๊ธฐ๋ฐ Q&A, ํ๊ฐ ํ์ ๊ฐ์ | ํน์ ํค์ค๋งค๋(๋งํฌ) ์ ์ฉ, ์ ํด์ง ํ์์ผ๋ก ์ถ๋ ฅ, ์ ๋ฌธ ์ฉ์ด ์ฌ์ฉ |
| ์ฅ์ | ๋ฐ์ดํฐ ์ถ๊ฐ/์์ ์ด ์ฉ์ด, ๋น์ฉ์ด ์ ๋ ด, ํ๊ฐ์ด ์ ์ | LLM์ ๊ทผ๋ณธ์ ์ธ '์ฑ๊ฒฉ'์ ๋ฐ๊ฟ ์ ์์ |
| ๋จ์ | LLM์ ๋งํฌ๋ ์คํ์ผ์ ๋ฐ๊พธ์ง ๋ชปํจ, ๊ฒ์ ์ฑ๋ฅ์ ์์กด์ | ๋์ ํ๋ จ ๋น์ฉ๊ณผ ์๊ฐ, ์๋ก์ด ์ง์ ์ถ๊ฐ์ ์ด๋ ค์, ํ๊ฐ ์ํ์ฑ |
๋ฐ๋ผ์, ๋ค์ ๋จ๊ณ์์๋ RAG๋ก ํด๊ฒฐํ๊ธฐ ์ด๋ ค์ด ๋ฌธ์ ๋ค์ ํ์ธํ๋์ ํตํด ์ด๋ป๊ฒ ํด๊ฒฐํ ์ ์๋์ง ์์๋ณผ ๊ฒ์ ๋๋ค.
๐ 7. RAG ์์คํ ํ์ง์ ์ด๋ป๊ฒ ์ธก์ ํ ๊น?
RAG ํ์ดํ๋ผ์ธ์ ๋ง๋ค์๋ค๋ฉด, ์ด์ "์ด ์์คํ ์ด ์ผ๋ง๋ ์ ์๋ํ๋๊ฐ?"๋ฅผ ์ธก์ ํด์ผ ํฉ๋๋ค. ์น ์๋น์ค์ ๋น์ ํ๋ฉด, ๊ธฐ๋ฅ ๊ฐ๋ฐ ํ QA ํ ์คํธ๋ฅผ ํ๋ ๊ฒ๊ณผ ๊ฐ์ต๋๋ค.
RAG ์์คํ ์ ํ์ง์ ์ธก์ ํ๋ ํต์ฌ ์งํ๋ 3๊ฐ์ง์ ๋๋ค.
๐ 7-1. ์ ํ์ฑ (Correctness)
"๋ต์ด ๋ง๋์?"
๊ฐ์ฅ ์ง๊ด์ ์ธ ์งํ์ ๋๋ค. ์ฌ์ฉ์๊ฐ ์ง๋ฌธํ์ ๋ ์์คํ ์ด ์ณ์ ๋ต์ ์ฃผ์๋์ง๋ฅผ ์ธก์ ํฉ๋๋ค.
์ธก์ ๋ฐฉ๋ฒ (์๋ ํ๊ฐ)
- ํ ์คํธ ์ง๋ฌธ 10๊ฐ๋ฅผ ๋ฏธ๋ฆฌ ๋ง๋ค์ด๋ก๋๋ค. (์ ๋ก๋ํ ๋ฌธ์์์ ๋ต์ ์ฐพ์ ์ ์๋ ์ง๋ฌธ๋ค)
- ๊ฐ ์ง๋ฌธ์ ๋ํ '์ ๋ต'์ ๋ฏธ๋ฆฌ ์ ํด๋ก๋๋ค.
- RAG ์์คํ ์ด ๋ด๋์ ๋ต๋ณ์ ์ ๋ต๊ณผ ๋น๊ตํ์ฌ ๋ง์ผ๋ฉด 1์ , ํ๋ฆฌ๋ฉด 0์ ์ ์ค๋๋ค.
- ์ ํ์ฑ(%) = (์ ๋ต ์ / ์ ์ฒด ์ง๋ฌธ ์) ร 100
์์
| ์ง๋ฌธ | ์ ๋ต | ์์คํ ๋ต๋ณ | ํ์ |
|---|---|---|---|
| "์ด ๊ณ์ฝ์์ ๋ง๋ฃ์ผ์?" | 2026๋ 3์ 31์ผ | "2026๋ 3์ 31์ผ์ ๋๋ค." | โ ์ ๋ต |
| "๊ณ์ฝ ๊ฐฑ์ ์กฐ๊ฑด์?" | 90์ผ ์ ์๋ฉด ํต๋ณด | "60์ผ ์ ์ ํต๋ณดํด์ผ ํฉ๋๋ค." | โ ์ค๋ต |
๐ 7-2. ๊ทผ๊ฑฐ์ฑ (Faithfulness)
"๋ฌธ์๋ฅผ ๋ณด๊ณ ๋ตํ๋์, ์๋๋ฉด ์ง์ด๋๋์?"
์ ํ์ฑ๊ณผ ๋ค๋ฅธ ๊ฐ๋ ์ ๋๋ค. ๋ต์ด '๋ง๋๋ผ๋' ๋ฌธ์๊ฐ ์๋ LLM์ ํ์ต ๋ฐ์ดํฐ์์ ๋์จ ๋ต์ด๋ผ๋ฉด, ์ด ์งํ๋ ๋ฎ์ต๋๋ค. ์ด๊ฒ์ด RAG๋ฅผ ๋์ ํ ํต์ฌ ์ด์ ๋ฅผ ์ ๊ฒํ๋ ์งํ์ ๋๋ค.
์คํ๋ถ ์ํ์ ๋น์ ํ๋ฉด, '์ฑ ์ ๋ณด๊ณ ๋ต์ ์ผ๋๊ฐ'๋ฅผ ํ์ธํ๋ ๊ฒ์ ๋๋ค. ์ ๋ต์ ์๊ณ ์์ด์ ์ฑ ์ ์ ๋ณด๊ณ ์ผ๋๋ผ๋, ์คํ๋ถ ์ํ์ ์ทจ์ง์๋ ์ด๊ธ๋ฉ๋๋ค.
์ธก์ ๋ฐฉ๋ฒ (์๋ ํ๊ฐ)
- ์์คํ ์ ๋ต๋ณ๊ณผ ํจ๊ป '์ด๋ค ์ฒญํฌ๋ฅผ ๊ทผ๊ฑฐ๋ก ์ฌ์ฉํ๋์ง'๋ฅผ ํ์ธํฉ๋๋ค. (sources ํ๋)
- ๋ต๋ณ ๋ด์ฉ์ด ์ค์ ๋ก ๊ทธ ์ฒญํฌ์์ ์๋์ง ํ์ธํฉ๋๋ค.
- ์ฒญํฌ์ ์๋ ๋ด์ฉ์ด ๋ต๋ณ์ ํฌํจ๋์ด ์์ผ๋ฉด ๊ทผ๊ฑฐ์ฑ โ
์์
์ฒญํฌ ๋ด์ฉ: "๊ณ์ฝ ๊ธฐ๊ฐ์ 2026๋
1์ 1์ผ๋ถํฐ 2026๋
12์ 31์ผ๊น์ง์ด๋ค."
์์คํ
๋ต๋ณ: "๊ณ์ฝ ๊ธฐ๊ฐ์ 2026๋
1์ 1์ผ๋ถํฐ 2026๋
12์ 31์ผ๊น์ง์ด๋ฉฐ,
์๋ ๊ฐฑ์ ์ต์
๋ ์์ต๋๋ค."
โ '์๋ ๊ฐฑ์ '์ ์ฒญํฌ์ ์๋ ๋ด์ฉ โ ๊ทผ๊ฑฐ์ฑ โ (LLM์ด ์ง์ด๋ธ ๊ฒ)
๐ซ 7-3. ์๋ต ์คํจ์จ (Failure Rate)
"๋ต์ ์์ ๋ชป ํ๋์?"
์์คํ ์ด ์๋ฌ๋ฅผ ๋ด๊ฑฐ๋, ํ์์์์ด ๋๊ฑฐ๋, ๋น ์๋ต์ ๋ฐํํ ๋น์จ์ ๋๋ค. ์์คํ ์ ์์ ์ฑ์ ๋ํ๋ ๋๋ค.
์๋ต ์คํจ์จ(%) = (์๋ฌ + ํ์์์ + ๋ฌด์๋ต ์ / ์ ์ฒด ์ง๋ฌธ ์) ร 100
๐ 7-4. ์ธ ๊ฐ์ง ์งํ๋ฅผ ํจ๊ป ๋ณด๋ ๋ฐฉ๋ฒ
์ด 3๊ฐ์ง ์งํ๋ฅผ ํจ๊ป ๋ณด๋ฉด "์ด๋์ ๋ฌธ์ ๊ฐ ์๊ธฐ๋์ง" ์ง๋จํ ์ ์์ต๋๋ค.
| ์ ํ์ฑ | ๊ทผ๊ฑฐ์ฑ | ์์ฌ ์์ธ ๋ฐ ์กฐ์น ๋ฐฉํฅ |
|---|---|---|
| ๋ฎ์ | ๋ฎ์ | ๊ฒ์๋ ์ฒญํฌ ์์ฒด๊ฐ ๊ด๋ จ ์์ โ chunk_size, top-k ์กฐ์ |
| ๋์ | ๋ฎ์ | LLM์ด ๋ฌธ์ ์ธ ๋ด์ฉ์ ์ง์ด๋ โ ์์คํ ํ๋กฌํํธ ๊ฐํ |
| ๋ฎ์ | ๋์ | ๊ด๋ จ ์ฒญํฌ๋ฅผ ๋ชป ์ฐพ์ โ ์ฒญํฌ๊ฐ ๋๋ฌด ์๊ฑฐ๋ ๋ฌธ์ ๊ตฌ์กฐ ๋ฌธ์ |
| ๋์ | ๋์ | โ ์ ์๋ ์ค |
๐ ํ์ฌ ํ๋ก์ ํธ์์๋ ์ด ์งํ๋ฅผ ์๋์ผ๋ก ์ธก์ ํฉ๋๋ค. ์ค์ ํ๋ก๋์ ํ๊ฒฝ์์๋ RAGAS ๊ฐ์ ์๋ํ ํ๊ฐ ํ๋ ์์ํฌ๋ฅผ ์ฌ์ฉํ๊ธฐ๋ ํฉ๋๋ค. ๊ด์ฌ ์๋ค๋ฉด ์กฐ์ฌํด๋ณด์ธ์.
๐ 8. ๋ฉํฐํด ๋ํ์ Query Rewriting
๋ฌธ์ : ๋ํ ๋งฅ๋ฝ์ด ๋์ด์ง๋ RAG
๊ธฐ๋ณธ RAG ์์คํ ์ ์ง๋ฌธ ํ๋๋ฅผ ๋ ๋ฆฝ์ ์ผ๋ก ์ฒ๋ฆฌํฉ๋๋ค. ๊ทธ๋ฐ๋ฐ ์ฌ๋์ ๋ํ๋ฅผ ์ด์ด๊ฐ๋ฉด์ ์ด์ ๋งฅ๋ฝ์ ์์ฐ์ค๋ฝ๊ฒ ์ฐธ์กฐํฉ๋๋ค.
๋ค์ ๋ํ๋ฅผ ๋ณด์ธ์.
์ฌ์ฉ์: "๊ณ์ฝ์์ ๋ง๋ฃ์ผ์ด ์ธ์ ์ผ?"
์์คํ
: "2026๋
3์ 31์ผ์
๋๋ค."
์ฌ์ฉ์: "๊ทธ๋ผ ๊ทธ ์ ์ ๊ฐฑ์ ํ๋ ค๋ฉด ์ด๋ป๊ฒ ํด์ผ ํด?" โ "๊ทธ"๊ฐ ๋ฌด์์ธ์ง ์์คํ
์ด ๋ชจ๋ฆ
๋ ๋ฒ์งธ ์ง๋ฌธ "๊ทธ ์ ์ ๊ฐฑ์ ํ๋ ค๋ฉด"์์ "๊ทธ"๋ ๋ง๋ฃ์ผ(2026๋ 3์ 31์ผ)์ ๊ฐ๋ฆฌํต๋๋ค. ํ์ง๋ง ๊ธฐ๋ณธ RAG๋ ๊ฐ ์ง๋ฌธ์ ๋ ๋ฆฝ์ ์ผ๋ก ์๋ฒ ๋ฉํ๊ธฐ ๋๋ฌธ์, "๊ทธ ์ ์ ๊ฐฑ์ ํ๋ ค๋ฉด ์ด๋ป๊ฒ ํด์ผ ํด?"๋ฅผ ๊ทธ๋๋ก ๋ฒกํฐ๋ก ๋ณํํฉ๋๋ค. "๊ทธ"๊ฐ ๋ฌด์์ธ์ง ๋ชจ๋ฅด๋ ์ํ์์ ๊ฒ์ํ๋ฉด ์๋ฑํ ์ฒญํฌ๋ฅผ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค.
ํด๊ฒฐ์ฑ : Query Rewriting (์ง๋ฌธ ์ฌ์์ฑ)
ํต์ฌ ์์ด๋์ด: ์ฌ์ฉ์์ ์ง๋ฌธ์ ๊ทธ๋๋ก ์ฌ์ฉํ๋ ๋์ , ์ด์ ๋ํ ๋งฅ๋ฝ์ ๋ฐ์ํ์ฌ ๋ ๋ฆฝ์ ์ผ๋ก ์ดํด ๊ฐ๋ฅํ ์ง๋ฌธ์ผ๋ก LLM์ด ๋จผ์ ์ฌ์์ฑํฉ๋๋ค.
[๋ํ ํ์คํ ๋ฆฌ]
์ฌ์ฉ์: "๊ณ์ฝ์์ ๋ง๋ฃ์ผ์ด ์ธ์ ์ผ?"
์์คํ
: "2026๋
3์ 31์ผ์
๋๋ค."
[์๋ณธ ์ง๋ฌธ]
"๊ทธ๋ผ ๊ทธ ์ ์ ๊ฐฑ์ ํ๋ ค๋ฉด ์ด๋ป๊ฒ ํด์ผ ํด?"
[์ฌ์์ฑ๋ ์ง๋ฌธ โ LLM์ด ์์ฑ]
"๊ณ์ฝ์ ๋ง๋ฃ์ผ(2026๋
3์ 31์ผ) ์ด์ ์ ๊ณ์ฝ์ ๊ฐฑ์ ํ๋ ค๋ฉด ์ด๋ค ์ ์ฐจ๊ฐ ํ์ํ๊ฐ?"
์ด๋ ๊ฒ ์ฌ์์ฑ๋ ์ง๋ฌธ์ ์๋ฒ ๋ฉํ๋ฉด, ๊ด๋ จ ์ฒญํฌ๋ฅผ ํจ์ฌ ์ ํํ๊ฒ ๊ฒ์ํ ์ ์์ต๋๋ค.
์ํฌํ๋ก์ฐ ๋น๊ต
| ๊ตฌ๋ถ | ๊ธฐ๋ณธ RAG | Query Rewriting ์ ์ฉ |
|---|---|---|
| ์ ๋ ฅ | ํ์ฌ ์ง๋ฌธ๋ง ์๋ฒ ๋ฉ | ๋ํ ํ์คํ ๋ฆฌ + ํ์ฌ ์ง๋ฌธ โ LLM ์ฌ์์ฑ โ ์ฌ์์ฑ๋ ์ง๋ฌธ ์๋ฒ ๋ฉ |
| ์ฅ์ | ๋จ์, ๋น ๋ฆ | ๋ฉํฐํด ๋งฅ๋ฝ ์ ์ง |
| ๋จ์ | ๋งฅ๋ฝ ์ฐธ์กฐ ๋ถ๊ฐ | LLM ํธ์ถ 1ํ ์ถ๊ฐ (์ง์ฐ ์ฆ๊ฐ) |
๐ ํ์ฌ ํ๋ก์ ํธ์
/qa์๋ํฌ์ธํธ Deep Dive ํญ๋ชฉ์ ๋๋ค. ๊ธฐ๋ณธ ๊ตฌํ์ ์์ฑํ ํ, ๋ํ ํ์คํ ๋ฆฌ๋ฅผmessages๋ฆฌ์คํธ๋ก ๊ด๋ฆฌํ๋ฉด์ Query Rewriting์ ์ ์ฉํด๋ณด์ธ์.