File size: 44,063 Bytes
1e570c8
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
# ๐Ÿ”ฌ AI Q&A ์‹œ์Šคํ…œ ๊ธฐ์ˆ  ์‹ฌ์ธต ๋ถ„์„

<br/>

## โ“ 1. ๋ฌธ์ œ ์ •์˜: ์ผ๋ฐ˜ LLM์˜ ํ•œ๊ณ„

**"์™œ ๊ทธ๋ƒฅ ChatGPT API์— ๋ฐ”๋กœ ์งˆ๋ฌธํ•˜๋ฉด ์•ˆ ๋˜๋‚˜์š”?"**

์ด๋Š” ๋งค์šฐ ํ•ฉ๋ฆฌ์ ์ธ ์งˆ๋ฌธ์ž…๋‹ˆ๋‹ค. ๊ทธ์— ๋Œ€ํ•œ ๋‹ต๋ณ€์€ LLM(๊ฑฐ๋Œ€ ์–ธ์–ด ๋ชจ๋ธ)์˜ ๊ทผ๋ณธ์ ์ธ ํŠน์ง•์— ์žˆ์Šต๋‹ˆ๋‹ค.

- **LLM์˜ ์ง€์‹์€ ํ›ˆ๋ จ ์‹œ์ ์— ๋ฉˆ์ถฐ์žˆ์Šต๋‹ˆ๋‹ค:** LLM์€ ์ธํ„ฐ๋„ท์˜ ๋ฐฉ๋Œ€ํ•œ ๊ณต๊ฐœ ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šตํ•˜์ง€๋งŒ, ๊ทธ ์ง€์‹์€ ํŠน์ • ๊ณผ๊ฑฐ ์‹œ์ ์— ๊ณ ์ •๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค. ์šฐ๋ฆฌ๊ฐ€ ๋ฐฉ๊ธˆ ์—…๋กœ๋“œํ•œ ๋น„๊ณต๊ฐœ PDF ํŒŒ์ผ์ด๋‚˜ ์ตœ์‹  ์ •๋ณด์— ๋Œ€ํ•ด์„œ๋Š” ์ „ํ˜€ ์•Œ์ง€ ๋ชปํ•ฉ๋‹ˆ๋‹ค.
- **๊ฑฐ์ง“๋ง์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค (ํ™˜๊ฐ, Hallucination):** LLM์€ ๋ชจ๋ฅด๋Š” ์ •๋ณด์— ๋Œ€ํ•ด "๋ชจ๋ฅด๊ฒ ์Šต๋‹ˆ๋‹ค"๋ผ๊ณ  ๋‹ตํ•˜๊ธฐ๋ณด๋‹ค, ๊ทธ๋Ÿด๋“ฏํ•œ ๊ฑฐ์ง“ ์ •๋ณด๋ฅผ ์ง€์–ด๋‚ด๋Š” ๊ฒฝํ–ฅ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ์ •ํ™•์„ฑ์ด ์ค‘์š”ํ•œ Q&A ์‹œ์Šคํ…œ์—์„œ๋Š” ์น˜๋ช…์ ์ธ ๋‹จ์ ์ž…๋‹ˆ๋‹ค.

์ด ํ™˜๊ฐ ํ˜„์ƒ์„ ์ดํ•ดํ•˜๋ ค๋ฉด, LLM์ด ์ธ๊ฐ„์ฒ˜๋Ÿผ '์‚ฌ๊ณ 'ํ•˜๋Š” ์กด์žฌ๊ฐ€ ์•„๋‹ˆ๋ผ ๊ทน๋„๋กœ ์ •๊ตํ•œ **'๋‹ค์Œ ๋‹จ์–ด ์˜ˆ์ธก ๊ธฐ๊ณ„'** ๋ผ๋Š” ๋ณธ์งˆ์„ ์•Œ์•„์•ผ ํ•ฉ๋‹ˆ๋‹ค. LLM์˜ ๊ฐ€์žฅ ๊ธฐ๋ณธ์ ์ธ ์ž„๋ฌด๋Š” ์ฃผ์–ด์ง„ ๋ฌธ๋งฅ ๋‹ค์Œ์— ์˜ฌ ๊ฐ€์žฅ ํ™•๋ฅ ์ด ๋†’์€ ๋‹จ์–ด๋ฅผ ์˜ˆ์ธกํ•˜๋Š” ๊ฒƒ์ด๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, "ํ•˜๋Š˜์˜ ์ƒ‰๊น”์€" ์ด๋ผ๋Š” ํ…์ŠคํŠธ๋ฅผ ๋ฐ›์œผ๋ฉด, ๋ฐฉ๋Œ€ํ•œ ํ›ˆ๋ จ ๋ฐ์ดํ„ฐ ์†์—์„œ "ํŒŒ๋ž€์ƒ‰"์ด๋ผ๋Š” ๋‹จ์–ด๊ฐ€ ๋’ค๋”ฐ๋ฅผ ํ†ต๊ณ„์  ํ™•๋ฅ ์ด ์••๋„์ ์œผ๋กœ ๋†’๋‹ค๋Š” ๊ฒƒ์„ ํ•™์Šตํ–ˆ๊ธฐ ๋•Œ๋ฌธ์— "ํŒŒ๋ž€์ƒ‰์ž…๋‹ˆ๋‹ค"๋ผ๊ณ  ๋‹ต๋ณ€์„ ์™„์„ฑํ•ฉ๋‹ˆ๋‹ค.

์ด๋•Œ LLM์€ ์™œ "๋ชจ๋ฅด๊ฒ ์Šต๋‹ˆ๋‹ค"๋ผ๊ณ  ์†”์งํ•˜๊ฒŒ ๋‹ตํ•˜์ง€ ์•Š์„๊นŒ์š”? ๊ทธ ์ด์œ ๋Š” **LLM์˜ ํ›ˆ๋ จ ๋ชฉํ‘œ**์— ์žˆ์Šต๋‹ˆ๋‹ค. LLM์€ '์ง„์‹ค๋งŒ์„ ๋งํ•˜๋„๋ก' ํ›ˆ๋ จ๋˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. LLM์˜ ํ›ˆ๋ จ ๋ชฉํ‘œ๋Š” '์ฃผ์–ด์ง„ ํ…์ŠคํŠธ ๋‹ค์Œ์— ์ด์–ด์งˆ, ํ†ต๊ณ„์ ์œผ๋กœ ๊ฐ€์žฅ ๊ทธ๋Ÿด๋“ฏํ•œ ํ…์ŠคํŠธ๋ฅผ ์ƒ์„ฑ'ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. '์ง„์‹ค์„ฑ'์€ ํ›ˆ๋ จ์˜ ๋ชฉํ‘œ๊ฐ€ ์•„๋‹ˆ๋ผ, ๋ฐฉ๋Œ€ํ•œ ๋ฐ์ดํ„ฐ ์†์˜ ์‚ฌ์‹ค๋“ค์„ ํ•™์Šตํ•œ ๊ฒฐ๊ณผ๋กœ ๋‚˜ํƒ€๋‚˜๋Š” ๋ถ€์ˆ˜์ ์ธ ํŠน์ง•์ผ ๋ฟ์ž…๋‹ˆ๋‹ค. '๋ชจ๋ฅด๊ฒ ๋‹ค'๋Š” ๋‹ต๋ณ€์€ ํ†ต๊ณ„์ ์œผ๋กœ ๋“ฑ์žฅ ํ™•๋ฅ ์ด ๋‚ฎ๊ธฐ ๋•Œ๋ฌธ์—, LLM์€ ๊ทธ๋ณด๋‹ค ๊ทธ๋Ÿด๋“ฏํ•œ ๋ฌด์–ธ๊ฐ€๋ฅผ ์ง€์–ด๋‚ด๋Š” ๊ฒƒ์„ ๋” ์ž์—ฐ์Šค๋Ÿฌ์šด ๋ฌธ์žฅ ์™„์„ฑ์ด๋ผ๊ณ  ํŒ๋‹จํ•˜๋Š” ๊ฒฝํ–ฅ์ด ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋Š” ๋งˆ์น˜ ์ •๊ตํ•œ **๊ฐ€์งœ API(Mock API)** ์™€ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์š”์ฒญ์˜ ํ˜•์‹์ด ์˜ฌ๋ฐ”๋ฅด๊ธฐ๋งŒ ํ•˜๋ฉด, ์‹ค์ œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์— ์—ฐ๊ฒฐ๋˜์–ด ์žˆ์ง€ ์•Š๋”๋ผ๋„ ํ•ญ์ƒ ๊ทธ๋Ÿด๋“ฏํ•œ ๊ตฌ์กฐ์™€ ๋ฐ์ดํ„ฐ ํƒ€์ž…์˜ JSON ์‘๋‹ต์„ ์ƒ์„ฑํ•ด์„œ ๋ณด๋‚ด์ฃผ๋Š” ๊ฒƒ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์‘๋‹ต์˜ ๋‚ด์šฉ์€ ์ง„์งœ๊ฐ€ ์•„๋‹ˆ์ง€๋งŒ, ํ˜•์‹์€ ์™„๋ฒฝํ•œ ๊ฒƒ๊ณผ ๋งˆ์ฐฌ๊ฐ€์ง€์ž…๋‹ˆ๋‹ค.

๐Ÿš€ ๋”ฐ๋ผ์„œ, **์šฐ๋ฆฌ๋งŒ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ์ •ํ™•ํ•œ ๋‹ต๋ณ€์„ ์–ป๊ธฐ ์œ„ํ•ด์„œ๋Š” LLM์„ ๊ทธ๋ƒฅ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ํŠน๋ณ„ํ•œ ๋ฐฉ์‹์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.**

<br/>
<br/>

## ๐Ÿ’ก 2. ํ•ด๊ฒฐ์ฑ…: RAG (Retrieval-Augmented Generation)

RAG (๊ฒ€์ƒ‰-์ฆ๊ฐ• ์ƒ์„ฑ)๋Š” ์œ„์—์„œ ์–ธ๊ธ‰๋œ LLM์˜ ํ•œ๊ณ„๋ฅผ ๊ทน๋ณตํ•˜๊ธฐ ์œ„ํ•œ ๊ฐ•๋ ฅํ•˜๊ณ  ํ‘œ์ค€์ ์ธ ์•„ํ‚คํ…์ฒ˜ ํŒจํ„ด์ž…๋‹ˆ๋‹ค.

LLM์— ๊ทธ๋ƒฅ ์งˆ๋ฌธํ•˜๋Š” ๊ฒƒ์€, ๋งˆ์น˜ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์˜ ๋กœ์ปฌ DB๋‚˜ ์บ์‹œ๋Š” ์ „ํ˜€ ํ™•์ธํ•˜์ง€ ์•Š๊ณ  ๋ชจ๋“  ์š”์ฒญ์„ ์™ธ๋ถ€ API์— ๋ณด๋‚ด๋Š” ๊ฒƒ๊ณผ ๋น„์Šทํ•ฉ๋‹ˆ๋‹ค. **RAG**๋Š” ์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ์ด ๋“ค์–ด์˜ค๋ฉด, ๋จผ์ € ์šฐ๋ฆฌ **๋กœ์ปฌ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค(Vector DB)** ์—์„œ ์งˆ๋ฌธ๊ณผ ๊ฐ€์žฅ ๊ด€๋ จ๋œ ์ •๋ณด๋ฅผ **๊ฒ€์ƒ‰(Retrieve)** ํ•˜๊ณ , ๊ทธ ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผ๋ฅผ LLM์— ๋Œ€ํ•œ API ์š”์ฒญ ๋ณธ๋ฌธ์— **ํฌํ•จ(Augment)** ํ•˜์—ฌ ๋ณด๋ƒ…๋‹ˆ๋‹ค. LLM์€ ์ถ”๊ฐ€๋กœ ์ „๋‹ฌ๋œ ์ด ์ •๋ณด๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ **๋‹ต๋ณ€์„ ์ƒ์„ฑ(Generate)** ํ•ฉ๋‹ˆ๋‹ค.

์‰ฝ๊ฒŒ ๋งํ•ด, LLM์—๊ฒŒ '์˜คํ”ˆ๋ถ ํ…Œ์ŠคํŠธ'๋ฅผ ๋ณด๊ฒŒ ํ•˜์—ฌ, ์šฐ๋ฆฌ๊ฐ€ ์ œ๊ณตํ•œ ์ž๋ฃŒ(์—…๋กœ๋“œ๋œ ๋ฌธ์„œ) ์•ˆ์—์„œ๋งŒ ๋‹ต๋ณ€์„ ๋งŒ๋“ค๋„๋ก ์œ ๋„ํ•˜๋Š” ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค.

<br/>

### ๐ŸŒ RAG์˜ ์‹ค์ œ ํ™œ์šฉ ์‚ฌ๋ก€

RAG๋Š” ์ด์ œ ์•„์ด๋””์–ด ๋‹จ๊ณ„๋ฅผ ๋„˜์–ด, ์ˆ˜๋งŽ์€ ๊ธ€๋กœ๋ฒŒ ๋ฐ ๊ตญ๋‚ด ์„œ๋น„์Šค์—์„œ ํ•ต์‹ฌ ๊ธฐ์ˆ ๋กœ ์‚ฌ์šฉ๋˜๋ฉฐ ์‚ฌ์šฉ์ž ๊ฒฝํ—˜์„ ํ˜์‹ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

- **์ฐจ์„ธ๋Œ€ ๊ณ ๊ฐ ์ง€์› ์ฑ—๋ด‡ (ํ† ์Šค, ์นด์นด์˜ค๋ฑ…ํฌ ๋“ฑ):**

  - ํšŒ์‚ฌ์˜ ๋‚ด๋ถ€ ๋„์›€๋ง ๋ฌธ์„œ, ๊ธˆ์œต์ƒํ’ˆ ์•ฝ๊ด€, ์ด์ „ ์ƒ๋‹ด ๊ธฐ๋ก ๋“ฑ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ๊ณ ๊ฐ์˜ ๋ณต์žกํ•œ ์งˆ๋ฌธ์— 24์‹œ๊ฐ„ ์ •ํ™•ํ•˜๊ณ  ์ผ๊ด€๋œ ๋‹ต๋ณ€์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ƒ๋‹ด์›์˜ ๋ฐ˜๋ณต์ ์ธ ์—…๋ฌด๋ฅผ ์ค„์—ฌ์ฃผ๊ณ , ๊ณ ๊ฐ์€ ๊ธฐ๋‹ค๋ฆด ํ•„์š” ์—†์ด ์ฆ‰์‹œ ํ•ด๊ฒฐ์ฑ…์„ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

- **์ง€๋Šฅํ˜• ์ƒํ’ˆ ๊ฒ€์ƒ‰ ๋ฐ ์ถ”์ฒœ (๋„ค์ด๋ฒ„ ์‡ผํ•‘, ์ฟ ํŒก ๋“ฑ):**

  - "๊ฐ€์„ฑ๋น„ ์ข‹์€ ์บ ํ•‘ ์˜์ž ์ฐพ์•„์ค˜"์™€ ๊ฐ™์ด, ์‚ฌ์šฉ์ž์˜ ์ถ”์ƒ์ ์ธ ์ž์—ฐ์–ด ์งˆ๋ฌธ์˜ '์˜๋„'๋ฅผ ํŒŒ์•…ํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜๋งŽ์€ ์ƒํ’ˆ์˜ ์ƒ์„ธ ์„ค๋ช…๊ณผ ๊ตฌ๋งค ํ›„๊ธฐ(์ง€์‹)๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ, ๋‹จ์ˆœ ํ‚ค์›Œ๋“œ ๋งค์นญ์„ ๋„˜์–ด ๊ฐ€์žฅ ์ ํ•ฉํ•œ ์ƒํ’ˆ์„ ์ฐพ์•„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.

- **์ง€์‹ ๊ธฐ๋ฐ˜ ์งˆ์˜์‘๋‹ต ๋ฐ ์š”์•ฝ (Notion Q&A ๋“ฑ):**
  - "์ง€๋‚œ 1๋ถ„๊ธฐ ๋งˆ์ผ€ํŒ… ์˜ˆ์‚ฐ ๋ณด๊ณ ์„œ ์ฐพ์•„์ค˜"์™€ ๊ฐ™์ด ์‚ฌ๋‚ด ๋ฌธ์„œ๋ฅผ ๊ฒ€์ƒ‰ํ•˜๋Š” ๊ฒƒ์„ ๋„˜์–ด, ์‚ฌ์šฉ์ž๊ฐ€ ์—…๋กœ๋“œํ•œ ์ž๋ฃŒ๋‚˜ ์›น ํŽ˜์ด์ง€์˜ ๋‚ด์šฉ์„ ๊ธฐ๋ฐ˜์œผ๋กœ ์งˆ๋ฌธ์— ๋‹ตํ•˜๊ณ , ๊ธด ๊ธ€์„ ํ•ต์‹ฌ๋งŒ ์š”์•ฝํ•ด์ฃผ๋Š” ๋“ฑ ์ง€์‹ ๊ด€๋ฆฌ์˜ ํšจ์œจ์„ฑ์„ ๊ทน๋Œ€ํ™”ํ•ฉ๋‹ˆ๋‹ค.

์ด์ฒ˜๋Ÿผ RAG๋Š” ์šฐ๋ฆฌ๊ฐ€ ๊ฐ€์ง„ '๋ฐ์ดํ„ฐ'์˜ ๊ฐ€์น˜๋ฅผ ๊ทน๋Œ€ํ™”ํ•˜์—ฌ, LLM์„ ๋”์šฑ ๋˜‘๋˜‘ํ•˜๊ณ  ์œ ์šฉํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” ๊ฐ€์žฅ ํ˜„์‹ค์ ์ด๊ณ  ๊ฐ•๋ ฅํ•œ ๋ฐฉ๋ฒ• ์ค‘ ํ•˜๋‚˜์ž…๋‹ˆ๋‹ค.

<br/>
<br/>

## ๐Ÿงฉ 3. RAG์˜ ํ•ต์‹ฌ ๊ตฌ์„ฑ ์š”์†Œ

RAG ์›Œํฌํ”Œ๋กœ์šฐ๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•˜๋Š” ๋‘ ๊ฐ€์ง€ ํ•ต์‹ฌ ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค.

<br/>

### โœจ 3-1. ํ…์ŠคํŠธ ์ž„๋ฒ ๋”ฉ (Text Embedding): ๋‹จ์–ด๋ฅผ '์˜๋ฏธ์˜ ์ขŒํ‘œ'๋กœ ๋ฐ”๊พธ๊ธฐ

- **ํ•ต์‹ฌ ์•„์ด๋””์–ด:** ์ปดํ“จํ„ฐ๊ฐ€ ๊ธ€์ž์˜ ๋ชจ์–‘์ด ์•„๋‹ˆ๋ผ '์˜๋ฏธ'๋ฅผ ์ดํ•ดํ•˜๊ณ  ๋น„๊ตํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค.

#### ๐Ÿง ๋ฒกํ„ฐ(Vector)๋ž€ ๋ฌด์—‡์ธ๊ฐ€? (์ˆ˜ํ•™ ์—†์ด ์ดํ•ดํ•˜๊ธฐ)

"๋ฒกํ„ฐ"๋ผ๋Š” ๋ง์— ๊ฒ๋จน์„ ํ•„์š” ์—†์Šต๋‹ˆ๋‹ค. ๋ณต์žกํ•œ ์ˆ˜ํ•™ ๊ณต์‹์€ ์ „ํ˜€ ํ•„์š” ์—†๊ณ , **'์ขŒํ‘œ'** ๋ผ๋Š” ๊ฐœ๋…๋งŒ ์ดํ•ดํ•˜๋ฉด ์ถฉ๋ถ„ํ•ฉ๋‹ˆ๋‹ค.

1.  **2์ฐจ์› ์ง€๋„ ์œ„์˜ '์ขŒํ‘œ'**:

    - ์šฐ๋ฆฌ๋Š” ์ง€๋„ ์œ„ ํŠน์ • ๋„์‹œ์˜ ์œ„์น˜๋ฅผ '์œ„๋„'์™€ '๊ฒฝ๋„'๋ผ๋Š” 2๊ฐœ์˜ ์ˆซ์ž๋กœ ํ‘œํ˜„ํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, ์„œ์šธ์€ ๋Œ€๋žต `[์œ„๋„ 37.5, ๊ฒฝ๋„ 127.0]` ์ด๋ผ๋Š” **์ขŒํ‘œ**๋ฅผ ๊ฐ€์ง‘๋‹ˆ๋‹ค.
    - ์ด `[37.5, 127.0]` ์ด๋ผ๋Š” ์ˆซ์ž ๋ฐฐ์—ด์ด ๋ฐ”๋กœ **2์ฐจ์› ๋ฒกํ„ฐ**์ž…๋‹ˆ๋‹ค.
    - ์ค‘์š”ํ•œ ๊ฒƒ์€, ์ด ์ขŒํ‘œ ๋•๋ถ„์— ์ปดํ“จํ„ฐ๋Š” ์„œ์šธ๊ณผ ๋ถ€์‚ฐ ์‚ฌ์ด์˜ '๊ฑฐ๋ฆฌ'๋ฅผ ๊ณ„์‚ฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

2.  **'์˜๋ฏธ'์˜ ์ง€๋„ ์œ„์˜ '์ขŒํ‘œ'**:

    - ์ด์ œ ์ง€๋„์˜ ์ถ•์„ '์œ„๋„/๊ฒฝ๋„'๊ฐ€ ์•„๋‹ˆ๋ผ '์˜๋ฏธ'๋ผ๊ณ  ์ƒ์ƒํ•ด๋ด…์‹œ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, ํ•œ์ชฝ ์ถ•์€ '๊ฒฉ์‹์„ฑ'์„, ๋‹ค๋ฅธ ์ถ•์€ '์ฃผ์ œ๊ฐ€ ๊ธฐ์ˆ ์ธ๊ฐ€?'๋ฅผ ๋‚˜ํƒ€๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    - "์„œ๋ฒ„ ์ ๊ฒ€ ์ผ์ •์„ ๊ณต์ง€๋“œ๋ฆฝ๋‹ˆ๋‹ค"๋ผ๋Š” ๋ฌธ์žฅ์€ '๊ฒฉ์‹์„ฑ' ์ถ•์—์„œ๋Š” ๋†’์€ ๊ฐ’์„, '๊ธฐ์ˆ  ์ฃผ์ œ' ์ถ•์—์„œ๋„ ๋†’์€ ๊ฐ’์„ ๊ฐ€์งˆ ๊ฒ๋‹ˆ๋‹ค.
    - "์˜ค๋Š˜ ์„œ๋ฒ„ ํ„ฐ์กŒ์Œ ใ…‹ใ…‹"๋ผ๋Š” ๋ฌธ์žฅ์€ ๋‘ ์ถ• ๋ชจ๋‘์—์„œ ๋‚ฎ์€ ๊ฐ’์„ ๊ฐ–๊ฒ ์ฃ .
    - ์ด๋Ÿฐ ์˜๋ฏธ์— ๋”ฐ๋ผ ์œ„์น˜๋ฅผ ์ฐ์„ ์ˆ˜ ์žˆ๋Š” '์˜๋ฏธ์˜ ์ง€๋„'๋ฅผ ์ƒ๊ฐํ•ด ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

3.  **N์ฐจ์› '์˜๋ฏธ ๊ณต๊ฐ„'์˜ '์ขŒํ‘œ'**:

    - ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ์ด ํ•˜๋Š” ์ผ์€ ๋ฐ”๋กœ ์ด๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋‹จ, '๊ฒฉ์‹์„ฑ', '๊ธฐ์ˆ  ์ฃผ์ œ'์™€ ๊ฐ™์ด ๋‹จ์ˆœํ•œ 2๊ฐœ์˜ ์ถ•์ด ์•„๋‹ˆ๋ผ, AI๊ฐ€ ํ•™์Šตํ•œ **์ˆ˜๋ฐฑ~์ˆ˜์ฒœ ๊ฐœ์˜ ์ถ”์ƒ์ ์ธ ์˜๋ฏธ ์ถ•**์„ ๊ฐ€์ง„ '์˜๋ฏธ ๊ณต๊ฐ„'์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค. ์ด ์ฐจ์›์˜ ์ˆ˜๋Š” ์‚ฌ์šฉํ•˜๋Š” ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ์— ๋”ฐ๋ผ ๋‹ฌ๋ผ์ง‘๋‹ˆ๋‹ค. (์ฐธ๊ณ : ํ˜„์žฌ ์šฐ๋ฆฌ ํ”„๋กœ์ ํŠธ๊ฐ€ ์‚ฌ์šฉํ•˜๋Š” `nomic-embed-text` ๋ชจ๋ธ์€ 768์ฐจ์›์˜ ๋ฒกํ„ฐ๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. OpenAI์˜ `text-embedding-ada-002`๋Š” 1536์ฐจ์›์ž…๋‹ˆ๋‹ค.)
    - ์šฐ๋ฆฌ๊ฐ€ "์˜ค๋Š˜ ๋‚ ์”จ๊ฐ€ ์ข‹๋‹ค"๋ผ๋Š” ๋ฌธ์žฅ์„ ๋ชจ๋ธ์— ๋ณด๋‚ด๋ฉด, ๋ชจ๋ธ์€ ์ด ๋ฌธ์žฅ์ด N์ฐจ์›์˜ ์˜๋ฏธ ๊ณต๊ฐ„์—์„œ ์–ด๋””์— ์œ„์น˜ํ•˜๋Š”์ง€๋ฅผ ๋‚˜ํƒ€๋‚ด๋Š” **N๊ฐœ์˜ ์ˆซ์ž ๋ฆฌ์ŠคํŠธ(์ขŒํ‘œ)** ๋ฅผ ๋Œ๋ ค์ค๋‹ˆ๋‹ค. ์ด๊ฒƒ์ด ๋ฐ”๋กœ **N์ฐจ์› ๋ฒกํ„ฐ**์ž…๋‹ˆ๋‹ค.
    - `[0.01, -0.23, 0.45, ..., -0.09]` (์ˆซ์ž๊ฐ€ N๊ฐœ)

4.  **๊ทธ๋ž˜์„œ ์ด๊ฒŒ ์™œ ๊ฐ•๋ ฅํ•œ๊ฐ€?**:
    - ์ด์ œ ๋ชจ๋“  ๋ฌธ์„œ๋Š” ์ž์‹ ๋งŒ์˜ ๊ณ ์œ ํ•œ '์˜๋ฏธ ์ขŒํ‘œ'๋ฅผ ๊ฐ–๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.
    - ์ปดํ“จํ„ฐ๋Š” ์ด ์ขŒํ‘œ๋“ค ์‚ฌ์ด์˜ **'๊ฑฐ๋ฆฌ'๋ฅผ ๊ณ„์‚ฐ**ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
    - "์ž๋™์ฐจ๊ฐ€ ๊ณ ์žฅ๋‚ฌ์–ด์š”"๋ผ๋Š” ๋ฌธ์žฅ์˜ ์ขŒํ‘œ์™€ "์ฐจ์— ๋ฌธ์ œ๊ฐ€ ์ƒ๊ฒผ์–ด์š”"๋ผ๋Š” ๋ฌธ์žฅ์˜ ์ขŒํ‘œ๋Š” ์˜๋ฏธ ๊ณต๊ฐ„์—์„œ ๋งค์šฐ **๊ฐ€๊นŒ์šด ๊ฑฐ๋ฆฌ์—** ์œ„์น˜ํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.
    - ๋ฐ˜๋ฉด "์ฐจ๋ฅผ ๋งˆ์‹œ๊ณ  ์žˆ์–ด์š”"๋ผ๋Š” ๋ฌธ์žฅ์˜ ์ขŒํ‘œ๋Š” ํ›จ์”ฌ **๋จผ ๊ฑฐ๋ฆฌ์—** ์œ„์น˜ํ•ฉ๋‹ˆ๋‹ค.
    - **๊ฒฐ๋ก : ๋ฒกํ„ฐ๋Š” ์ปดํ“จํ„ฐ๊ฐ€ ํ…์ŠคํŠธ์˜ '์˜๋ฏธ์  ์œ ์‚ฌ๋„'๋ฅผ '๋ฌผ๋ฆฌ์  ๊ฑฐ๋ฆฌ'๋กœ ๊ณ„์‚ฐํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•ด์ฃผ๋Š” ๋งˆ๋ฒ• ๊ฐ™์€ ๋ฒˆ์—ญ๊ธฐ์ž…๋‹ˆ๋‹ค.**

<br/>

์•„๋ž˜ ๋‹ค์ด์–ด๊ทธ๋žจ์€ ๋‹จ์–ด๋“ค์ด '์˜๋ฏธ ๊ณต๊ฐ„' ์†์—์„œ ์–ด๋–ป๊ฒŒ ๊ด€๊ณ„๋ฅผ ํ˜•์„ฑํ•˜๋Š”์ง€ ์‹œ๊ฐ์ ์œผ๋กœ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. '๊ฐ•์•„์ง€'์™€ '๊ฐœ'์˜ ๊ด€๊ณ„๋Š” '์ƒˆ๋ผ ๊ณ ์–‘์ด'์™€ '๊ณ ์–‘์ด'์˜ ๊ด€๊ณ„์™€ ๊ธฐํ•˜ํ•™์ ์œผ๋กœ ์œ ์‚ฌํ•œ ๋ฐฉํ–ฅ๊ณผ ๊ฑฐ๋ฆฌ๋ฅผ ๊ฐ–๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

```mermaid
graph TD
    subgraph "์˜๋ฏธ ๊ณต๊ฐ„ (Semantic Space)"
        puppy[๊ฐ•์•„์ง€]
        dog[๊ฐœ]
        kitten[์ƒˆ๋ผ ๊ณ ์–‘์ด]
        cat[๊ณ ์–‘์ด]
    end

    dog --"์ƒˆ๋ผ ๊ด€๊ณ„"--> puppy
    cat --"์ƒˆ๋ผ ๊ด€๊ณ„"--> kitten
    dog --"์ข…(Species) ๊ด€๊ณ„"--> cat
```

<br/>

#### ๐Ÿง  ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ์€ ์–ด๋–ป๊ฒŒ '์˜๋ฏธ'๋ฅผ ํ•™์Šตํ•˜๋‚˜์š”?

์ด์ œ "๋ฒกํ„ฐ"๊ฐ€ '์˜๋ฏธ์˜ ์ขŒํ‘œ'๋ผ๋Š” ๊ฒƒ์„ ์•Œ์•˜์œผ๋‹ˆ, ํ•œ ๊ฐ€์ง€ ์งˆ๋ฌธ์ด ๋‚จ์Šต๋‹ˆ๋‹ค. "๋Œ€์ฒด ์–ด๋–ค ๊ทœ์น™์œผ๋กœ ๊ทธ ์ขŒํ‘œ๋ฅผ ์ •ํ•˜๋Š” ๊ฑธ๊นŒ?"

๊ฒฐ๋ก ๋ถ€ํ„ฐ ๋งํ•˜๋ฉด, **์‚ฌ๋žŒ์ด ๊ทœ์น™์„ ์ •ํ•ด์ฃผ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ชจ๋ธ์ด ๋ฐฉ๋Œ€ํ•œ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ ์†์—์„œ ๋‹จ์–ด์™€ ๋ฌธ์žฅ๋“ค์˜ '๊ด€๊ณ„'๋ฅผ ์Šค์Šค๋กœ ํ•™์Šตํ•˜์—ฌ ๊ทœ์น™์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค.**

- **๊ด€๊ณ„๋กœ๋ถ€ํ„ฐ ์˜๋ฏธ ๋ฐฐ์šฐ๊ธฐ:** ๋ชจ๋ธ์€ ์ˆ˜์‹ญ์–ต ๊ฐœ์˜ ๋ฌธ์žฅ์„ ์ฝ์œผ๋ฉฐ ์–ด๋–ค ๋‹จ์–ด๋“ค์ด ํ•จ๊ป˜, ํ˜น์€ ๋น„์Šทํ•œ ๋งฅ๋ฝ์—์„œ ๋“ฑ์žฅํ•˜๋Š”์ง€ ํ†ต๊ณ„์ ์œผ๋กœ ํ•™์Šตํ•ฉ๋‹ˆ๋‹ค.
  - "์–ด๋ฆฐ ๊ฐ•์•„์ง€๋Š” ๊ฐœ์˜ ์ƒˆ๋ผ์ด๋‹ค."
  - "์ƒˆ๋ผ ๊ณ ์–‘์ด๋Š” ๊ณ ์–‘์ด์˜ ์ƒˆ๋ผ์ด๋‹ค."
  - "๊ฐœ๋Š” ๋ฉ๋ฉ ์ง–๋Š”๋‹ค."
  - "๊ณ ์–‘์ด๋Š” ์•ผ์˜น ํ•˜๊ณ  ์šด๋‹ค."
- ์ด๋Ÿฐ ๋ฌธ์žฅ๋“ค์„ ๋ฌด์ˆ˜ํžˆ ๋งŽ์ด ํ•™์Šตํ•˜๋ฉด์„œ, ๋ชจ๋ธ์€ '๊ฐ•์•„์ง€'์™€ '๊ฐœ', ๊ทธ๋ฆฌ๊ณ  '์ƒˆ๋ผ ๊ณ ์–‘์ด'์™€ '๊ณ ์–‘์ด'๊ฐ€ ์œ ์‚ฌํ•œ ๊ด€๊ณ„('์ƒˆ๋ผ' ๊ด€๊ณ„)์— ์žˆ๋‹ค๋Š” ๊ฒƒ์„ ํŒŒ์•…ํ•ฉ๋‹ˆ๋‹ค.

- **'์˜๋ฏธ์˜ ๋ฐฉํ–ฅ'๊ณผ '๊ฑฐ๋ฆฌ'๋กœ ๊ด€๊ณ„ ํ‘œํ˜„:**

  - ํ•™์Šต์ด ๋๋‚˜๋ฉด, ๋ชจ๋ธ์€ ์ด ๊ด€๊ณ„๋“ค์„ ์•ž์„œ ์„ค๋ช…ํ•œ '์˜๋ฏธ ๊ณต๊ฐ„'์ด๋ผ๋Š” ๊ฐ€์ƒ์˜ ์ง€๋„์— ๋ฐฐ์น˜ํ•ฉ๋‹ˆ๋‹ค.
  - ๊ทธ ๊ฒฐ๊ณผ, '๊ฐ•์•„์ง€' ์ขŒํ‘œ์—์„œ '๊ฐœ' ์ขŒํ‘œ๋ฅผ ๋บ€ **๋ฐฉํ–ฅ๊ณผ ๊ฑฐ๋ฆฌ**๋Š”, '์ƒˆ๋ผ ๊ณ ์–‘์ด' ์ขŒํ‘œ์—์„œ '๊ณ ์–‘์ด' ์ขŒํ‘œ๋ฅผ ๋บ€ ๋ฐฉํ–ฅ๊ณผ ๊ฑฐ๋ฆฌ์™€ ๊ฑฐ์˜ ๋˜‘๊ฐ™์•„์ง‘๋‹ˆ๋‹ค. (`๊ฐ•์•„์ง€ - ๊ฐœ โ‰ˆ ์ƒˆ๋ผ ๊ณ ์–‘์ด - ๊ณ ์–‘์ด`)
  - ๋งˆ์ฐฌ๊ฐ€์ง€๋กœ, '๊ฑท๋‹ค'์—์„œ '๊ฑธ์—ˆ๋‹ค'๋กœ ๊ฐ€๋Š” ๋ฐฉํ–ฅ์€ '๋›ฐ๋‹ค'์—์„œ '๋›ฐ์—ˆ๋‹ค'๋กœ ๊ฐ€๋Š” ๋ฐฉํ–ฅ๊ณผ ๋น„์Šทํ•ด์ง‘๋‹ˆ๋‹ค. (์‹œ์ œ ๊ด€๊ณ„ ํ•™์Šต)
  - ์ด๊ฒƒ์ด ๋ฐ”๋กœ ๋ชจ๋ธ์ด ๋‹จ์–ด ์‚ฌ์ด์˜ ๋ฌธ๋ฒ•์ , ์˜๋ฏธ์  ๊ด€๊ณ„๋ฅผ '๊ธฐํ•˜ํ•™์  ๊ด€๊ณ„'๋กœ ์ดํ•ดํ•˜๋Š” ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค.

- **์ถ”์ƒ์ ์ธ N๊ฐœ์˜ ์ถ•:**
  - ์šฐ๋ฆฌ๊ฐ€ ๋น„์œ ๋กœ ๋“ค์—ˆ๋˜ '๊ฒฉ์‹์„ฑ' ๊ฐ™์€ ์ถ•์€ ์‚ฌ๋žŒ์ด ์ดํ•ดํ•˜๊ธฐ ์‰ฌ์šด ์˜ˆ์‹œ์ผ ๋ฟ์ž…๋‹ˆ๋‹ค.
  - ์‹ค์ œ ๋ชจ๋ธ์ด ์‚ฌ์šฉํ•˜๋Š” ์ˆ˜๋ฐฑ~์ˆ˜์ฒœ ๊ฐœ์˜ ์ถ•์€ AI ๋ชจ๋ธ์ด ์Šค์Šค๋กœ ์ฐพ์•„๋‚ธ, ์ธ๊ฐ„์ด ์ง๊ด€์ ์œผ๋กœ ์ด๋ฆ„์„ ๋ถ™์ด๊ธฐ ์–ด๋ ค์šด ๋งค์šฐ ๋ณต์žกํ•˜๊ณ  ์ถ”์ƒ์ ์ธ '์˜๋ฏธ์˜ ๊ตฌ์„ฑ ์š”์†Œ'๋“ค์ž…๋‹ˆ๋‹ค.
  - ์ด ์ถ•๋“ค์ด ๋ชจ์—ฌ ๋‹จ์–ด์™€ ๋ฌธ์žฅ์˜ ๋ฏธ๋ฌ˜ํ•œ ๋‰˜์•™์Šค ์ฐจ์ด๊นŒ์ง€ ํ‘œํ˜„ํ•˜๋Š” ์ •๊ตํ•œ '์˜๋ฏธ์˜ ์ขŒํ‘œ'๋ฅผ ๋งŒ๋“ค์–ด๋‚ด๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

<br/>

#### ๐Ÿค” ์ž ๊น, '์ฐจ์› ์ˆ˜'๋Š” ๋ˆ„๊ฐ€ ์–ด๋–ป๊ฒŒ ์ •ํ•˜๋‚˜์š”?

๊ฒฐ๋ก ๋ถ€ํ„ฐ ๋งํ•˜๋ฉด, **๋ฒกํ„ฐ์˜ ์ฐจ์› ์ˆ˜๋Š” ๋ชจ๋ธ์„ ํ›ˆ๋ จ์‹œํ‚ค๊ธฐ ์ „์— ์‚ฌ๋žŒ์ด ๋ฏธ๋ฆฌ ์ •ํ•˜๋Š” ์ค‘์š”ํ•œ 'ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ(Hyperparameter)'** ์ž…๋‹ˆ๋‹ค.

> ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ๋ž€, ๋ชจ๋ธ์ด ๋ฐ์ดํ„ฐ๋กœ๋ถ€ํ„ฐ ์Šค์Šค๋กœ 'ํ•™์Šต'ํ•˜๋Š” ๊ฐ’(Parameter)์ด ์•„๋‹ˆ๋ผ, ํ•™์Šต ๊ณผ์ •๊ณผ ๋ชจ๋ธ์˜ ๊ตฌ์กฐ๋ฅผ ์ œ์–ดํ•˜๊ธฐ ์œ„ํ•ด ์‚ฌ๋žŒ์ด ์‚ฌ์ „์— ์ง์ ‘ ์„ค์ •ํ•˜๋Š” ๊ฐ’๋“ค์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.

์›น ๊ฐœ๋ฐœ์— ๋น„์œ ํ•˜์ž๋ฉด, ์ด๋Š” ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์˜ ์•„ํ‚คํ…์ฒ˜(์˜ˆ: MSA vs Monolith)๋ฅผ ๊ฒฐ์ •ํ•˜๊ฑฐ๋‚˜, DB ํ•„๋“œ์˜ `VARCHAR` ๊ธธ์ด๋ฅผ ๋ฏธ๋ฆฌ ์ •ํ•˜๋Š” ๊ฒƒ๊ณผ ๋น„์Šทํ•ฉ๋‹ˆ๋‹ค. ํ•œ ๋ฒˆ ์ •ํ•ด์ง€๋ฉด ๋ฐ”๊พธ๊ธฐ ์–ด๋ ต๊ณ , ์‹œ์Šคํ…œ ์ „์ฒด์˜ ์„ฑ๋Šฅ๊ณผ ๋น„์šฉ์— ํฐ ์˜ํ–ฅ์„ ๋ฏธ์นฉ๋‹ˆ๋‹ค.

- **๊ณ ์ฐจ์› (High Dimension, ์˜ˆ: 1536 - OpenAI)**
  - **์žฅ์ :** ๋” ๋งŽ์€ '์˜๋ฏธ์˜ ์ถ•'์œผ๋กœ ํ…์ŠคํŠธ์˜ ๋ฏธ๋ฌ˜ํ•œ ๋‰˜์•™์Šค๋ฅผ ์ •๊ตํ•˜๊ฒŒ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. (์„ฑ๋Šฅ ์ž ์žฌ๋ ฅ โ†‘)
  - **๋‹จ์ :** ๋ฒกํ„ฐ ํฌ๊ธฐ๊ฐ€ ์ปค์ ธ ์ €์žฅ ๊ณต๊ฐ„์„ ๋งŽ์ด ์ฐจ์ง€ํ•˜๊ณ , ๊ฒ€์ƒ‰ ์†๋„๋„ ๋А๋ ค์ง‘๋‹ˆ๋‹ค. (๋น„์šฉ/์†๋„ โ†“)
- **์ค‘์ฐจ์› (Medium Dimension, ์˜ˆ: 768 - Ollama nomic-embed-text)**
  - **์žฅ์ :** ์„ฑ๋Šฅ๊ณผ ํšจ์œจ์„ฑ์˜ ๊ท ํ˜•์ด ์ž˜ ์žกํ˜€์žˆ์–ด ๋Œ€๋ถ€๋ถ„์˜ RAG ์ž‘์—…์— ์ถฉ๋ถ„ํ•œ ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•˜๋ฉด์„œ๋„ ์ €์žฅ ๊ณต๊ฐ„๊ณผ ๊ฒ€์ƒ‰ ์†๋„ ๋ฉด์—์„œ ํšจ์œจ์ ์ž…๋‹ˆ๋‹ค.
  - **๋‹จ์ :** ๋งค์šฐ ๋ณต์žกํ•œ ์˜๋ฏธ ๊ตฌ๋ถ„์ด ํ•„์š”ํ•œ ๊ฒฝ์šฐ ๊ณ ์ฐจ์› ๋ชจ๋ธ ๋Œ€๋น„ ์•ฝ๊ฐ„์˜ ์„ฑ๋Šฅ ์ฐจ์ด๊ฐ€ ์žˆ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
- **์ €์ฐจ์› (Low Dimension, ์˜ˆ: 384)**
  - **์žฅ์ :** ๋ฒกํ„ฐ๊ฐ€ ์ž‘๊ณ  ๊ฐ€๋ฒผ์›Œ ์ €์žฅ๊ณผ ๊ฒ€์ƒ‰์ด ๋น ๋ฅด๊ณ  ๊ฒฝ์ œ์ ์ž…๋‹ˆ๋‹ค. (๋น„์šฉ/์†๋„ โ†‘)
  - **๋‹จ์ :** ํ‘œํ˜„๋ ฅ์ด ๋ถ€์กฑํ•˜์—ฌ ์„œ๋กœ ๋‹ค๋ฅธ ์˜๋ฏธ๊ฐ€ ์ถฉ๋Œํ•  ๊ฐ€๋Šฅ์„ฑ์ด ์žˆ์Šต๋‹ˆ๋‹ค. (์„ฑ๋Šฅ ์ž ์žฌ๋ ฅ โ†“)

์šฐ๋ฆฌ๊ฐ€ ์‚ฌ์šฉํ•˜๋Š” `nomic-embed-text` ๋ชจ๋ธ์˜ `768`์ด๋ผ๋Š” ์ฐจ์› ์ˆ˜๋Š”, ๋ชจ๋ธ์„ ๋งŒ๋“  ๊ฐœ๋ฐœํŒ€์ด ์ˆ˜๋งŽ์€ ์‹คํ—˜์„ ํ†ตํ•ด '์„ฑ๋Šฅ'๊ณผ 'ํšจ์œจ์„ฑ' ์‚ฌ์ด์˜ ์ตœ์ ์˜ ๊ท ํ˜•์ ์„ ์ฐพ์•„ ๊ฒฐ์ •ํ•œ ๊ฐ’์ž…๋‹ˆ๋‹ค. (์ฐธ๊ณ : OpenAI์˜ `text-embedding-ada-002`๋Š” 1536์ฐจ์›์ž…๋‹ˆ๋‹ค.) ์šฐ๋ฆฌ๋Š” ์ด๋ฏธ ๋งŒ๋“ค์–ด์ง„ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜๋ฏ€๋กœ ์ด ๊ฐ’์„ ์ง์ ‘ ๋ฐ”๊ฟ€ ์ˆ˜๋Š” ์—†์ง€๋งŒ, ์ด ๊ฐœ๋…์„ ์ดํ•ดํ•˜๋Š” ๊ฒƒ์€ ์™œ ํŠน์ • ๋ชจ๋ธ์„ ์„ ํƒํ•˜๋Š”์ง€, ๊ทธ๋ฆฌ๊ณ  ๊ทธ ์„ ํƒ์ด ์‹œ์Šคํ…œ์— ์–ด๋–ค ์˜ํ–ฅ์„ ๋ฏธ์น˜๋Š”์ง€ ์ดํ•ดํ•˜๋Š” ๋ฐ ๋งค์šฐ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

<br/>
<br/>

### ๐Ÿ—„๏ธ 3-2. ๋ฒกํ„ฐ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค (Vector Database)

- **๋ฌด์—‡์ธ๊ฐ€?:** ์œ„์—์„œ ์ƒ์„ฑ๋œ ์ˆ˜๋งŽ์€ ๋ฒกํ„ฐ(์˜๋ฏธ ์ขŒํ‘œ)๋“ค์„ ์ €์žฅํ•˜๊ณ , ํŠน์ • ๋ฒกํ„ฐ์™€ ๊ฐ€์žฅ '๊ฐ€๊นŒ์šด(์œ ์‚ฌํ•œ)' ๋‹ค๋ฅธ ๋ฒกํ„ฐ๋“ค์„ ์ดˆ๊ณ ์†์œผ๋กœ ๊ฒ€์ƒ‰ํ•˜๋Š” ๋ฐ ํŠนํ™”๋œ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์ž…๋‹ˆ๋‹ค.
- **์™œ ํ•„์š”ํ•œ๊ฐ€?:** ์ˆ˜๋ฐฑ๋งŒ ๊ฐœ์˜ ๋ฒกํ„ฐ ์ค‘์—์„œ ํŠน์ • ๋ฒกํ„ฐ์™€ ๊ฐ€์žฅ ์œ ์‚ฌํ•œ ๊ฒƒ์„ ์ฐพ๊ธฐ ์œ„ํ•ด ๋ชจ๋“  ๋ฒกํ„ฐ์™€ ์ผ์ผ์ด ๊ฑฐ๋ฆฌ๋ฅผ ๊ณ„์‚ฐํ•˜๋Š” ๊ฒƒ์€ ๋งค์šฐ ๋น„ํšจ์œจ์ ์ž…๋‹ˆ๋‹ค(Full Scan). ๋ฒกํ„ฐ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค๋Š” ํŠน์ˆ˜ํ•œ ์ธ๋ฑ์Šค๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ด ๊ฒ€์ƒ‰ ์†๋„๋ฅผ ํš๊ธฐ์ ์œผ๋กœ ๋†’์—ฌ์ค๋‹ˆ๋‹ค. ์ด๋Š” ๊ด€๊ณ„ํ˜• ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์—์„œ `WHERE` ์ ˆ์˜ ๊ฒ€์ƒ‰ ์†๋„๋ฅผ ๋†’์ด๊ธฐ ์œ„ํ•ด `B-Tree ์ธ๋ฑ์Šค`๋ฅผ ๊ฑฐ๋Š” ๊ฒƒ๊ณผ ์ •ํ™•ํžˆ ๊ฐ™์€ ์›๋ฆฌ์ž…๋‹ˆ๋‹ค.
- **์ฃผ์š” ์†”๋ฃจ์…˜๋“ค:** ์šฐ๋ฆฌ ํ”„๋กœ์ ํŠธ์—์„œ๋Š” PostgreSQL์˜ ํ™•์žฅ ๊ธฐ๋Šฅ์ธ `pgvector`๋ฅผ Supabase๋ฅผ ํ†ตํ•ด ์‚ฌ์šฉํ•˜๊ณ  ์žˆ์ง€๋งŒ, ์‹œ์žฅ์—๋Š” ๋‹ค์–‘ํ•œ ๋ฒกํ„ฐ DB ์†”๋ฃจ์…˜์ด ์กด์žฌํ•ฉ๋‹ˆ๋‹ค.
  - **์ „๋ฌธ ๋ฒกํ„ฐ DB (Managed):** `Pinecone`, `Weaviate` ๋“ฑ. ๋ฒกํ„ฐ ๊ฒ€์ƒ‰ ์ „์šฉ์œผ๋กœ ์„ค๊ณ„๋œ ์™„์ „ ๊ด€๋ฆฌํ˜• ํด๋ผ์šฐ๋“œ ์„œ๋น„์Šค์ž…๋‹ˆ๋‹ค.
  - **์˜คํ”ˆ์†Œ์Šค ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ/DB:** `Milvus`, `Faiss` (by Meta) ๋“ฑ. ์ง์ ‘ ์„ค์น˜ํ•˜๊ณ  ์šด์˜ํ•ด์•ผ ํ•˜๋Š” ๋†’์€ ์œ ์—ฐ์„ฑ์„ ์ œ๊ณตํ•˜๋Š” ์†”๋ฃจ์…˜์ž…๋‹ˆ๋‹ค.
  - **๊ธฐ์กด DB์˜ ํ™•์žฅ ๊ธฐ๋Šฅ:** `pgvector` (in PostgreSQL), `Redis`, `Elasticsearch`, `MongoDB Atlas Vector Search` ๋“ฑ. ์ด๋ฏธ ์‚ฌ์šฉ ์ค‘์ธ DB์— ๋ฒกํ„ฐ ๊ฒ€์ƒ‰ ๊ธฐ๋Šฅ์„ ์ถ”๊ฐ€ํ•˜๋Š” ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค.

<br/>
<br/>

## ๐Ÿ”„ 4. ์ „์ฒด ์›Œํฌํ”Œ๋กœ์šฐ ์ •๋ฆฌ

์šฐ๋ฆฌ ํ”„๋กœ์ ํŠธ์—์„œ RAG๊ฐ€ ์ž‘๋™ํ•˜๋Š” ์ „์ฒด ํ๋ฆ„์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

```mermaid
graph TD
    subgraph "์ธ๋ฑ์‹ฑ (๋ฌธ์„œ โ†’ ์ง€์‹ ๋ฒ ์ด์Šค)"
        A[PDF ๋ฌธ์„œ] --> B(ํ…์ŠคํŠธ ์ฒญํฌ ๋ถ„ํ• )
        B --> C{์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ}
        C -- "๋ฒกํ„ฐ์™€ ์›๋ณธ ํ…์ŠคํŠธ<br/>์Œ์œผ๋กœ ์ €์žฅ" --> D((๋ฒกํ„ฐ DB))
    end

    subgraph "๋‹ต๋ณ€ ์ƒ์„ฑ (์งˆ๋ฌธ โ†’ ๋‹ต๋ณ€)"
        E[์‚ฌ์šฉ์ž ์งˆ๋ฌธ] --> F{์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ}
        D & F -- "์œ ์‚ฌ๋„ ๊ฒ€์ƒ‰" --> G[๊ด€๋ จ์„ฑ ๋†’์€ ์ •๋ณด]
        E & G -- "ํ”„๋กฌํ”„ํŠธ ๊ตฌ์„ฑ" --> H{LLM}
        H --> I((์‚ฌ์šฉ์ž์—๊ฒŒ ๋‹ต๋ณ€))
    end
```

<br/>
<br/>

### ๐Ÿ“ฅ 1๋‹จ๊ณ„: ์ธ๋ฑ์‹ฑ (Indexing / ๋ฌธ์„œ ์ฒ˜๋ฆฌ)

1.  **์—…๋กœ๋“œ**: ์‚ฌ์šฉ์ž๊ฐ€ PDF๋ฅผ ์—…๋กœ๋“œํ•ฉ๋‹ˆ๋‹ค.
2.  **๋ถ„ํ•  (Chunking)**: ์„œ๋ฒ„(FastAPI)๋Š” PDF๋ฅผ ์—ฌ๋Ÿฌ ๊ฐœ์˜ ์ž‘์€ ํ…์ŠคํŠธ **์ฒญํฌ(Chunk)** ๋กœ ๋ถ„ํ• ํ•ฉ๋‹ˆ๋‹ค. (์ž์„ธํ•œ ๋‚ด์šฉ์€ ์•„๋ž˜๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”)
3.  **์ž„๋ฒ ๋”ฉ (Embedding)**: ๊ฐ ์ฒญํฌ๋Š” ๋กœ์ปฌ Ollama ์„œ๋ฒ„์˜ Embedding API๋กœ ์ „์†ก๋˜์–ด **๋ฒกํ„ฐ**๋กœ ๋ณ€ํ™˜๋ฉ๋‹ˆ๋‹ค. (๊ธฐ๋ณธ: `nomic-embed-text`, 768์ฐจ์›)
4.  **์ €์žฅ (Storing)**: `(์›๋ณธ ํ…์ŠคํŠธ ์ฒญํฌ, ๋ฒกํ„ฐ)` ์Œ์ด **Supabase(PostgreSQL + pgvector) DB**์— ์ €์žฅ๋ฉ๋‹ˆ๋‹ค.

<br/>

#### ๐Ÿค” ์ฒญํ‚น(Chunking)์€ ์™œ, ์–ด๋–ป๊ฒŒ ํ•ด์•ผ ํ• ๊นŒ์š”?

**"๋ฌธ์„œ๋ฅผ ๊ทธ๋ƒฅ ํ†ต์งธ๋กœ ์ž„๋ฒ ๋”ฉํ•˜๋ฉด ์•ˆ ๋˜๋‚˜์š”?"**

์ข‹์€ ์งˆ๋ฌธ์ž…๋‹ˆ๋‹ค. ๋ฌธ์„œ๋ฅผ '์ฒญํฌ'๋ผ๋Š” ์ž‘์€ ๋‹จ์œ„๋กœ ๋‚˜๋ˆ„๋Š” ๋ฐ์—๋Š” ๋ช‡ ๊ฐ€์ง€ ์ค‘์š”ํ•œ ๊ธฐ์ˆ ์ , ์ „๋žต์  ์ด์œ ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

1.  **์˜๋ฏธ์˜ ๋ช…ํ™•์„ฑ ํ™•๋ณด:**

    - ๊ฑฐ๋Œ€ํ•œ ๋ฌธ์„œ ์ „์ฒด๋ฅผ ํ•˜๋‚˜์˜ ๋ฒกํ„ฐ๋กœ ๋งŒ๋“ค๋ฉด, ๊ทธ ๋ฒกํ„ฐ๋Š” ๋ฌธ์„œ์˜ 'ํ‰๊ท ์ ์ธ' ์˜๋ฏธ๋ฅผ ๋‚˜ํƒ€๋‚ด๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ์ด๋Š” ๋„ˆ๋ฌด ๊ด‘๋ฒ”์œ„ํ•ด์„œ, ์‚ฌ์šฉ์ž์˜ ๊ตฌ์ฒด์ ์ธ ์งˆ๋ฌธ๊ณผ ๊ด€๋ จ๋œ ๋ถ€๋ถ„์„ ์ •ํ™•ํžˆ ์ฐพ์•„๋‚ด๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค.
    - ์ž‘์€ ์ฒญํฌ๋กœ ๋‚˜๋ˆ„๋ฉด, ๊ฐ ์ฒญํฌ๋Š” ๋” ์ง‘์ค‘๋˜๊ณ  ๊ตฌ์ฒด์ ์ธ ์˜๋ฏธ๋ฅผ ๊ฐ€์ง„ ๋ฒกํ„ฐ๋ฅผ ๊ฐ–๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ๊ณผ ์ •๋ง๋กœ '๊ด€๋ จ์„ฑ ๋†’์€' ์ •๋ณด ์กฐ๊ฐ์„ ์ •ํ™•ํžˆ ์ฐพ์•„๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

2.  **LLM ๋ฐ ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ์˜ ํ† ํฐ ํ•œ๊ณ„:**
    - LLM ๋ชจ๋ธ๊ณผ ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ์€ ํ•œ ๋ฒˆ์— ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋Š” ํ…์ŠคํŠธ์˜ ์–‘(ํ† ํฐ ์ˆ˜)์— ์ œํ•œ์ด ์žˆ์Šต๋‹ˆ๋‹ค. LLM์˜ ๊ฒฝ์šฐ ์ด๋ฅผ '์ปจํ…์ŠคํŠธ ์ฐฝ(Context Window)'์ด๋ผ๊ณ  ๋ถ€๋ฆ…๋‹ˆ๋‹ค.
    - ์ˆ˜๋ฐฑ ํŽ˜์ด์ง€์งœ๋ฆฌ ๋ฌธ์„œ๋ฅผ ํ†ต์งธ๋กœ ์ž„๋ฒ ๋”ฉํ•˜๊ฑฐ๋‚˜ LLM์—๊ฒŒ ์ „๋‹ฌํ•  ์ˆ˜๋Š” ์—†์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ์šฐ๋ฆฌ๋Š” ๊ฒ€์ƒ‰์„ ํ†ตํ•ด ๊ฐ€์žฅ ๊ด€๋ จ ์žˆ๋Š” '์ฒญํฌ'๋“ค๋งŒ ๊ณจ๋ผ์„œ LLM์˜ ์ปจํ…์ŠคํŠธ ์ฐฝ ์•ˆ์— ํšจ์œจ์ ์œผ๋กœ ๋„ฃ์–ด์ฃผ์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

**์ฒญํ‚น(Chunking)์˜ Best Practices**

๊ทธ๋ ‡๋‹ค๋ฉด ์–ด๋–ป๊ฒŒ ์ฒญํฌ๋ฅผ ๋‚˜๋ˆ„๋Š” ๊ฒƒ์ด ๊ฐ€์žฅ ํšจ์œจ์ ์ผ๊นŒ์š”? ์ด๋Š” RAG ์‹œ์Šคํ…œ์˜ ์„ฑ๋Šฅ์— ํฐ ์˜ํ–ฅ์„ ๋ฏธ์น˜๋Š” ์ค‘์š”ํ•œ ๊ณผ์ •์ด๋ฉฐ, ๋ณดํ†ต ๋‹ค์Œ ๋‘ ๊ฐ€์ง€ ์š”์†Œ๋ฅผ ํ•ต์‹ฌ ํ•˜์ดํผํŒŒ๋ผ๋ฏธํ„ฐ๋กœ ๊ณ ๋ คํ•ฉ๋‹ˆ๋‹ค.

- **์ฒญํฌ ํฌ๊ธฐ (Chunk Size):**

  - **๋„ˆ๋ฌด ์ž‘์œผ๋ฉด?** ๋ฌธ์žฅ์˜ ์˜๋ฏธ๊ฐ€ ์ค‘๊ฐ„์— ์ž˜๋ฆด ์ˆ˜ ์žˆ๊ณ , ์งˆ๋ฌธ์— ๋‹ตํ•˜๊ธฐ์— ์ถฉ๋ถ„ํ•œ ๋งฅ๋ฝ์„ ํฌํ•จํ•˜์ง€ ๋ชปํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  - **๋„ˆ๋ฌด ํฌ๋ฉด?** ๊ด€๋ จ ์—†๋Š” ์ •๋ณด๊ฐ€ ๋„ˆ๋ฌด ๋งŽ์ด ํฌํ•จ๋˜์–ด, ๊ฒ€์ƒ‰๋œ ๊ฒฐ๊ณผ์˜ ํ•ต์‹ฌ ์˜๋ฏธ๊ฐ€ ํฌ์„๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  - ์ •๋‹ต์€ ์—†์œผ๋ฉฐ, ๋ฌธ์„œ์˜ ์ข…๋ฅ˜์™€ ๋‚ด์šฉ์— ๋”ฐ๋ผ ์ ์ ˆํ•œ ํฌ๊ธฐ๋ฅผ ์‹คํ—˜์ ์œผ๋กœ ์ฐพ์•„์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋ณดํ†ต 256, 512, 1024 ํ† ํฐ ๋“ฑ์„ ๊ธฐ์ค€์œผ๋กœ ์žก์Šต๋‹ˆ๋‹ค.

- **์ฒญํฌ ๊ฒน์นจ (Chunk Overlap):**
  - ์ฒญํฌ์™€ ์ฒญํฌ ์‚ฌ์ด์— ๊ฑธ์ณ ์žˆ๋Š” ์ค‘์š”ํ•œ ๋ฌธ์žฅ์ด๋‚˜ ์•„์ด๋””์–ด๊ฐ€ ์ž˜๋ฆฌ๋Š” ๊ฒƒ์„ ๋ฐฉ์ง€ํ•˜๊ธฐ ์œ„ํ•ด, ์˜๋„์ ์œผ๋กœ ์ฒญํฌ์˜ ์ผ๋ถ€๋ฅผ ๊ฒน์น˜๊ฒŒ ๋งŒ๋“ญ๋‹ˆ๋‹ค.
  - ์˜ˆ๋ฅผ ๋“ค์–ด, 512 ํ† ํฐ ํฌ๊ธฐ๋กœ ์ž๋ฅด๋˜, ๊ฐ ์ฒญํฌ๊ฐ€ ์ด์ „ ์ฒญํฌ์˜ ๋งˆ์ง€๋ง‰ 50๊ฐœ ํ† ํฐ์„ ํฌํ•จํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” ์‹์ž…๋‹ˆ๋‹ค. ์ด๋ ‡๊ฒŒ ํ•˜๋ฉด ์ •๋ณด์˜ ์—ฐ์†์„ฑ์„ ์œ ์ง€ํ•˜๋Š” ๋ฐ ํฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค.

> ๐Ÿ“Œ ์‹ค์ œ ๊ตฌํ˜„์— ์‚ฌ์šฉํ•  ์ฒญํ‚น ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ๋™์ž‘ ๋ฐฉ์‹์€ ์ง์ ‘ ์กฐ์‚ฌํ•ด๋ณด์„ธ์š”.
> ์–ด๋–ค ๊ตฌ๋ถ„์ž(separator)๋ฅผ ์–ด๋–ค ์ˆœ์„œ๋กœ ์ ์šฉํ•˜๋Š”์ง€, `chunk_size`๊ฐ€ ํ† ํฐ ๊ธฐ์ค€์ธ์ง€ ๋ฌธ์ž ๊ธฐ์ค€์ธ์ง€ ํ™•์ธํ•˜๋ฉด
> ์ฒญํ‚น ํŒŒ๋ผ๋ฏธํ„ฐ ํŠœ๋‹ ์‹œ ํ›จ์”ฌ ์ •ํ™•ํ•œ ํŒ๋‹จ์„ ๋‚ด๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

<br/>

#### ๐Ÿค” ์™œ ๋ฒกํ„ฐ์™€ ์›๋ณธ ํ…์ŠคํŠธ๋ฅผ ํ•จ๊ป˜ ์ €์žฅํ• ๊นŒ์š”?

**"๊ฒ€์ƒ‰์€ ๋ฒกํ„ฐ๋กœ ํ•  ํ…๋ฐ, ์™œ ์›๋ณธ ํ…์ŠคํŠธ๊นŒ์ง€ DB์— ์ €์žฅํ•ด์•ผ ํ•˜๋‚˜์š”?"**

์ด๋Š” RAG์˜ ์ตœ์ข… ๋ชฉํ‘œ๋ฅผ ์ƒ๊ฐํ•˜๋ฉด ๋ช…ํ™•ํ•ด์ง‘๋‹ˆ๋‹ค.

- **๋ฒกํ„ฐ๋Š” '์ฃผ์†Œ', ์›๋ณธ ํ…์ŠคํŠธ๋Š” '๋‚ด์šฉ๋ฌผ'์ž…๋‹ˆ๋‹ค.**

  - ๋ฒกํ„ฐ๋Š” ํ…์ŠคํŠธ์˜ ์˜๋ฏธ๋ฅผ ๋‚˜ํƒ€๋‚ด๋Š” '์ขŒํ‘œ' ๋˜๋Š” '์ฃผ์†Œ'์ผ ๋ฟ, ๊ทธ ์ž์ฒด๋กœ ์›๋ณธ ์ •๋ณด๋ฅผ ๋‹ด๊ณ  ์žˆ์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. `[0.01, -0.23, ...]` ๊ฐ™์€ ์ˆซ์ž ๋ฐฐ์—ด์„ LLM์—๊ฒŒ ์ค˜๋ด์•ผ ์•„๋ฌด ์˜๋ฏธ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค.
  - ์šฐ๋ฆฌ์˜ ์ตœ์ข… ๋ชฉํ‘œ๋Š” ์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ๊ณผ ๊ฐ€์žฅ ์œ ์‚ฌํ•œ **'์ •๋ณด(ํ…์ŠคํŠธ)'** ๋ฅผ ์ฐพ์•„์„œ LLM์—๊ฒŒ '์ฐธ๊ณ  ์ž๋ฃŒ'๋กœ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

- **๋”ฐ๋ผ์„œ ์›Œํฌํ”Œ๋กœ์šฐ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์ด ์ด๋ฃจ์–ด์ง‘๋‹ˆ๋‹ค.**
  1.  ์‚ฌ์šฉ์ž์˜ '์งˆ๋ฌธ ๋ฒกํ„ฐ'๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ฒกํ„ฐ DB์—์„œ ๊ฐ€์žฅ ๊ฐ€๊นŒ์šด **'์ฃผ์†Œ(๋ฒกํ„ฐ)'** ๋“ค์„ ์ฐพ์Šต๋‹ˆ๋‹ค.
  2.  ์ฐพ์•„๋‚ธ '์ฃผ์†Œ'์— ํ•ด๋‹นํ•˜๋Š” **'๋‚ด์šฉ๋ฌผ(์›๋ณธ ํ…์ŠคํŠธ ์ฒญํฌ)'** ์„ DB์—์„œ ๊บผ๋ƒ…๋‹ˆ๋‹ค.
  3.  ์ด '๋‚ด์šฉ๋ฌผ'๋“ค์„ ๋ชจ์•„ ์ปจํ…์ŠคํŠธ๋กœ ๊ตฌ์„ฑํ•œ ๋’ค, LLM์—๊ฒŒ ์งˆ๋ฌธ๊ณผ ํ•จ๊ป˜ ์ „๋‹ฌํ•ฉ๋‹ˆ๋‹ค.

๊ฒฐ๋ก ์ ์œผ๋กœ, `(๋ฒกํ„ฐ, ์›๋ณธ ํ…์ŠคํŠธ)` ์Œ์œผ๋กœ ์ €์žฅํ•˜๋Š” ๊ฒƒ์€, ์ดˆ๊ณ ์†์œผ๋กœ ๊ด€๋ จ ์ •๋ณด๋ฅผ ์ฐพ๊ธฐ ์œ„ํ•œ **์ธ๋ฑ์Šค(๋ฒกํ„ฐ)** ์™€, ์ฐพ์€ ํ›„์— LLM์—๊ฒŒ ์‹ค์ œ๋กœ ์ œ๊ณตํ•  **๋ฐ์ดํ„ฐ(์›๋ณธ ํ…์ŠคํŠธ)** ๋ฅผ ํ•จ๊ป˜ ๊ด€๋ฆฌํ•˜๋Š”, ๋งค์šฐ ํšจ์œจ์ ์ธ ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค.

<br/>
<br/>

### ๐Ÿ’ฌ 2๋‹จ๊ณ„: ๊ฒ€์ƒ‰ ๋ฐ ์ƒ์„ฑ (Retrieval & Generation / Q&A)

1.  **์‚ฌ์šฉ์ž ์งˆ๋ฌธ**: ์‚ฌ์šฉ์ž๊ฐ€ ์›น UI์—์„œ ์งˆ๋ฌธ์„ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค.
2.  **์งˆ๋ฌธ ์ž„๋ฒ ๋”ฉ**: ์งˆ๋ฌธ ํ…์ŠคํŠธ ์—ญ์‹œ ๋กœ์ปฌ Ollama ์„œ๋ฒ„์˜ Embedding API๋กœ ์ „์†ก๋˜์–ด **'์งˆ๋ฌธ ๋ฒกํ„ฐ'** ๋กœ ๋ณ€ํ™˜๋ฉ๋‹ˆ๋‹ค.
3.  **์œ ์‚ฌ๋„ ๊ฒ€์ƒ‰**: ์„œ๋ฒ„๋Š” ์ด '์งˆ๋ฌธ ๋ฒกํ„ฐ'๋ฅผ ๊ฐ€์ง€๊ณ  Supabase DB์— ์ฟผ๋ฆฌ๋ฅผ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค (`match_documents` ํ•จ์ˆ˜). DB๋Š” ๋ฒกํ„ฐ ๊ฒ€์ƒ‰์„ ํ†ตํ•ด ์งˆ๋ฌธ ๋ฒกํ„ฐ์™€ ๊ฐ€์žฅ ์˜๋ฏธ์ ์œผ๋กœ ์œ ์‚ฌํ•œ(๊ฐ€๊นŒ์šด) **์ƒ์œ„ 5๊ฐœ์˜ ํ…์ŠคํŠธ ์ฒญํฌ**๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.
4.  **์ปจํ…์ŠคํŠธ ์ƒ์„ฑ**: ์„œ๋ฒ„๋Š” ์ด 5๊ฐœ์˜ ์ฒญํฌ๋ฅผ ์กฐํ•ฉํ•˜์—ฌ **'์ปจํ…์ŠคํŠธ(Context)'** ๋ผ๋Š” ํ•˜๋‚˜์˜ ๊ธด ๋ฌธ์ž์—ด์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค.
5.  **์ฆ๊ฐ•๋œ ํ”„๋กฌํ”„ํŠธ ์ƒ์„ฑ**: ์ตœ์ข…์ ์œผ๋กœ ๋กœ์ปฌ Ollama ์„œ๋ฒ„์˜ Chat API(`llama3.1`)์— ๋‹ค์Œ๊ณผ ๊ฐ™์€ **์ฆ๊ฐ•๋œ ํ”„๋กฌํ”„ํŠธ(Augmented Prompt)** ๋ฅผ ์ „์†กํ•ฉ๋‹ˆ๋‹ค.

    > **์ปจํ…์ŠคํŠธ:** [DB์—์„œ ์ฐพ์€ ๊ด€๋ จ ๋‚ด์šฉ 5๊ฐœ] > **์งˆ๋ฌธ:** [์‚ฌ์šฉ์ž์˜ ์›๋ณธ ์งˆ๋ฌธ]
    >
    > "์œ„ ์ปจํ…์ŠคํŠธ๋ฅผ ๋ฐ”ํƒ•์œผ๋กœ ์งˆ๋ฌธ์— ๋‹ตํ•ด์ฃผ์„ธ์š”."

6.  **๋‹ต๋ณ€ ์ƒ์„ฑ**: LLM์€ ์ด '์ชฝ์ง€(Context)'๋ฅผ ์ฐธ๊ณ ํ•˜์—ฌ ๋‹ต๋ณ€์„ ์ƒ์„ฑํ•˜๊ณ , ์„œ๋ฒ„๋Š” ์ด ๋‹ต๋ณ€์„ ์‚ฌ์šฉ์ž์—๊ฒŒ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

(์ฐธ๊ณ : OpenAI๋ฅผ ์‚ฌ์šฉํ•˜๋ ค๋ฉด `.env`์—์„œ `PROVIDER=openai`๋กœ ์„ค์ •ํ•˜๋ฉด GPT-3.5-turbo๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.)

<br/>
<br/>

## ๐ŸŽฏ 5. ์‹ฌํ™” ๊ณ ๋ ค์‚ฌํ•ญ: RAG ์‹œ์Šคํ…œ ์„ฑ๋Šฅ ๋†’์ด๊ธฐ

์ง€๊ธˆ๊นŒ์ง€ ์„ค๋ช…ํ•œ ์›Œํฌํ”Œ๋กœ์šฐ๋Š” RAG์˜ ๊ธฐ๋ณธ ๋ผˆ๋Œ€์ž…๋‹ˆ๋‹ค. ์‹ค์ œ ์šด์˜ ํ™˜๊ฒฝ์—์„œ๋Š” ๋” ๋‚˜์€ ๋‹ต๋ณ€ ํ’ˆ์งˆ์„ ์œ„ํ•ด ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์š”์†Œ๋“ค์„ ์ถ”๊ฐ€๋กœ ๊ณ ๋ คํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

<br/>

### ๐Ÿ“ 5-1. ์œ ์‚ฌ๋„ ์ธก์ • ๋ฐฉ์‹: ์„ ํƒ๊ณผ ์ง‘์ค‘

- **"๋ฒกํ„ฐ๊ฐ€ '๊ฐ€๊น๋‹ค'๋Š” ๊ฒƒ์„ ๊ณ„์‚ฐํ•˜๋Š” ๋ฐฉ๋ฒ•์€ ํ•œ ๊ฐ€์ง€๋ฟ์ธ๊ฐ€์š”?"**

  - ๊ทธ๋ ‡์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ฒกํ„ฐ ๊ณต๊ฐ„์—์„œ ๋‘ ๋ฒกํ„ฐ์˜ '์œ ์‚ฌ๋„' ๋˜๋Š” '๊ฑฐ๋ฆฌ'๋ฅผ ์ธก์ •ํ•˜๋Š” ๋ฐฉ๋ฒ•์€ ์—ฌ๋Ÿฌ ๊ฐ€์ง€๊ฐ€ ์žˆ์œผ๋ฉฐ, ๊ฐ๊ฐ์˜ ์žฅ๋‹จ์ ์ด ์žˆ์–ด ์‚ฌ์šฉ ์‚ฌ๋ก€์— ๋งž๊ฒŒ ์„ ํƒํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

  ๊ฐ€์žฅ ์ค‘์š”ํ•œ ์›์น™์€ **์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ์„ ํ›ˆ๋ จํ•  ๋•Œ ์‚ฌ์šฉ๋œ ์ธก์ • ๋ฐฉ์‹๊ณผ ๋™์ผํ•œ ๋ฐฉ์‹์„ ๋ฒกํ„ฐ DB์—์„œ๋„ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ**์ž…๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„๋กœ ํ›ˆ๋ จ๋œ `all-MiniLM-L6-v2` ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•œ๋‹ค๋ฉด, DB์—์„œ๋„ ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„๋ฅผ ์‚ฌ์šฉํ•ด์•ผ ์ตœ์ƒ์˜ ๊ฒฐ๊ณผ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋งŒ์•ฝ ์–ด๋–ค ๋ฐฉ์‹์„ ์‚ฌ์šฉํ–ˆ๋Š”์ง€ ๋ถˆ๋ถ„๋ช…ํ•˜๊ฑฐ๋‚˜, LSH์ฒ˜๋Ÿผ ํŠน์ • ์†์‹ค ํ•จ์ˆ˜ ์—†์ด ๋งŒ๋“ค์–ด์ง„ ์ž„๋ฒ ๋”ฉ์ด๋ผ๋ฉด, ๋ฐ์ดํ„ฐ์™€ ์‚ฌ์šฉ ์‚ฌ๋ก€์˜ ํŠน์„ฑ์— ๋”ฐ๋ผ ๊ฐ€์žฅ ์ ํ•ฉํ•œ ๋ฐฉ์‹์„ ์„ ํƒํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

<br/>

### ๐Ÿค” ์ž ๊น, ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„๋Š” ์ •๋ง 'ํฌ๊ธฐ'์™€ ๋ฌด๊ด€ํ•œ๊ฐ€์š”?

๋„ค, ๊ทธ๋ ‡์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„ ๊ณ„์‚ฐ์‹์— '๋‚ด์ (Dot Product)'์ด ํฌํ•จ๋˜์–ด ์žˆ์–ด ์ด ๋ถ€๋ถ„์ด ํ—ท๊ฐˆ๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‚ด์ ์€ ๋‘ ๋ฒกํ„ฐ์˜ ํฌ๊ธฐ์™€ ๋ฐฉํ–ฅ์„ ๋ชจ๋‘ ๋ฐ˜์˜ํ•˜๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.

ํ•ต์‹ฌ์€ ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„์˜ ๋งˆ์ง€๋ง‰ ๋‹จ๊ณ„์ธ **'์ •๊ทœํ™”(Normalization)'**, ์ฆ‰ ๊ฐ ๋ฒกํ„ฐ ํฌ๊ธฐ์˜ ๊ณฑ์œผ๋กœ ๋‚˜๋ˆ ์ฃผ๋Š” ๊ณผ์ •์— ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๊ณผ์ •์ด ๋ฒกํ„ฐ์˜ 'ํฌ๊ธฐ'๋ผ๋Š” ์š”์†Œ๋ฅผ ์ˆ˜ํ•™์ ์œผ๋กœ ์™„๋ฒฝํ•˜๊ฒŒ ์ œ๊ฑฐํ•˜๊ณ , ์ˆœ์ˆ˜ํ•˜๊ฒŒ '๋ฐฉํ–ฅ' ์ •๋ณด๋งŒ์„ ๋‚จ๊น๋‹ˆ๋‹ค. ์•„๋ž˜ ๋‹ค์ด์–ด๊ทธ๋žจ์€ ๋‘ ๊ณ„์‚ฐ ๋ฐฉ์‹์˜ ์ฐจ์ด๋ฅผ ๋ช…ํ™•ํžˆ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

```mermaid
graph TD
    subgraph "๋‚ด์ : ๋ฐฉํ–ฅ๊ณผ ํฌ๊ธฐ๋ฅผ ๋ชจ๋‘ ๊ณ ๋ ค"
        direction LR
        style C fill:#FFE6CC,stroke:#D79B00
        style D fill:#FFE6CC,stroke:#D79B00
        A["๋ฒกํ„ฐ A (ํž˜: 3)"] --> C("์ ์ˆ˜ = ๋ฐฉํ–ฅ ์œ ์‚ฌ๋„ ร— <b>3</b> ร— <b>5</b>");
        B["๋ฒกํ„ฐ B (ํž˜: 5)"] --> C;
        C -- "๊ฒฐ๊ณผ๊ฐ’์€<br/><b>๋ฐฉํ–ฅ๊ณผ ํฌ๊ธฐ</b><br/>๋ชจ๋‘์— ์˜ํ–ฅ์„ ๋ฐ›์Œ" --> D(๋†’์€ ์ ์ˆ˜);
    end

    subgraph "์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„: ์˜ค์ง ๋ฐฉํ–ฅ๋งŒ ๊ณ ๋ ค"
        direction LR
        style G fill:#DAE8FC,stroke:#6C8EBF
        style H fill:#DAE8FC,stroke:#6C8EBF
        E["๋ฒกํ„ฐ A (ํž˜: 3)"] -- "ํฌ๊ธฐ๋ฅผ 1๋กœ ์ •๊ทœํ™”" --> F["๋ฒกํ„ฐ A'<br/>(ํž˜: 1)"];
        I["๋ฒกํ„ฐ B (ํž˜: 5)"] -- "ํฌ๊ธฐ๋ฅผ 1๋กœ ์ •๊ทœํ™”" --> J["๋ฒกํ„ฐ B'<br/>(ํž˜: 1)"];

        F --> G("์ ์ˆ˜ = ๋ฐฉํ–ฅ ์œ ์‚ฌ๋„ ร— <b>1</b> ร— <b>1</b>");
        J --> G
        G -- "๊ฒฐ๊ณผ๊ฐ’์€<br/>์˜ค์ง <b>๋ฐฉํ–ฅ</b>์—๋งŒ<br/>์˜ํ–ฅ์„ ๋ฐ›์Œ" --> H(๋ฐฉํ–ฅ ์ ์ˆ˜)
    end
```

๊ฐ€์žฅ ๋Œ€ํ‘œ์ ์ธ 3๊ฐ€์ง€๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

| ์ธก์ • ๋ฐฉ์‹              | ํ•ต์‹ฌ ์›๋ฆฌ (์ง๊ด€์  ์˜๋ฏธ)                           | ๋ฌด์—‡์— ๋ฏผ๊ฐํ•œ๊ฐ€?                                    | ํŠน์ง• ๋ฐ ์ฃผ์š” ์‚ฌ์šฉ ์‚ฌ๋ก€                                                                                                                                                                                                                                  |
| ---------------------- | ------------------------------------------------- | --------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„**      | "๋‘ ๋ฒกํ„ฐ๊ฐ€ ๊ฐ™์€ ๋ฐฉํ–ฅ์„ ๋ฐ”๋ผ๋ณด๋Š”๊ฐ€?" (๊ฐ๋„ ์ธก์ •)   | **๋ฐฉํ–ฅ(Direction)** ์—๋งŒ ๋ฏผ๊ฐ.                      | **(์šฐ๋ฆฌ ํ”„๋กœ์ ํŠธ์˜ ์„ ํƒ)** ํ…์ŠคํŠธ์˜ '์ฃผ์ œ'๋‚˜ '๋งฅ๋ฝ'์ด ์ค‘์š”ํ•  ๋•Œ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. "์ฐจ๊ฐ€ ๊ณ ์žฅ๋‚ฌ๋‹ค"์™€ "์ž๋™์ฐจ๊ฐ€ ๋ง๊ฐ€์กŒ๋‹ค"๋Š” ๋ฌธ์žฅ ๊ธธ์ด(๋ฒกํ„ฐ ํฌ๊ธฐ)๊ฐ€ ๋‹ฌ๋ผ๋„ ๋ฐฉํ–ฅ์ด ๋น„์Šทํ•ด ์œ ์‚ฌ๋„๊ฐ€ ๋†’๊ฒŒ ๋‚˜์˜ต๋‹ˆ๋‹ค.                                                                 |
| **์œ ํด๋ฆฌ๋“œ ๊ฑฐ๋ฆฌ**      | "๋‘ ์  ์‚ฌ์ด์˜ ์ตœ๋‹จ ์ง์„  ๊ฑฐ๋ฆฌ๋Š” ์–ผ๋งˆ์ธ๊ฐ€?"         | **์ ˆ๋Œ€์  ์œ„์น˜(Magnitude & Direction)** ์— ๋ฏผ๊ฐ.     | ์ด๋ฏธ์ง€ ์œ ์‚ฌ๋„(ํ”ฝ์…€๊ฐ’ ์ฐจ์ด), ์ˆ˜์น˜ ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋“ฑ ๋ฒกํ„ฐ์˜ ๊ฐ ์š”์†Œ๊ฐ’์ด ์ ˆ๋Œ€์ ์ธ ์˜๋ฏธ๋ฅผ ๊ฐ€์งˆ ๋•Œ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ถ”์ฒœ ์‹œ์Šคํ…œ์—์„œ "A๋Š” ์˜ํ™”๋ฅผ 5๋ฒˆ, B๋Š” 1๋ฒˆ ๋ดค๋‹ค" ๊ฐ™์€ ์ ˆ๋Œ€์ ์ธ ํšŸ์ˆ˜ ์ฐจ์ด๋ฅผ ๋ฐ˜์˜ํ•˜๊ณ  ์‹ถ์„ ๋•Œ ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.                                            |
| **๋‚ด์  (Dot Product)** | "ํ•œ ๋ฒกํ„ฐ๊ฐ€ ๋‹ค๋ฅธ ๋ฒกํ„ฐ ๋ฐฉํ–ฅ์œผ๋กœ ์–ผ๋งˆ๋‚˜ ๊ธฐ์—ฌํ•˜๋Š”๊ฐ€?" | **๋ฐฉํ–ฅ๊ณผ ํฌ๊ธฐ(Direction & Magnitude)** ๋ชจ๋‘์— ๋ฏผ๊ฐ. | ๊ฐ™์€ ๋ฐฉํ–ฅ์ผ ๋•Œ, ํฌ๊ธฐ๊ฐ€ ํด์ˆ˜๋ก(์˜ˆ: ๋” ์ธ๊ธฐ ์žˆ๊ฑฐ๋‚˜ ์ค‘์š”ํ• ์ˆ˜๋ก) ๋” ๋†’์€ ์ ์ˆ˜๋ฅผ ๋ถ€์—ฌํ•˜๊ณ  ์‹ถ์„ ๋•Œ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ •๊ทœํ™”(normalize)๋œ ๋ฒกํ„ฐ์—์„œ๋Š” ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„์™€ ๋™์ผํ•œ ๊ฒฐ๊ณผ๋ฅผ ๋‚ด๋ฉด์„œ ๊ณ„์‚ฐ์ด ๋” ๋น ๋ฅด๋‹ค๋Š” ์žฅ์ ์ด ์žˆ์–ด, ๊ฒ€์ƒ‰ ์‹œ์Šคํ…œ ๋‚ด๋ถ€ ์ตœ์ ํ™”์— ์ž์ฃผ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. |

> ์ฐธ๊ณ  ์ž๋ฃŒ: [Vector Similarity Explained (Pinecone)](https://www.pinecone.io/learn/vector-similarity/)

<br/>

#### ๐Ÿ’ก ์‹ฌํ™”: ์™œ ์ฐธ๊ณ  ์ž๋ฃŒ์—์„œ๋Š” ๋‚ด์ ๊ณผ ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„๋ฅผ ํ˜ผ์šฉํ•ด์„œ ์„ค๋ช…ํ•˜๋‚˜์š”?

์•ž์„  ์„ค๋ช…์œผ๋กœ ํ˜ผ๋ž€์Šค๋Ÿฌ์šธ ์ˆ˜ ์žˆ๋Š” ์ง€์ ์ž…๋‹ˆ๋‹ค. "์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„๋Š” ํฌ๊ธฐ์™€ ๋ฌด๊ด€ํ•˜๋‹ค"๊ณ  ๋ฐฐ์› ๋Š”๋ฐ, ์™œ Pinecone ๊ฐ™์€ ๊ธฐ์ˆ  ๋ฌธ์„œ์—์„œ๋Š” ๋‚ด์ (ํฌ๊ธฐ์— ์˜ํ–ฅ์„ ๋ฐ›์Œ)์„ ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„์™€ ๊ฑฐ์˜ ๊ฐ™์€ ๊ฒƒ์ฒ˜๋Ÿผ ์„ค๋ช…ํ• ๊นŒ์š”?

**๊ฒฐ๋ก ๋ถ€ํ„ฐ ๋งํ•˜๋ฉด, ์ด๋Š” '์„ฑ๋Šฅ ์ตœ์ ํ™”'๋ฅผ ์œ„ํ•ด ๋„๋ฆฌ ์‚ฌ์šฉ๋˜๋Š” ๊ธฐ๋ฒ• ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.**

ํ•ต์‹ฌ์€ **'์‚ฌ์ „ ์ •๊ทœํ™”(Pre-normalization)'** ๋ผ๋Š” ๊ฐœ๋…์— ์žˆ์Šต๋‹ˆ๋‹ค.

1.  **์ €์žฅ ์‹œ์ ์— ์ •๊ทœํ™”:** ๋ฒกํ„ฐ๋ฅผ ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์— ์ €์žฅํ•  ๋•Œ, ๋ชจ๋“  ๋ฒกํ„ฐ์˜ ํฌ๊ธฐ(Magnitude, L2-norm)๋ฅผ **1**๋กœ ์ •๊ทœํ™”ํ•ด์„œ ์ €์žฅํ•ฉ๋‹ˆ๋‹ค.
2.  **๊ฒ€์ƒ‰ ์‹œ์ ์—๋Š” ๋‚ด์  ์‚ฌ์šฉ:** ์ด๋ ‡๊ฒŒ ๋ชจ๋“  ๋ฒกํ„ฐ์˜ ํฌ๊ธฐ๊ฐ€ 1์ด ๋˜๋ฉด, ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„ ๊ณ„์‚ฐ ๊ณต์‹ `cos(ฮธ) = (A โ€ข B) / (||A|| * ||B||)`์—์„œ ๋ถ„๋ชจ `||A|| * ||B||`๊ฐ€ ํ•ญ์ƒ `1 * 1 = 1`์ด ๋ฉ๋‹ˆ๋‹ค.
3.  **๊ฒฐ๊ณผ:** ๊ฒฐ๊ตญ **์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„ ๊ณ„์‚ฐ์ด ๋‚ด์ (`A โ€ข B`) ๊ณ„์‚ฐ๊ณผ ์™„์ „ํžˆ ๋™์ผ**ํ•ด์ง‘๋‹ˆ๋‹ค.

๋‚ด์  ์—ฐ์‚ฐ์€ ๋‚˜๋ˆ„์…ˆ์ด ํฌํ•จ๋œ ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„ ๊ณ„์‚ฐ๋ณด๋‹ค ํ›จ์”ฌ ๋น ๋ฅด๊ธฐ ๋•Œ๋ฌธ์—, ๋Œ€๋ถ€๋ถ„์˜ ๊ณ ์„ฑ๋Šฅ ๋ฒกํ„ฐ ๊ฒ€์ƒ‰ ์‹œ์Šคํ…œ์€ ์ด๋Ÿฐ ์ตœ์ ํ™” ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

๋”ฐ๋ผ์„œ ๊ธฐ์ˆ  ๋ฌธ์„œ๋“ค์ด ๋‘ ์šฉ์–ด๋ฅผ ํ˜ผ์šฉํ•˜๋Š” ๊ฒƒ์€, **'์›๋ฆฌ'** ๋ณด๋‹ค๋Š” **'์ตœ์ ํ™”๋œ ์‹ค์ œ ๊ตฌํ˜„'** ์˜ ๊ด€์ ์—์„œ ์„ค๋ช…ํ•˜๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ์›๋ฆฌ์ ์œผ๋กœ๋Š” ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„๋Š” ์—ฌ์ „ํžˆ ๋ฐฉํ–ฅ๋งŒ์„, ๋‚ด์ ์€ ๋ฐฉํ–ฅ๊ณผ ํฌ๊ธฐ๋ฅผ ๋ชจ๋‘ ๊ณ ๋ คํ•˜๋Š” ๊ฒƒ์ด ๋งž์Šต๋‹ˆ๋‹ค.

<br/>

#### ๐Ÿค” ๊ทธ๋ ‡๋‹ค๋ฉด ์™œ ์šฐ๋ฆฌ ํ”„๋กœ์ ํŠธ๋Š” ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„๋ฅผ ์‚ฌ์šฉํ–ˆ๋‚˜์š”?

- **1. ๊ฐœ๋…: '์˜๋ฏธ'๋ฅผ ์ฐพ๊ธฐ ์œ„ํ•œ ์ตœ์ ์˜ ์ง€ํ‘œ**

  - RAG์˜ ๋ชฉ์ ์€ ํ…์ŠคํŠธ์˜ '์˜๋ฏธ'๊ฐ€ ๋น„์Šทํ•œ ๊ฒƒ์„ ์ฐพ๋Š” ๊ฒƒ์ด๊ณ , ์ด๋Š” ๋ฒกํ„ฐ์˜ '๋ฐฉํ–ฅ'์œผ๋กœ ํ‘œํ˜„๋ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ ํ•œ ๊ฐ€์ง€ ์˜คํ•ดํ•˜๊ธฐ ์‰ฌ์šด ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„์˜ ๊ณ„์‚ฐ์‹์—๋Š” ๋ฒกํ„ฐ์˜ ํฌ๊ธฐ์™€ ๋ฐฉํ–ฅ์„ ๋ชจ๋‘ ๋ฐ˜์˜ํ•˜๋Š” '๋‚ด์ (Dot Product)'์ด ํฌํ•จ๋˜์ง€๋งŒ, ์ด ๊ฐ’์„ ๊ฐ ๋ฒกํ„ฐ ํฌ๊ธฐ์˜ ๊ณฑ์œผ๋กœ ๋‚˜๋ˆ„๋Š” **์ •๊ทœํ™”(Normalization)** ๊ณผ์ •์ด ํ•ต์‹ฌ์ž…๋‹ˆ๋‹ค.
  - ์ด ์ •๊ทœํ™” ๋•๋ถ„์— ๋ฒกํ„ฐ์˜ 'ํฌ๊ธฐ' ์ •๋ณด๋Š” ์ƒ์‡„๋˜๊ณ , ์ตœ์ข…์ ์œผ๋กœ๋Š” ์ˆœ์ˆ˜ํ•˜๊ฒŒ ๋‘ ๋ฒกํ„ฐ๊ฐ€ ๊ฐ€๋ฆฌํ‚ค๋Š” **'๋ฐฉํ–ฅ'์˜ ์œ ์‚ฌ์„ฑ**๋งŒ์ด ๋‚จ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ๋ฌธ์žฅ์˜ ๊ธธ์ด๋‚˜ ๋‹จ์–ด ์‚ฌ์šฉ ๋นˆ๋„์™€ ๊ฐ™์€ ์š”์†Œ(๋ฒกํ„ฐ์˜ ํฌ๊ธฐ์— ์˜ํ–ฅ์„ ์ค„ ์ˆ˜ ์žˆ๋Š”)์— ์ƒ๊ด€์—†์ด, ๋‚ด์šฉ์˜ '์˜๋ฏธ'๊ฐ€ ์–ผ๋งˆ๋‚˜ ๋น„์Šทํ•œ์ง€๋ฅผ ์ธก์ •ํ•ด์•ผ ํ•˜๋Š” ์šฐ๋ฆฌ ํ”„๋กœ์ ํŠธ์˜ ๋ชฉ์ ์— ๊ฐ€์žฅ ์ž˜ ๋ถ€ํ•ฉํ•˜๋Š” ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค.

- **2. ํ˜„์‹ค: ์ธ๋ฑ์Šค ์นœํ™”์ ์ธ '๊ฑฐ๋ฆฌ'์˜ ํ•„์š”์„ฑ**

  - ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค์˜ ๋ฒกํ„ฐ ์ธ๋ฑ์Šค(์šฐ๋ฆฌ๊ฐ€ ์‚ฌ์šฉํ•œ IVFFlat ๋“ฑ)๋Š” '์œ ์‚ฌ๋„'(ํด์ˆ˜๋ก ์ข‹์Œ)๊ฐ€ ์•„๋‹Œ '๊ฑฐ๋ฆฌ'(์ž‘์„์ˆ˜๋ก ์ข‹์Œ) ๊ฐœ๋…์— ๋งž์ถฐ ์„ฑ๋Šฅ์ด ์ตœ์ ํ™”๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

- **3. `pgvector`์˜ ํ•ด๊ฒฐ์ฑ…: ์ตœ์ ํ™”๋œ ์—ฐ์‚ฐ์ž**

  - `pgvector`๋Š” ์ด ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด, ๋‚ด๋ถ€์ ์œผ๋กœ๋Š” ๊ฐ€์žฅ ๋น ๋ฅธ '๋‚ด์ ' ์—ฐ์‚ฐ์„ ํ™œ์šฉํ•˜๋ฉด์„œ๋„ ๊ฒฐ๊ณผ๋ฅผ '๊ฑฐ๋ฆฌ' ๊ฐœ๋…์œผ๋กœ ๋ฐ˜ํ™˜ํ•ด์ฃผ๋Š” ์ตœ์ ํ™”๋œ ์—ฐ์‚ฐ์ž๋“ค์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
  - **`<=>`** (์ฝ”์‚ฌ์ธ ๊ฑฐ๋ฆฌ): `1 - (์ฝ”์‚ฌ์ธ ์œ ์‚ฌ๋„)`๋ฅผ ๊ณ„์‚ฐํ•ฉ๋‹ˆ๋‹ค. ์ธ๋ฑ์Šค๋ฅผ ํ™œ์šฉํ•œ ์œ ์‚ฌ๋„ ๊ฒ€์ƒ‰์„ ์œ„ํ•œ ๊ฐ€์žฅ ํ‘œ์ค€์ ์ด๊ณ  ์ง๊ด€์ ์ธ ์—ฐ์‚ฐ์ž์ž…๋‹ˆ๋‹ค.

<br/>
<br/>

### โœ… 5-2. LLM ๋ชจ๋ธ ์„ ํƒ์˜ ์ค‘์š”์„ฑ (The Importance of LLM Choice)

- ์ตœ์ข… ๋‹ต๋ณ€์˜ ํ’ˆ์งˆ์„ ๊ฒฐ์ •ํ•˜๋Š” ๊ฐ€์žฅ ์ค‘์š”ํ•œ ์š”์†Œ ์ค‘ ํ•˜๋‚˜๋Š” ๋ฐ”๋กœ ๋งˆ์ง€๋ง‰์— ๋‹ต๋ณ€ ์ƒ์„ฑ์„ ์š”์ฒญํ•  **LLM ๋ชจ๋ธ์˜ ์„ ํƒ**์ž…๋‹ˆ๋‹ค.
- ์šฐ๋ฆฌ ํ”„๋กœ์ ํŠธ๋Š” ๊ธฐ๋ณธ์ ์œผ๋กœ **๋กœ์ปฌ Ollama(`llama3.1`)** ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ์ˆ˜๋งŽ์€ ์„ ํƒ์ง€ ์ค‘ ํ•˜๋‚˜์ด๋ฉฐ, ๊ฐ ๋ชจ๋ธ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์žฅ๋‹จ์ ์„ ๊ฐ€์ง‘๋‹ˆ๋‹ค.

  - **์„ฑ๋Šฅ (Performance):** ๋ชจ๋ธ์ด ์–ผ๋งˆ๋‚˜ ๋ณต์žกํ•œ ์ถ”๋ก ์„ ์ž˜ํ•˜๊ณ , ์ง€์‹œ๋ฅผ ์ž˜ ๋”ฐ๋ฅด๋ฉฐ, ์ž์—ฐ์Šค๋Ÿฌ์šด ๋ฌธ์žฅ์„ ๋งŒ๋“œ๋Š”๊ฐ€?
  - **๋น„์šฉ (Cost):** API ํ˜ธ์ถœ์— ์–ผ๋งˆ์˜ ๋น„์šฉ์ด ๋“œ๋Š”๊ฐ€? (๋ณดํ†ต ์ฒ˜๋ฆฌํ•˜๋Š” ํ…์ŠคํŠธ์˜ ์–‘์— ๋”ฐ๋ผ ๊ณผ๊ธˆ๋ฉ๋‹ˆ๋‹ค)
  - **์†๋„ (Speed):** ์š”์ฒญ์„ ๋ณด๋ƒˆ์„ ๋•Œ ๋‹ต๋ณ€์ด ์ƒ์„ฑ๋˜๊ธฐ๊นŒ์ง€ ์–ผ๋งˆ๋‚˜ ๊ฑธ๋ฆฌ๋Š”๊ฐ€?

- **์ฃผ์š” ๋ชจ๋ธ ๋น„๊ต:**

  - **`Ollama` (๋กœ์ปฌ ์˜คํ”ˆ์†Œ์Šค ๋ชจ๋ธ, ์šฐ๋ฆฌ ํ”„๋กœ์ ํŠธ์˜ ๊ธฐ๋ณธ ์„ ํƒ):**
    - **์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ:** `nomic-embed-text` (768์ฐจ์›) - ๊ฒฝ๋Ÿ‰์ด๋ฉด์„œ๋„ ์šฐ์ˆ˜ํ•œ ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•˜๋Š” ์˜คํ”ˆ์†Œ์Šค ์ž„๋ฒ ๋”ฉ ๋ชจ๋ธ
    - **์ฑ„ํŒ… ๋ชจ๋ธ:** `llama3.1` (8B) - Meta์˜ Llama 3 ๊ณ„์—ด. GPT-3.5 ์ˆ˜์ค€์˜ ์„ฑ๋Šฅ์„ ๋กœ์ปฌ์—์„œ ๋ฌด๋ฃŒ๋กœ ์‚ฌ์šฉ ๊ฐ€๋Šฅ. Ollama์—์„œ `llama3.3`, `qwen2.5`, `gemma3` ๋“ฑ ๋‹ค์–‘ํ•œ ์ตœ์‹  ๋ชจ๋ธ๋„ ์„ ํƒ ๊ฐ€๋Šฅ
    - **์žฅ์ :**
      - ์™„์ „ ๋ฌด๋ฃŒ (API ๋น„์šฉ ์—†์Œ)
      - ๋ฐ์ดํ„ฐ ํ”„๋ผ์ด๋ฒ„์‹œ ๋ณด์žฅ (๋กœ์ปฌ์—์„œ ์‹คํ–‰)
      - ์ธํ„ฐ๋„ท ์—ฐ๊ฒฐ ์—†์ด๋„ ๋™์ž‘ ๊ฐ€๋Šฅ
      - ๋ชจ๋ธ์„ ์ง์ ‘ ์ œ์–ดํ•˜๊ณ  ์ปค์Šคํ„ฐ๋งˆ์ด์ง• ๊ฐ€๋Šฅ
    - **๋‹จ์ :**
      - ๋กœ์ปฌ ํ•˜๋“œ์›จ์–ด(CPU/GPU, ๋ฉ”๋ชจ๋ฆฌ) ์„ฑ๋Šฅ์— ์˜์กด
      - ์ดˆ๊ธฐ ๋ชจ๋ธ ๋‹ค์šด๋กœ๋“œ ์‹œ๊ฐ„ ํ•„์š”
      - ํด๋ผ์šฐ๋“œ ๋ชจ๋ธ ๋Œ€๋น„ ์‘๋‹ต ์†๋„๊ฐ€ ๋А๋ฆด ์ˆ˜ ์žˆ์Œ
    - **์‚ฌ์šฉ ์‚ฌ๋ก€:** ํ”„๋ผ์ด๋ฒ„์‹œ๊ฐ€ ์ค‘์š”ํ•œ ๋ฌธ์„œ ์ฒ˜๋ฆฌ, ๊ฐœ๋ฐœ/ํ•™์Šต ํ™˜๊ฒฝ, ๋น„์šฉ ์ ˆ๊ฐ์ด ํ•„์š”ํ•œ ํ”„๋กœ์ ํŠธ

  - **`GPT-4o` / `GPT-4o mini` (by OpenAI, ์„ ํƒ์‚ฌํ•ญ):** ํ˜„์žฌ OpenAI์˜ ์ฃผ๋ ฅ ๋ชจ๋ธ. `GPT-4o`๋Š” ๊ณ ์„ฑ๋Šฅ, `GPT-4o mini`๋Š” ๋น ๋ฅด๊ณ  ์ €๋ ดํ•˜๋ฉด์„œ๋„ ์ถฉ๋ถ„ํ•œ ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•ด RAG ์ž‘์—…์— ๊ฐ€์žฅ ํ•ฉ๋ฆฌ์ ์ธ ํด๋ผ์šฐ๋“œ ์„ ํƒ์ง€์ž…๋‹ˆ๋‹ค. (๊ตฌํ˜• `GPT-3.5-turbo`๋ฅผ ๋Œ€์ฒด)
  - **`o3-mini` / `o1` (by OpenAI):** ๋ณต์žกํ•œ ์ถ”๋ก ์ด ํ•„์š”ํ•œ ์ž‘์—…์— ํŠนํ™”๋œ ์ถ”๋ก  ๋ชจ๋ธ(Reasoning Model). ๋‹จ์ˆœ Q&A๋ณด๋‹ค๋Š” ๋‹ค๋‹จ๊ณ„ ๋…ผ๋ฆฌ ์ถ”๋ก ์ด ํ•„์š”ํ•œ ๊ฒฝ์šฐ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
  - **`Claude 3.7 Sonnet` / `Claude 3.5 Haiku` (by Anthropic):** Anthropic์˜ ์ตœ์‹  ๋ชจ๋ธ. `Claude 3.7 Sonnet`์€ ์ตœ๊ณ  ์„ฑ๋Šฅ, `Claude 3.5 Haiku`๋Š” ๋น ๋ฅด๊ณ  ์ €๋ ดํ•ฉ๋‹ˆ๋‹ค. ๊ธด ๋ฌธ์„œ ์ฒ˜๋ฆฌ์— ๊ฐ•ํ•œ ๋Œ€์šฉ๋Ÿ‰ ์ปจํ…์ŠคํŠธ ์ฐฝ(200K ํ† ํฐ)์ด ํŠน์ง•์ž…๋‹ˆ๋‹ค.
  - **`Gemini 2.0 Flash` (by Google):** ๋น ๋ฅธ ์‘๋‹ต ์†๋„์™€ ๋‚ฎ์€ ๋น„์šฉ์ด ๊ฐ•์ ์ธ Google์˜ ์ตœ์‹  ๊ฒฝ๋Ÿ‰ ๋ชจ๋ธ. ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ(ํ…์ŠคํŠธ+์ด๋ฏธ์ง€) ์ฒ˜๋ฆฌ๋„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

- **์šฐ๋ฆฌ ํ”„๋กœ์ ํŠธ๊ฐ€ `Ollama`๋ฅผ ๊ธฐ๋ณธ์œผ๋กœ ์„ ํƒํ•œ ์ด์œ :**
  - **๋น„์šฉ ํšจ์œจ์„ฑ:** API ํ˜ธ์ถœ ๋น„์šฉ์ด ์ „ํ˜€ ๋ฐœ์ƒํ•˜์ง€ ์•Š์•„ ๊ฐœ๋ฐœ ๋ฐ ํ•™์Šต ๋‹จ๊ณ„์—์„œ ๋ถ€๋‹ด์ด ์—†์Šต๋‹ˆ๋‹ค.
  - **ํ”„๋ผ์ด๋ฒ„์‹œ:** ๋ฏผ๊ฐํ•œ ๋ฌธ์„œ๋ฅผ ์™ธ๋ถ€ ์„œ๋ฒ„๋กœ ์ „์†กํ•˜์ง€ ์•Š๊ณ  ๋กœ์ปฌ์—์„œ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์–ด ๋ณด์•ˆ์ด ๊ฐ•ํ™”๋ฉ๋‹ˆ๋‹ค.
  - **ํ•™์Šต ๋ชฉ์ :** ์˜คํ”ˆ์†Œ์Šค ๋ชจ๋ธ์˜ ๋™์ž‘ ์›๋ฆฌ๋ฅผ ์ง์ ‘ ํ™•์ธํ•˜๊ณ  ์‹คํ—˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  - **์ถฉ๋ถ„ํ•œ ์„ฑ๋Šฅ:** Llama 3.1์€ ๋Œ€๋ถ€๋ถ„์˜ RAG ์ž‘์—…์— ์ถฉ๋ถ„ํ•œ ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

  (์„ ํƒ์‚ฌํ•ญ) ๋ฐฐํฌ ํ™˜๊ฒฝ์—์„œ ๋” ๋†’์€ ์„ฑ๋Šฅ์ด๋‚˜ ์•ˆ์ •์ ์ธ ์‘๋‹ต ์†๋„๊ฐ€ ํ•„์š”ํ•˜๋‹ค๋ฉด `.env`์—์„œ `PROVIDER=openai`๋กœ ์„ค์ •ํ•˜์—ฌ OpenAI ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

<br/>
<br/>

## ๐ŸŽ“ 6. RAG๋ฅผ ๋„˜์–ด์„œ: ํŒŒ์ธํŠœ๋‹์˜ ํ•„์š”์„ฑ

์ง€๊ธˆ๊นŒ์ง€ ์šฐ๋ฆฌ๋Š” RAG๊ฐ€ ์–ด๋–ป๊ฒŒ ์™ธ๋ถ€ ์ง€์‹์„ LLM์— ์ฃผ์ž…ํ•˜์—ฌ ์ •ํ™•ํ•˜๊ณ  ๊ทผ๊ฑฐ ์žˆ๋Š” ๋‹ต๋ณ€์„ ์ƒ์„ฑํ•˜๋Š”์ง€ ์•Œ์•„๋ณด์•˜์Šต๋‹ˆ๋‹ค. RAG๋Š” LLM์—๊ฒŒ '์˜คํ”ˆ๋ถ ํ…Œ์ŠคํŠธ'๋ฅผ ๋ณด๊ฒŒ ํ•˜์—ฌ, ์šฐ๋ฆฌ๊ฐ€ ์ œ๊ณตํ•œ ๋ฌธ์„œ ๋‚ด์—์„œ ๋‹ต์„ ์ฐพ๊ฒŒ ํ•˜๋Š” ๋งค์šฐ ๊ฐ•๋ ฅํ•œ ์ ‘๊ทผ๋ฒ•์ž…๋‹ˆ๋‹ค.

ํ•˜์ง€๋งŒ ๋งŒ์•ฝ ์šฐ๋ฆฌ์˜ ์š”๊ตฌ์‚ฌํ•ญ์ด ๋‹จ์ˆœํžˆ **'๋ฌด์—‡'** ์„ ์•„๋Š” ๊ฒƒ์„ ๋„˜์–ด, **'์–ด๋–ป๊ฒŒ'** ๋งํ•ด์•ผ ํ•˜๋Š”์ง€์— ๋Œ€ํ•œ ๊ฒƒ์ด๋ผ๋ฉด ์–ด๋–จ๊นŒ์š”?

- **ํŠน์ • ๋ธŒ๋žœ๋“œ์˜ ๋ชฉ์†Œ๋ฆฌ:** ๊ณ ๊ฐ ์„œ๋น„์Šค ์ฑ—๋ด‡์ด ํ•ญ์ƒ ํšŒ์‚ฌ์˜ ์ •ํ•ด์ง„ ํ†ค์•ค๋งค๋„ˆ(์นœ๊ทผํ•จ, ์ „๋ฌธ์ ์ž„ ๋“ฑ)๋กœ๋งŒ ๋Œ€๋‹ตํ•ด์•ผ ํ•  ๋•Œ
- **ํŠน์ • ๋ถ„์•ผ์˜ ์ „๋ฌธ ์šฉ์–ด:** ์˜๋ฃŒ AI๊ฐ€ ์ผ๋ฐ˜์ ์ธ ๋‹จ์–ด ๋Œ€์‹ , ์ •ํ™•ํ•œ ์˜ํ•™ ์šฉ์–ด๋ฅผ ์ผ๊ด€๋˜๊ฒŒ ์‚ฌ์šฉํ•ด์•ผ ํ•  ๋•Œ
- **์ •ํ•ด์ง„ ์ถœ๋ ฅ ํ˜•์‹:** ๋ฒ•๋ฅ  AI๊ฐ€ ํ•ญ์ƒ ๊ณ„์•ฝ์„œ์˜ ํŠน์ • ์กฐํ•ญ ํ˜•์‹์— ๋งž์ถฐ ํ…์ŠคํŠธ๋ฅผ ์ƒ์„ฑํ•ด์•ผ ํ•  ๋•Œ

์ด๋Ÿฐ ๊ฒฝ์šฐ, ์šฐ๋ฆฌ๋Š” LLM์—๊ฒŒ ๋‹จ์ˆœํžˆ ์ƒˆ๋กœ์šด '์ง€์‹'์„ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์„ ๋„˜์–ด, LLM์˜ ๊ทผ๋ณธ์ ์ธ **'ํ–‰๋™'์ด๋‚˜ '์Šคํƒ€์ผ' ์ž์ฒด๋ฅผ ๋ณ€ํ™”**์‹œํ‚ค๊ณ  ์‹ถ์Šต๋‹ˆ๋‹ค. RAG๋Š” LLM์—๊ฒŒ '์ฐธ๊ณ  ์ž๋ฃŒ'๋ฅผ ์ฅ์—ฌ์ฃผ๋Š” ๊ฒƒ์ด์ง€๋งŒ, LLM์˜ ๋งํˆฌ๋‚˜ ์‚ฌ๊ณ ๋ฐฉ์‹์„ ๋ฐ”๊พธ์ง€๋Š” ๋ชปํ•ฉ๋‹ˆ๋‹ค.

๋ฐ”๋กœ ์ด ์ง€์ ์—์„œ **ํŒŒ์ธํŠœ๋‹(Fine-tuning)** ์˜ ํ•„์š”์„ฑ์ด ๋Œ€๋‘๋ฉ๋‹ˆ๋‹ค.

ํŒŒ์ธํŠœ๋‹์€ ํŠน์ • ์ž‘์—…์ด๋‚˜ ๋„๋ฉ”์ธ์— ๋งž๋Š” ์ˆ˜๋งŽ์€ '์งˆ๋ฌธ๊ณผ ์ •๋‹ต'(๊ฐ๊ฐ ์ „ํ†ต์ ์ธ ๋จธ์‹ ๋Ÿฌ๋‹์˜ Feature์™€ Label์— ํ•ด๋‹น) ์˜ˆ์‹œ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ง€๊ณ  LLM์„ ์ถ”๊ฐ€๋กœ ํ›ˆ๋ จ์‹œํ‚ค๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค. ์ด๋Š” ๋งˆ์น˜ LLM์„ ํŠน์ • ๋ถ„์•ผ์˜ '์ „๋ฌธ๊ฐ€'๋กœ ๋งŒ๋“ค๊ธฐ ์œ„ํ•œ ์ง‘์ค‘ ํ›ˆ๋ จ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ์šฐ๋ฆฌ๋Š” LLM์ด ๋‹จ์ˆœํžˆ ์ฃผ์–ด์ง„ ์ •๋ณด๋ฅผ ํ™œ์šฉํ•˜๋Š” ๊ฒƒ์„ ๋„˜์–ด, ์šฐ๋ฆฌ๊ฐ€ ์›ํ•˜๋Š” ์Šคํƒ€์ผ๊ณผ ํ˜•์‹์œผ๋กœ ์ƒ๊ฐํ•˜๊ณ  ์‘๋‹ตํ•˜๋„๋ก ๊ทธ '๋ณธ์„ฑ'์„ ๋ฐ”๊ฟ€ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋”ฐ๋ผ์„œ, ๋‹ค์Œ ๋‹จ๊ณ„์—์„œ๋Š” RAG๋กœ ํ•ด๊ฒฐํ•˜๊ธฐ ์–ด๋ ค์šด ๋ฌธ์ œ๋“ค์„ ํŒŒ์ธํŠœ๋‹์„ ํ†ตํ•ด ์–ด๋–ป๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋Š”์ง€ ์•Œ์•„๋ณผ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

<br/>
<br/>

### โš–๏ธ RAG vs ํŒŒ์ธํŠœ๋‹: ์–ธ์ œ ๋ฌด์—‡์„ ์จ์•ผ ํ• ๊นŒ?

| ๊ตฌ๋ถ„               | RAG (๊ฒ€์ƒ‰-์ฆ๊ฐ• ์ƒ์„ฑ)                                      | ํŒŒ์ธํŠœ๋‹ (Fine-tuning)                                         |
| :----------------- | :-------------------------------------------------------- | :------------------------------------------------------------- |
| **๋ชฉํ‘œ**           | LLM์—๊ฒŒ **์ƒˆ๋กœ์šด '์ง€์‹'** ์„ ์ œ๊ณตํ•˜์—ฌ ์‚ฌ์‹ค ๊ธฐ๋ฐ˜ ๋‹ต๋ณ€ ์ƒ์„ฑ | LLM์˜ **'ํ–‰๋™'์ด๋‚˜ '์Šคํƒ€์ผ'** ์„ ํŠน์ • ๋ชฉ์ ์— ๋งž๊ฒŒ ๋ณ€ํ™”         |
| **ํ•ต์‹ฌ ์›๋ฆฌ**      | '์˜คํ”ˆ๋ถ ํ…Œ์ŠคํŠธ' (์™ธ๋ถ€ ์ง€์‹ ์ฐธ์กฐ)                          | '์ „๋ฌธ๊ฐ€ ์ง‘์ค‘ ํ›ˆ๋ จ' (๋ชจ๋ธ์˜ ๋‚ด๋ถ€ ์ง€์‹๊ณผ ํ–‰๋™ ๊ต์ •)              |
| **์ฃผ์š” ์‚ฌ์šฉ ์‚ฌ๋ก€** | ์ตœ์‹  ์ •๋ณด ๋ฐ˜์˜, ์‚ฌ๋‚ด ๋ฌธ์„œ ๊ธฐ๋ฐ˜ Q&A, ํ™˜๊ฐ ํ˜„์ƒ ๊ฐ์†Œ        | ํŠน์ • ํ†ค์•ค๋งค๋„ˆ(๋งํˆฌ) ์ ์šฉ, ์ •ํ•ด์ง„ ํ˜•์‹์œผ๋กœ ์ถœ๋ ฅ, ์ „๋ฌธ ์šฉ์–ด ์‚ฌ์šฉ |
| **์žฅ์ **           | ๋ฐ์ดํ„ฐ ์ถ”๊ฐ€/์ˆ˜์ •์ด ์šฉ์ด, ๋น„์šฉ์ด ์ €๋ ด, ํ™˜๊ฐ์ด ์ ์Œ         | LLM์˜ ๊ทผ๋ณธ์ ์ธ '์„ฑ๊ฒฉ'์„ ๋ฐ”๊ฟ€ ์ˆ˜ ์žˆ์Œ                           |
| **๋‹จ์ **           | LLM์˜ ๋งํˆฌ๋‚˜ ์Šคํƒ€์ผ์€ ๋ฐ”๊พธ์ง€ ๋ชปํ•จ, ๊ฒ€์ƒ‰ ์„ฑ๋Šฅ์— ์˜์กด์      | ๋†’์€ ํ›ˆ๋ จ ๋น„์šฉ๊ณผ ์‹œ๊ฐ„, ์ƒˆ๋กœ์šด ์ง€์‹ ์ถ”๊ฐ€์˜ ์–ด๋ ค์›€, ํ™˜๊ฐ ์œ„ํ—˜์„ฑ  |

๋”ฐ๋ผ์„œ, ๋‹ค์Œ ๋‹จ๊ณ„์—์„œ๋Š” RAG๋กœ ํ•ด๊ฒฐํ•˜๊ธฐ ์–ด๋ ค์šด ๋ฌธ์ œ๋“ค์„ ํŒŒ์ธํŠœ๋‹์„ ํ†ตํ•ด ์–ด๋–ป๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋Š”์ง€ ์•Œ์•„๋ณผ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

<br/>
<br/>

## ๐Ÿ“Š 7. RAG ์‹œ์Šคํ…œ ํ’ˆ์งˆ์„ ์–ด๋–ป๊ฒŒ ์ธก์ •ํ• ๊นŒ?

RAG ํŒŒ์ดํ”„๋ผ์ธ์„ ๋งŒ๋“ค์—ˆ๋‹ค๋ฉด, ์ด์ œ "์ด ์‹œ์Šคํ…œ์ด ์–ผ๋งˆ๋‚˜ ์ž˜ ์ž‘๋™ํ•˜๋Š”๊ฐ€?"๋ฅผ ์ธก์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.
์›น ์„œ๋น„์Šค์— ๋น„์œ ํ•˜๋ฉด, ๊ธฐ๋Šฅ ๊ฐœ๋ฐœ ํ›„ QA ํ…Œ์ŠคํŠธ๋ฅผ ํ•˜๋Š” ๊ฒƒ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

RAG ์‹œ์Šคํ…œ์˜ ํ’ˆ์งˆ์„ ์ธก์ •ํ•˜๋Š” ํ•ต์‹ฌ ์ง€ํ‘œ๋Š” 3๊ฐ€์ง€์ž…๋‹ˆ๋‹ค.

<br/>

### ๐Ÿ“ 7-1. ์ •ํ™•์„ฑ (Correctness)

**"๋‹ต์ด ๋งž๋‚˜์š”?"**

๊ฐ€์žฅ ์ง๊ด€์ ์ธ ์ง€ํ‘œ์ž…๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž๊ฐ€ ์งˆ๋ฌธํ–ˆ์„ ๋•Œ ์‹œ์Šคํ…œ์ด ์˜ณ์€ ๋‹ต์„ ์ฃผ์—ˆ๋Š”์ง€๋ฅผ ์ธก์ •ํ•ฉ๋‹ˆ๋‹ค.

**์ธก์ • ๋ฐฉ๋ฒ• (์ˆ˜๋™ ํ‰๊ฐ€)**

1. ํ…Œ์ŠคํŠธ ์งˆ๋ฌธ 10๊ฐœ๋ฅผ ๋ฏธ๋ฆฌ ๋งŒ๋“ค์–ด๋‘ก๋‹ˆ๋‹ค. (์—…๋กœ๋“œํ•œ ๋ฌธ์„œ์—์„œ ๋‹ต์„ ์ฐพ์„ ์ˆ˜ ์žˆ๋Š” ์งˆ๋ฌธ๋“ค)
2. ๊ฐ ์งˆ๋ฌธ์— ๋Œ€ํ•œ '์ •๋‹ต'์„ ๋ฏธ๋ฆฌ ์ •ํ•ด๋‘ก๋‹ˆ๋‹ค.
3. RAG ์‹œ์Šคํ…œ์ด ๋‚ด๋†“์€ ๋‹ต๋ณ€์„ ์ •๋‹ต๊ณผ ๋น„๊ตํ•˜์—ฌ ๋งž์œผ๋ฉด 1์ , ํ‹€๋ฆฌ๋ฉด 0์ ์„ ์ค๋‹ˆ๋‹ค.
4. ์ •ํ™•์„ฑ(%) = (์ •๋‹ต ์ˆ˜ / ์ „์ฒด ์งˆ๋ฌธ ์ˆ˜) ร— 100

**์˜ˆ์‹œ**

| ์งˆ๋ฌธ | ์ •๋‹ต | ์‹œ์Šคํ…œ ๋‹ต๋ณ€ | ํŒ์ • |
|---|---|---|---|
| "์ด ๊ณ„์•ฝ์„œ์˜ ๋งŒ๋ฃŒ์ผ์€?" | 2026๋…„ 3์›” 31์ผ | "2026๋…„ 3์›” 31์ผ์ž…๋‹ˆ๋‹ค." | โœ… ์ •๋‹ต |
| "๊ณ„์•ฝ ๊ฐฑ์‹  ์กฐ๊ฑด์€?" | 90์ผ ์ „ ์„œ๋ฉด ํ†ต๋ณด | "60์ผ ์ „์— ํ†ต๋ณดํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค." | โŒ ์˜ค๋‹ต |

<br/>

### ๐Ÿ“ 7-2. ๊ทผ๊ฑฐ์„ฑ (Faithfulness)

**"๋ฌธ์„œ๋ฅผ ๋ณด๊ณ  ๋‹ตํ–ˆ๋‚˜์š”, ์•„๋‹ˆ๋ฉด ์ง€์–ด๋ƒˆ๋‚˜์š”?"**

์ •ํ™•์„ฑ๊ณผ ๋‹ค๋ฅธ ๊ฐœ๋…์ž…๋‹ˆ๋‹ค. ๋‹ต์ด '๋งž๋”๋ผ๋„' ๋ฌธ์„œ๊ฐ€ ์•„๋‹Œ LLM์˜ ํ•™์Šต ๋ฐ์ดํ„ฐ์—์„œ ๋‚˜์˜จ ๋‹ต์ด๋ผ๋ฉด, ์ด ์ง€ํ‘œ๋Š” ๋‚ฎ์Šต๋‹ˆ๋‹ค. ์ด๊ฒƒ์ด RAG๋ฅผ ๋„์ž…ํ•œ ํ•ต์‹ฌ ์ด์œ ๋ฅผ ์ ๊ฒ€ํ•˜๋Š” ์ง€ํ‘œ์ž…๋‹ˆ๋‹ค.

์˜คํ”ˆ๋ถ ์‹œํ—˜์— ๋น„์œ ํ•˜๋ฉด, '์ฑ…์„ ๋ณด๊ณ  ๋‹ต์„ ์ผ๋Š”๊ฐ€'๋ฅผ ํ™•์ธํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ •๋‹ต์„ ์•Œ๊ณ  ์žˆ์–ด์„œ ์ฑ…์„ ์•ˆ ๋ณด๊ณ  ์ผ๋”๋ผ๋„, ์˜คํ”ˆ๋ถ ์‹œํ—˜์˜ ์ทจ์ง€์—๋Š” ์–ด๊ธ‹๋‚ฉ๋‹ˆ๋‹ค.

**์ธก์ • ๋ฐฉ๋ฒ• (์ˆ˜๋™ ํ‰๊ฐ€)**

1. ์‹œ์Šคํ…œ์˜ ๋‹ต๋ณ€๊ณผ ํ•จ๊ป˜ '์–ด๋–ค ์ฒญํฌ๋ฅผ ๊ทผ๊ฑฐ๋กœ ์‚ฌ์šฉํ–ˆ๋Š”์ง€'๋ฅผ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. (sources ํ•„๋“œ)
2. ๋‹ต๋ณ€ ๋‚ด์šฉ์ด ์‹ค์ œ๋กœ ๊ทธ ์ฒญํฌ์—์„œ ์™”๋Š”์ง€ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.
3. ์ฒญํฌ์— ์—†๋Š” ๋‚ด์šฉ์ด ๋‹ต๋ณ€์— ํฌํ•จ๋˜์–ด ์žˆ์œผ๋ฉด ๊ทผ๊ฑฐ์„ฑ โŒ

**์˜ˆ์‹œ**

```
์ฒญํฌ ๋‚ด์šฉ: "๊ณ„์•ฝ ๊ธฐ๊ฐ„์€ 2026๋…„ 1์›” 1์ผ๋ถ€ํ„ฐ 2026๋…„ 12์›” 31์ผ๊นŒ์ง€์ด๋‹ค."

์‹œ์Šคํ…œ ๋‹ต๋ณ€: "๊ณ„์•ฝ ๊ธฐ๊ฐ„์€ 2026๋…„ 1์›” 1์ผ๋ถ€ํ„ฐ 2026๋…„ 12์›” 31์ผ๊นŒ์ง€์ด๋ฉฐ,
             ์ž๋™ ๊ฐฑ์‹  ์˜ต์…˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค."

โ†’ '์ž๋™ ๊ฐฑ์‹ '์€ ์ฒญํฌ์— ์—†๋Š” ๋‚ด์šฉ โ†’ ๊ทผ๊ฑฐ์„ฑ โŒ (LLM์ด ์ง€์–ด๋‚ธ ๊ฒƒ)
```

<br/>

### ๐Ÿšซ 7-3. ์‘๋‹ต ์‹คํŒจ์œจ (Failure Rate)

**"๋‹ต์„ ์•„์˜ˆ ๋ชป ํ–ˆ๋‚˜์š”?"**

์‹œ์Šคํ…œ์ด ์—๋Ÿฌ๋ฅผ ๋‚ด๊ฑฐ๋‚˜, ํƒ€์ž„์•„์›ƒ์ด ๋˜๊ฑฐ๋‚˜, ๋นˆ ์‘๋‹ต์„ ๋ฐ˜ํ™˜ํ•œ ๋น„์œจ์ž…๋‹ˆ๋‹ค. ์‹œ์Šคํ…œ์˜ ์•ˆ์ •์„ฑ์„ ๋‚˜ํƒ€๋ƒ…๋‹ˆ๋‹ค.

์‘๋‹ต ์‹คํŒจ์œจ(%) = (์—๋Ÿฌ + ํƒ€์ž„์•„์›ƒ + ๋ฌด์‘๋‹ต ์ˆ˜ / ์ „์ฒด ์งˆ๋ฌธ ์ˆ˜) ร— 100

<br/>

### ๐Ÿ” 7-4. ์„ธ ๊ฐ€์ง€ ์ง€ํ‘œ๋ฅผ ํ•จ๊ป˜ ๋ณด๋Š” ๋ฐฉ๋ฒ•

์ด 3๊ฐ€์ง€ ์ง€ํ‘œ๋ฅผ ํ•จ๊ป˜ ๋ณด๋ฉด "์–ด๋””์„œ ๋ฌธ์ œ๊ฐ€ ์ƒ๊ธฐ๋Š”์ง€" ์ง„๋‹จํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

| ์ •ํ™•์„ฑ | ๊ทผ๊ฑฐ์„ฑ | ์˜์‹ฌ ์›์ธ ๋ฐ ์กฐ์น˜ ๋ฐฉํ–ฅ |
|---|---|---|
| ๋‚ฎ์Œ | ๋‚ฎ์Œ | ๊ฒ€์ƒ‰๋œ ์ฒญํฌ ์ž์ฒด๊ฐ€ ๊ด€๋ จ ์—†์Œ โ†’ `chunk_size`, `top-k` ์กฐ์ • |
| ๋†’์Œ | ๋‚ฎ์Œ | LLM์ด ๋ฌธ์„œ ์™ธ ๋‚ด์šฉ์„ ์ง€์–ด๋ƒ„ โ†’ ์‹œ์Šคํ…œ ํ”„๋กฌํ”„ํŠธ ๊ฐ•ํ™” |
| ๋‚ฎ์Œ | ๋†’์Œ | ๊ด€๋ จ ์ฒญํฌ๋ฅผ ๋ชป ์ฐพ์Œ โ†’ ์ฒญํฌ๊ฐ€ ๋„ˆ๋ฌด ์ž‘๊ฑฐ๋‚˜ ๋ฌธ์„œ ๊ตฌ์กฐ ๋ฌธ์ œ |
| ๋†’์Œ | ๋†’์Œ | โœ… ์ž˜ ์ž‘๋™ ์ค‘ |

> ๐Ÿ“Œ ํ˜„์žฌ ํ”„๋กœ์ ํŠธ์—์„œ๋Š” ์ด ์ง€ํ‘œ๋ฅผ **์ˆ˜๋™์œผ๋กœ** ์ธก์ •ํ•ฉ๋‹ˆ๋‹ค.
> ์‹ค์ œ ํ”„๋กœ๋•์…˜ ํ™˜๊ฒฝ์—์„œ๋Š” [RAGAS](https://github.com/explodinggradients/ragas) ๊ฐ™์€ ์ž๋™ํ™” ํ‰๊ฐ€ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์‚ฌ์šฉํ•˜๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค. ๊ด€์‹ฌ ์žˆ๋‹ค๋ฉด ์กฐ์‚ฌํ•ด๋ณด์„ธ์š”.

<br/>
<br/>

## ๐Ÿ” 8. ๋ฉ€ํ‹ฐํ„ด ๋Œ€ํ™”์™€ Query Rewriting

### ๋ฌธ์ œ: ๋Œ€ํ™” ๋งฅ๋ฝ์ด ๋Š์–ด์ง€๋Š” RAG

๊ธฐ๋ณธ RAG ์‹œ์Šคํ…œ์€ ์งˆ๋ฌธ ํ•˜๋‚˜๋ฅผ ๋…๋ฆฝ์ ์œผ๋กœ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.
๊ทธ๋Ÿฐ๋ฐ ์‚ฌ๋žŒ์€ ๋Œ€ํ™”๋ฅผ ์ด์–ด๊ฐ€๋ฉด์„œ ์ด์ „ ๋งฅ๋ฝ์„ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ์ฐธ์กฐํ•ฉ๋‹ˆ๋‹ค.

๋‹ค์Œ ๋Œ€ํ™”๋ฅผ ๋ณด์„ธ์š”.

```
์‚ฌ์šฉ์ž: "๊ณ„์•ฝ์„œ์˜ ๋งŒ๋ฃŒ์ผ์ด ์–ธ์ œ์•ผ?"
์‹œ์Šคํ…œ: "2026๋…„ 3์›” 31์ผ์ž…๋‹ˆ๋‹ค."
์‚ฌ์šฉ์ž: "๊ทธ๋Ÿผ ๊ทธ ์ „์— ๊ฐฑ์‹ ํ•˜๋ ค๋ฉด ์–ด๋–ป๊ฒŒ ํ•ด์•ผ ํ•ด?"  โ† "๊ทธ"๊ฐ€ ๋ฌด์—‡์ธ์ง€ ์‹œ์Šคํ…œ์ด ๋ชจ๋ฆ„
```

๋‘ ๋ฒˆ์งธ ์งˆ๋ฌธ "๊ทธ ์ „์— ๊ฐฑ์‹ ํ•˜๋ ค๋ฉด"์—์„œ "๊ทธ"๋Š” ๋งŒ๋ฃŒ์ผ(2026๋…„ 3์›” 31์ผ)์„ ๊ฐ€๋ฆฌํ‚ต๋‹ˆ๋‹ค.
ํ•˜์ง€๋งŒ ๊ธฐ๋ณธ RAG๋Š” ๊ฐ ์งˆ๋ฌธ์„ ๋…๋ฆฝ์ ์œผ๋กœ ์ž„๋ฒ ๋”ฉํ•˜๊ธฐ ๋•Œ๋ฌธ์—, "๊ทธ ์ „์— ๊ฐฑ์‹ ํ•˜๋ ค๋ฉด ์–ด๋–ป๊ฒŒ ํ•ด์•ผ ํ•ด?"๋ฅผ ๊ทธ๋Œ€๋กœ ๋ฒกํ„ฐ๋กœ ๋ณ€ํ™˜ํ•ฉ๋‹ˆ๋‹ค. "๊ทธ"๊ฐ€ ๋ฌด์—‡์ธ์ง€ ๋ชจ๋ฅด๋Š” ์ƒํƒœ์—์„œ ๊ฒ€์ƒ‰ํ•˜๋ฉด ์—‰๋šฑํ•œ ์ฒญํฌ๋ฅผ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

<br/>

### ํ•ด๊ฒฐ์ฑ…: Query Rewriting (์งˆ๋ฌธ ์žฌ์ž‘์„ฑ)

**ํ•ต์‹ฌ ์•„์ด๋””์–ด:** ์‚ฌ์šฉ์ž์˜ ์งˆ๋ฌธ์„ ๊ทธ๋Œ€๋กœ ์‚ฌ์šฉํ•˜๋Š” ๋Œ€์‹ , ์ด์ „ ๋Œ€ํ™” ๋งฅ๋ฝ์„ ๋ฐ˜์˜ํ•˜์—ฌ ๋…๋ฆฝ์ ์œผ๋กœ ์ดํ•ด ๊ฐ€๋Šฅํ•œ ์งˆ๋ฌธ์œผ๋กœ LLM์ด ๋จผ์ € ์žฌ์ž‘์„ฑํ•ฉ๋‹ˆ๋‹ค.

```
[๋Œ€ํ™” ํžˆ์Šคํ† ๋ฆฌ]
์‚ฌ์šฉ์ž: "๊ณ„์•ฝ์„œ์˜ ๋งŒ๋ฃŒ์ผ์ด ์–ธ์ œ์•ผ?"
์‹œ์Šคํ…œ: "2026๋…„ 3์›” 31์ผ์ž…๋‹ˆ๋‹ค."

[์›๋ณธ ์งˆ๋ฌธ]
"๊ทธ๋Ÿผ ๊ทธ ์ „์— ๊ฐฑ์‹ ํ•˜๋ ค๋ฉด ์–ด๋–ป๊ฒŒ ํ•ด์•ผ ํ•ด?"

[์žฌ์ž‘์„ฑ๋œ ์งˆ๋ฌธ โ€” LLM์ด ์ƒ์„ฑ]
"๊ณ„์•ฝ์„œ ๋งŒ๋ฃŒ์ผ(2026๋…„ 3์›” 31์ผ) ์ด์ „์— ๊ณ„์•ฝ์„ ๊ฐฑ์‹ ํ•˜๋ ค๋ฉด ์–ด๋–ค ์ ˆ์ฐจ๊ฐ€ ํ•„์š”ํ•œ๊ฐ€?"
```

์ด๋ ‡๊ฒŒ ์žฌ์ž‘์„ฑ๋œ ์งˆ๋ฌธ์„ ์ž„๋ฒ ๋”ฉํ•˜๋ฉด, ๊ด€๋ จ ์ฒญํฌ๋ฅผ ํ›จ์”ฌ ์ •ํ™•ํ•˜๊ฒŒ ๊ฒ€์ƒ‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

<br/>

### ์›Œํฌํ”Œ๋กœ์šฐ ๋น„๊ต

| ๊ตฌ๋ถ„ | ๊ธฐ๋ณธ RAG | Query Rewriting ์ ์šฉ |
|---|---|---|
| ์ž…๋ ฅ | ํ˜„์žฌ ์งˆ๋ฌธ๋งŒ ์ž„๋ฒ ๋”ฉ | ๋Œ€ํ™” ํžˆ์Šคํ† ๋ฆฌ + ํ˜„์žฌ ์งˆ๋ฌธ โ†’ LLM ์žฌ์ž‘์„ฑ โ†’ ์žฌ์ž‘์„ฑ๋œ ์งˆ๋ฌธ ์ž„๋ฒ ๋”ฉ |
| ์žฅ์  | ๋‹จ์ˆœ, ๋น ๋ฆ„ | ๋ฉ€ํ‹ฐํ„ด ๋งฅ๋ฝ ์œ ์ง€ |
| ๋‹จ์  | ๋งฅ๋ฝ ์ฐธ์กฐ ๋ถˆ๊ฐ€ | LLM ํ˜ธ์ถœ 1ํšŒ ์ถ”๊ฐ€ (์ง€์—ฐ ์ฆ๊ฐ€) |

> ๐Ÿ“Œ ํ˜„์žฌ ํ”„๋กœ์ ํŠธ์˜ `/qa` ์—”๋“œํฌ์ธํŠธ **Deep Dive** ํ•ญ๋ชฉ์ž…๋‹ˆ๋‹ค.
> ๊ธฐ๋ณธ ๊ตฌํ˜„์„ ์™„์„ฑํ•œ ํ›„, ๋Œ€ํ™” ํžˆ์Šคํ† ๋ฆฌ๋ฅผ `messages` ๋ฆฌ์ŠคํŠธ๋กœ ๊ด€๋ฆฌํ•˜๋ฉด์„œ Query Rewriting์„ ์ ์šฉํ•ด๋ณด์„ธ์š”.