잘난 척을 위한 한 줄 요약청크 분할 전략이 “문서를 어떻게 잘라 검색 가능한 단위로 만들 것인가”의 문제라면, 임베딩 전략은 그 조각들을 AI가 의미적으로 찾을 수 있는 좌표로 어떻게 바꿀 것인가의 문제다. 청크 분할 전략과 임베딩 전략, RAG 품질은 왜 문서 자르는 방식에서 갈릴까?먼저, 청크 분할과 임베딩이 뭔지부터RAG 시스템을 만들 때 가장 먼저 부딪히는 문제가 있다. 문서가 너무 길다는 것이다. PDF 한 권, 사내 매뉴얼, 회의록 묶음, 법령집, 논문, 고객 상담 기록을 그대로 LLM에게 넣기는 어렵다. 넣을 수 있다고 해도 비용이 많이 들고, 검색 정확도도 떨어질 수 있다. 그래서 문서를 작은 단위로 나눈다. 이 작은 단위를 청크(chunk)라고 한다. 청크 분할 전략(chunking s..
