잘난 척을 위한 한 줄 요약KV Cache는 LLM이 답변을 한 토큰씩 만들 때마다 이전 토큰들의 Key와 Value 계산 결과를 저장해두는 장치로, 속도를 빠르게 만드는 대신 GPU 메모리를 크게 잡아먹는 LLM 추론의 핵심 병목이다. KV Cache란 무엇인가? LLM은 왜 이전 계산을 저장해두고 답변할까?먼저, KV Cache가 뭔지부터KV Cache는 Key-Value Cache의 줄임말이다.LLM이 문장을 생성할 때 Transformer의 어텐션 계산에서 사용되는 Key와 Value 벡터를 저장해두는 캐시를 뜻한다. 여기서 캐시는 “나중에 다시 쓰기 위해 저장해두는 임시 기억 공간”이다. 예를 들어 ChatGPT 같은 언어모델이 답변을 만들 때는 문장을 한 번에 통째로 완성하는 것이 아니라, 보..