잘난 척을 위한 한 줄 요약
친칠라 법칙은 거대 언어모델을 잘 만들려면 모델 크기만 키우지 말고, 그 크기에 맞는 충분한 학습 데이터도 함께 늘려야 한다는 스케일링 법칙이다.
친칠라 법칙, AI 모델은 왜 무작정 크게 만든다고 좋아지지 않을까?
먼저, 이 개념이 뭔지부터
친칠라 법칙(Chinchilla Scaling Law)은 대규모 언어모델, 즉 LLM을 학습할 때 모델의 파라미터 수와 학습 데이터 양을 어떻게 배분해야 가장 효율적인가를 설명하는 경험 법칙이다.
이름이 조금 특이하다. 친칠라는 원래 작은 설치류 동물 이름이다. 그런데 AI 분야에서 말하는 친칠라는 영국 DeepMind가 2022년에 발표한 언어모델 이름이다. 이 모델을 만들면서 나온 연구 결과가 이후 친칠라 스케일링 법칙으로 불리게 되었다.
핵심은 간단하다.
예전에는 “모델을 크게 만들수록 성능이 좋아진다”는 생각이 강했다. GPT-3처럼 수천억 개 파라미터를 가진 모델이 등장하면서, 많은 사람들이 모델 크기 자체에 주목했다.
그런데 DeepMind 연구진은 이렇게 물었다.
“정말 모델만 크게 만들면 최선일까?”
“같은 계산 예산이 있다면, 모델 크기와 학습 데이터 양을 어떻게 나누는 게 가장 좋을까?”
“혹시 기존 대형 모델들은 너무 크고, 데이터는 충분히 먹지 못한 상태였던 것 아닐까?”
DeepMind의 논문 「Training Compute-Optimal Large Language Models」는 제한된 학습 계산량 안에서 최적의 모델 크기와 학습 토큰 수를 찾기 위해 70M부터 16B 이상 파라미터 모델을 5B~500B 토큰으로 학습해 분석했다. 연구진은 계산 최적 관점에서 모델 크기와 학습 토큰 수가 함께 비슷한 비율로 커져야 한다고 결론 내렸다.
쉽게 말하면 친칠라 법칙은 이런 말이다.
큰 모델을 조금만 공부시키는 것보다, 적당히 큰 모델을 충분히 많이 공부시키는 것이 더 좋을 수 있다.
파라미터와 토큰부터 이해하자
친칠라 법칙을 이해하려면 먼저 두 단어를 알아야 한다. 파라미터와 토큰이다.
파라미터
파라미터는 AI 모델 내부에 있는 조정 가능한 숫자들이다. 사람으로 비유하면 기억과 판단 패턴이 저장된 내부 연결값에 가깝다.
파라미터가 많으면 모델이 더 복잡한 패턴을 담을 수 있다. 그래서 일반적으로 파라미터 수가 큰 모델은 더 많은 표현 능력을 가진다.
하지만 파라미터가 많다고 무조건 똑똑해지는 것은 아니다. 큰 노트가 있다고 공부를 잘하는 것은 아닌 것과 비슷하다. 그 노트에 충분히 좋은 내용을 많이 쓰고, 제대로 학습해야 의미가 있다.
토큰
토큰은 언어모델이 학습하거나 처리하는 텍스트의 기본 단위다. 단어일 수도 있고, 단어 조각일 수도 있고, 문장부호일 수도 있다.
예를 들어 “나는 밥을 먹었다”라는 문장은 모델의 토크나이저에 따라 여러 개의 토큰으로 쪼개진다. LLM은 이 토큰들을 대량으로 보면서 언어 패턴을 배운다.
즉, 파라미터가 모델의 용량이라면, 토큰은 모델이 먹는 학습 자료다.
친칠라 법칙의 질문은 바로 이것이
모델 용량을 얼마나 키우고, 학습 자료를 얼마나 먹여야 가장 효율적인가?
기존 대형 모델의 문제: 너무 큰데 덜 배웠다
친칠라 법칙이 충격적이었던 이유는 기존 대형 언어모델의 학습 방식에 문제를 제기했기 때문이다.
당시 많은 대형 모델은 파라미터 수를 크게 늘리는 데 집중했다. 예를 들어 DeepMind의 이전 모델인 Gopher는 280B 파라미터 규모였다. GPT-3는 175B 파라미터로 알려져 있다. 매우 큰 모델이었다.
그런데 친칠라 연구진은 기존 대형 모델들이 compute-optimal, 즉 주어진 계산량 기준으로 최적으로 학습된 것이 아니라고 봤다. 모델은 너무 컸고, 그에 비해 학습 데이터는 부족했다는 것이다.
DeepMind 블로그는 Chinchilla가 70B 파라미터 모델이고 1.3T 토큰으로 학습되었으며, Gopher와 같은 계산 예산을 사용했지만 더 작은 모델에 훨씬 많은 데이터를 학습시키는 방식으로 성능을 높였다고 설명한다.
논문 초록도 Chinchilla가 Gopher와 같은 계산 예산을 사용하면서 70B 파라미터와 약 4배 더 많은 데이터로 학습되었고, Gopher 280B, GPT-3 175B, Jurassic-1 178B, Megatron-Turing NLG 530B보다 여러 평가에서 더 좋은 성능을 보였다고 보고한다.
이게 핵심이다.
더 큰 모델이 항상 이긴 것이 아니었다.
더 잘 배운 모델이 이겼다.
친칠라 법칙의 핵심: 모델과 데이터를 같이 키워라
친칠라 법칙은 흔히 이렇게 요약된다.
계산 예산이 늘어나면 모델 크기와 학습 데이터 양을 함께 늘려야 한다.
논문에서는 계산 최적 학습을 위해 모델 크기를 두 배로 늘릴 때 학습 토큰 수도 두 배로 늘리는 것이 좋다고 제안했다.
더 실무적인 표현으로는 “파라미터 하나당 약 20개 토큰 정도가 필요하다”는 식으로 자주 설명된다. Epoch AI의 2024년 복제 시도 글도 Chinchilla 모델이 70B 파라미터에 약 1.4T 토큰으로 학습되어, 파라미터당 약 20토큰 비율을 가졌고 이 때문에 해당 스케일링 법칙이 Chinchilla scaling laws라고 불린다고 정리한다.
물론 이 숫자를 절대적인 자연법칙처럼 외우면 곤란하다. 데이터 품질, 모델 구조, 학습 방식, 토크나이저, 반복 학습 여부, 도메인, 목표 성능에 따라 최적 비율은 달라질 수 있다.
그래도 큰 방향은 분명하다.
모델만 키우는 전략은 비효율적일 수 있다.
모델 크기와 데이터 양의 균형이 중요하다.
왜 이런 일이 생길까
모델을 학생에 비유해보자.
파라미터가 많다는 것은 머릿속에 저장할 수 있는 공간이 크다는 뜻에 가깝다. 그런데 아무리 머리가 좋아도 공부한 자료가 부족하면 실력이 충분히 늘지 않는다.
반대로 학습 데이터가 많아도 모델이 너무 작으면 그 데이터를 충분히 흡수하지 못한다. 작은 그릇에 너무 많은 물을 부으면 넘치는 것과 비슷하다.
그래서 적절한 균형이 필요하다.
- 모델이 너무 작고 데이터가 너무 많으면: 모델 용량이 부족해 패턴을 다 담지 못한다.
- 모델이 너무 크고 데이터가 너무 적으면: 모델이 충분히 학습되지 못한다.
- 모델 크기와 데이터가 균형을 이루면: 같은 계산 예산에서 더 좋은 성능을 얻을 수 있다.
친칠라 법칙은 이 균형점을 찾으려는 시도다.
계산 최적이라는 말의 의미
친칠라 법칙에서 중요한 표현이 compute-optimal, 즉 계산 최적이다.
여기서 최적이라는 말은 “세상에서 가장 좋은 모델”이라는 뜻이 아니다. 정해진 학습 계산량 안에서 가장 효율적인 조합이라는 뜻이다.
예를 들어 예산이 정해져 있다고 해보자.
GPU를 100일 동안 쓸 수 있다.
전기요금과 장비비도 제한되어 있다.
이 안에서 모델을 학습해야 한다.
이때 선택지가 있다.
- 아주 큰 모델을 만들고 데이터를 적게 학습시킨다.
- 중간 크기 모델을 만들고 데이터를 많이 학습시킨다.
- 작은 모델을 만들고 데이터를 아주 많이 학습시킨다.
친칠라 법칙은 이 중 어느 쪽이 계산 예산을 가장 잘 쓰는지 찾는다. DeepMind 연구는 당시 많은 대형 모델들이 1번에 가까웠고, 더 작은 모델에 더 많은 데이터를 학습시키는 2번 전략이 더 나을 수 있다고 보여줬다.
즉, 친칠라 법칙의 진짜 메시지는 “작은 모델이 무조건 좋다”가 아니다.
같은 계산비용이라면 모델 크기와 데이터 양의 균형을 맞춰야 한다는 뜻이다.
친칠라와 고퍼 비교가 중요한 이유
친칠라 법칙을 설명할 때 자주 나오는 비교가 Chinchilla vs Gopher다.
Gopher는 DeepMind가 이전에 만든 280B 파라미터 모델이다. Chinchilla는 70B 파라미터 모델이다. 파라미터 수만 보면 Chinchilla는 Gopher의 4분의 1 정도다.
그런데 Chinchilla는 더 많은 데이터로 학습되었다. 논문은 Chinchilla가 Gopher와 동일한 계산 예산을 사용하면서 더 작은 모델과 더 많은 학습 데이터를 조합했고, 다양한 다운스트림 평가에서 Gopher보다 더 좋은 성능을 냈다고 보고했다.
이 비교가 중요한 이유는 간단하다.
우리는 흔히 “모델이 클수록 좋다”고 생각한다.
그런데 Chinchilla는 “크기보다 학습 균형이 더 중요할 수 있다”고 보여줬다.
비유하자면 이렇다.
Gopher는 큰 책가방을 가진 학생이다.
Chinchilla는 조금 작은 책가방을 가졌지만, 훨씬 더 많은 문제를 풀고 공부했다.
결과적으로 시험은 Chinchilla가 더 잘 봤다.
이 사례 때문에 AI 업계에서는 모델 크기 경쟁만큼이나 학습 데이터 양과 품질, 학습 효율을 중요하게 보게 되었다.
친칠라 법칙이 바꾼 LLM 개발 전략
친칠라 법칙 이후 LLM 개발의 초점은 조금 달라졌다.
이전에는 “파라미터 수가 몇 개인가”가 가장 큰 관심사였다. 175B, 280B, 530B처럼 숫자가 클수록 강력한 모델처럼 보였다.
하지만 친칠라 법칙 이후에는 이런 질문이 더 중요해졌다.
그 모델은 얼마나 많은 토큰으로 학습되었는가?
학습 데이터 품질은 어떤가?
같은 계산량에서 더 효율적인 모델 크기는 무엇인가?
추론 비용까지 고려하면 너무 큰 모델이 정말 좋은가?
작지만 충분히 학습된 모델이 더 실용적이지 않은가?
특히 기업 입장에서는 추론 비용도 중요하다. 모델이 너무 크면 한 번 답변을 생성하는 데 드는 비용과 시간이 커진다. 반대로 적절한 크기의 모델을 충분히 학습시키면 성능을 유지하면서 운영 비용을 낮출 수 있다.
논문도 Chinchilla가 더 작은 모델이기 때문에 파인튜닝과 추론에서 필요한 계산량이 줄어 downstream usage가 쉬워진다고 설명한다.
즉, 친칠라 법칙은 연구용 대형 모델뿐 아니라 실제 서비스형 AI 모델에도 영향을 주었다.
데이터가 많으면 무조건 좋은가
여기서 조심해야 한다. 친칠라 법칙이 “데이터를 많이 넣으면 된다”는 뜻은 아니다.
데이터에는 양뿐 아니라 품질이 있다.
낮은 품질의 데이터를 많이 넣으면 모델이 쓸모없는 패턴을 배울 수 있다. 중복 데이터가 너무 많으면 새로운 정보를 배우는 효과가 줄어든다. 편향된 데이터는 모델의 편향을 키울 수 있다. 저작권이나 개인정보 문제가 있는 데이터는 법적·윤리적 리스크를 만든다.
그래서 친칠라 법칙 이후 중요한 질문은 단순히 “토큰을 얼마나 많이 넣었나”가 아니다.
어떤 데이터를 넣었나?
중복은 제거했나?
품질 필터링은 했나?
도메인 균형은 맞췄나?
위험한 데이터는 걸렀나?
최신 정보와 오래된 정보의 비율은 어떤가?
모델은 많이 읽는 것도 중요하지만, 무엇을 읽는지도 중요하다.
그래서 최근 LLM 개발에서는 데이터 큐레이션, 합성 데이터, 고품질 도메인 데이터, 필터링, 데이터 혼합 비율이 매우 중요한 주제가 되었다.
친칠라 법칙과 작은 모델의 부상
친칠라 법칙은 “작은 모델도 충분히 강해질 수 있다”는 흐름과도 연결된다.
물론 최첨단 범용 모델은 여전히 거대한 계산 자원을 필요로 한다. 하지만 모든 서비스가 가장 큰 모델을 필요로 하는 것은 아니다.
고객 상담
문서 요약
사내 검색
코딩 보조
교육용 튜터
특정 산업 문서 분석
온디바이스 AI
개인화 챗봇
이런 분야에서는 적당한 크기의 모델을 특정 데이터로 잘 학습하거나 파인튜닝하는 전략이 더 효율적일 수 있다.
친칠라 법칙이 알려준 것은 “크면 무조건 좋다”가 아니라 “예산과 목적에 맞는 크기와 데이터 조합이 중요하다”는 점이다.
그래서 요즘 AI 개발은 초거대 모델 하나만 보는 것이 아니라, 다음과 같은 방향으로 나뉜다.
- 초대형 범용 모델
- 중간 크기의 고성능 모델
- 특정 업무에 최적화된 소형 모델
- 온디바이스 모델
- 여러 전문가 모델을 조합하는 MoE 모델
- 추론 시 계산을 더 쓰는 reasoning 모델
즉, 친칠라 법칙은 AI 모델 개발을 더 현실적인 최적화 문제로 보게 만들었다.
친칠라 법칙과 스케일링 법칙
친칠라 법칙은 더 큰 흐름인 스케일링 법칙(scaling laws)의 한 종류다.
스케일링 법칙은 모델 크기, 데이터 양, 계산량을 늘리면 성능이 어떻게 변하는지를 경험적으로 설명하는 법칙이다. AI 개발자는 스케일링 법칙을 통해 “얼마나 큰 모델을 만들면 어느 정도 성능이 나올지”를 예측하려 한다.
친칠라 이전에도 OpenAI의 scaling law 연구가 있었다. 하지만 친칠라 연구는 특히 정해진 계산 예산에서 모델 크기와 데이터 양을 어떻게 배분해야 하는가에 초점을 맞췄다.
즉, 일반적인 스케일링 법칙이 “키우면 좋아진다”를 보여준다면, 친칠라 법칙은 “어떻게 균형 있게 키워야 하는가”를 보여준 것이다.
이 차이가 중요하다.
무작정 키우는 것은 돈이 많이 든다.
균형 있게 키우는 것은 같은 돈으로 더 좋은 성능을 낸다.
그래서 친칠라 법칙은 AI 연구뿐 아니라 AI 기업의 투자 전략, 데이터센터 수요, 반도체 수요, 학습 비용 예측에도 영향을 주는 개념이 되었다.
친칠라 법칙은 지금도 유효할까
친칠라 법칙은 여전히 중요한 기준점이지만, 절대적인 최종 법칙은 아니다. AI 개발 방식이 계속 바뀌고 있기 때문이다.
최근에는 다음과 같은 변화가 있다.
첫째, 추론 시 계산량(test-time compute)이 중요해졌다. 모델이 답변을 만들 때 더 오래 생각하거나 여러 단계를 거치는 방식이다. 이런 reasoning 모델은 사전학습 계산량만으로 성능을 설명하기 어렵다.
둘째, Mixture of Experts, MoE 구조가 많이 쓰인다. 전체 모델은 매우 크지만, 실제 답변 때는 일부 전문가 모듈만 사용하는 방식이다. 이 경우 단순한 전체 파라미터 수와 토큰 수 비율만으로 효율을 판단하기 어렵다.
셋째, 합성 데이터와 데이터 재사용 문제가 중요해졌다. 사람이 만든 고품질 텍스트가 부족해질 수 있기 때문에 모델이 만든 데이터를 다시 학습에 활용하는 전략이 등장했다.
넷째, 데이터 품질이 더 중요해졌다. 같은 토큰 수라도 고품질 데이터와 저품질 데이터의 학습 효과는 다르다.
2025년 Business Insider는 AI 업계에서 Chinchilla식 대규모 사전학습 전략이 앞으로도 계속될지에 대한 논쟁을 다루며, reasoning 모델, MoE, 합성 데이터 같은 변화가 기존 Chinchilla 패러다임을 바꿀 수 있다고 보도했다.
그러므로 친칠라 법칙은 폐기된 개념이라기보다, LLM 학습 최적화의 중요한 출발점으로 보는 것이 좋다. 특히 “모델 크기와 학습 데이터의 균형”이라는 메시지는 여전히 유효하다.
자주 헷갈리는 포인트
1. 친칠라 법칙은 모델을 작게 만들라는 뜻인가?
아니다. 작은 모델이 무조건 좋다는 뜻이 아니다. 정해진 계산 예산 안에서 모델 크기와 학습 데이터 양을 균형 있게 맞추라는 뜻이다. 너무 큰 모델을 데이터 부족 상태로 학습시키는 것은 비효율적일 수 있다.
2. 파라미터가 많으면 무조건 성능이 좋은가?
일반적으로 파라미터가 많으면 표현 능력은 커진다. 하지만 충분한 데이터와 계산량으로 제대로 학습되지 않으면 큰 모델도 비효율적일 수 있다. 친칠라 법칙은 이 점을 지적한다.
3. 토큰을 많이 넣으면 무조건 좋아지는가?
아니다. 데이터 품질이 중요하다. 중복, 오류, 편향, 저품질 텍스트가 많으면 토큰 수가 많아도 학습 효과가 떨어질 수 있다.
4. 친칠라 법칙의 “20토큰 per 파라미터”는 절대 공식인가?
아니다. 자주 쓰이는 경험적 기준이지만, 모델 구조와 데이터 품질, 학습 목표에 따라 달라질 수 있다. 실무에서는 하나의 출발점으로 이해하는 것이 좋다.
5. 친칠라 법칙은 GPT 같은 언어모델에만 적용되나?
주로 Transformer 기반 언어모델 학습에서 논의된 법칙이다. 다만 넓게는 모델 크기, 데이터 양, 계산량 사이의 균형이라는 관점에서 다른 AI 모델에도 참고할 수 있다. 하지만 그대로 일반화하려면 조심해야 한다.
결국 핵심은 이것이다
친칠라 법칙은 LLM 개발에서 매우 중요한 관점을 제시했다. AI 모델의 성능은 파라미터 수만으로 결정되지 않는다. 모델이 얼마나 큰지도 중요하지만, 그 모델이 얼마나 충분하고 좋은 데이터를 학습했는지도 중요하다.
큰 모델을 적게 학습시키면 덜 배운 거인이 될 수 있다.
작은 모델을 너무 많은 데이터로 학습시키면 그릇이 부족할 수 있다.
좋은 모델은 크기와 데이터가 균형을 이룬다.
한마디로 정리하면 이렇다.
친칠라 법칙은 AI 모델도 몸집만 키우는 것보다, 몸집에 맞게 충분히 공부시키는 것이 중요하다는 법칙이다.
이 개념을 알면 AI 뉴스가 조금 다르게 보인다. “몇 조 개 파라미터 모델”이라는 숫자만 볼 것이 아니라, 어떤 데이터로 얼마나 학습했는지, 계산 예산을 어떻게 썼는지, 추론 비용은 어떤지까지 보게 된다.
AI 경쟁은 단순한 크기 경쟁이 아니다.
이제는 크기, 데이터, 계산량, 비용, 품질의 균형 경쟁이다.
친칠라 법칙은 그 균형의 중요성을 보여준 대표적인 개념이다.
참고 자료
- DeepMind / An empirical analysis of compute-optimal large language model training
https://deepmind.google/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training/
DeepMind가 Chinchilla 모델과 compute-optimal 학습 전략을 소개한 공식 블로그 글이다. 모델 크기와 학습 데이터 양의 균형이 왜 중요한지 설명한다. - Hoffmann et al. / Training Compute-Optimal Large Language Models
https://arxiv.org/abs/2203.15556
친칠라 법칙의 핵심 논문이다. 모델 크기와 학습 토큰 수를 어떻게 배분해야 계산 최적 학습이 되는지 실험적으로 분석했다. - NeurIPS 2022 / Training Compute-Optimal Large Language Models PDF
https://proceedings.neurips.cc/paper_files/paper/2022/file/c1e2faff6f588870935f114ebe04a3e5-Paper-Conference.pdf
NeurIPS에 게재된 공식 논문 PDF다. Chinchilla와 Gopher 비교, 실험 설정, 스케일링 분석을 확인할 수 있다. - Epoch AI / Chinchilla scaling: A replication attempt
https://epoch.ai/publications/chinchilla-scaling-a-replication-attempt
Chinchilla scaling law를 재현하려는 2024년 분석 글이다. 파라미터당 약 20토큰이라는 실무적 해석과 복제 시도 내용을 확인할 수 있다. - ACM Digital Library / Training compute-optimal large language models
https://dl.acm.org/doi/10.5555/3600270.3602446
Chinchilla 논문의 서지 정보와 인용 정보를 확인할 수 있는 ACM 자료다. - Google DeepMind / Scaling Laws and LLMs 관련 공식 블로그
https://deepmind.google/discover/blog/
DeepMind의 언어모델, 스케일링, AI 연구 흐름을 확인할 수 있는 공식 블로그다. - arXiv / An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws
https://arxiv.org/abs/2212.01365
Chinchilla와 유사한 compute-optimal scaling 관계를 정보이론 관점에서 분석한 연구다. - Business Insider / AI’s $3 trillion question: Will the Chinchilla live or die?
https://www.businessinsider.com/ai-chinchilla-openai-google-anthropic-compute-demand-capex-scaling-laws-2025-3
reasoning 모델, MoE, 합성 데이터 등 최신 흐름이 Chinchilla 패러다임을 어떻게 바꿀 수 있는지 다룬 기사다.
참고 영상
- Chinchilla Scaling Laws Explained
https://www.youtube.com/results?search_query=Chinchilla+scaling+laws+explained
친칠라 스케일링 법칙의 기본 개념을 설명하는 영상들을 찾을 수 있는 검색 링크다. - Training Compute-Optimal Large Language Models
https://www.youtube.com/results?search_query=Training+Compute-Optimal+Large+Language+Models+Chinchilla
DeepMind의 Chinchilla 논문을 해설하는 영상들을 찾을 수 있는 링크다. - LLM Scaling Laws Explained
https://www.youtube.com/results?search_query=LLM+scaling+laws+explained
LLM 스케일링 법칙 전반을 설명하는 입문 영상들을 찾을 수 있다. - Chinchilla vs Gopher Language Model
https://www.youtube.com/results?search_query=Chinchilla+vs+Gopher+language+model
Chinchilla와 Gopher의 차이, 모델 크기와 데이터 양의 균형을 다룬 영상 검색 링크다. - Compute Optimal Language Models Explained
https://www.youtube.com/results?search_query=compute+optimal+language+models+explained
계산 최적 언어모델이 무엇인지, 학습 비용과 성능의 균형을 설명하는 영상을 찾을 수 있다.
'개념 잡동사니' 카테고리의 다른 글
| 이중차분법 (0) | 2026.06.13 |
|---|---|
| 슈뢰딩거의 고양이(Schrödinger’s cat) (1) | 2026.06.12 |
| 폰 노이만 병목(Von Neumann Bottleneck) (0) | 2026.06.10 |
| 디아스포라(Diaspora) (0) | 2026.06.09 |
| 필요조건과 충분조건 (1) | 2026.06.08 |