Scaling Laws(규모의 법칙)은 인공지능(AI) 모델의 성능이 컴퓨팅 파워, 학습 데이터 양, 그리고 매개변수 수의 증가에 따라 향상되는 경향을 설명하는 개념이다.
Scaling Laws는 AI 모델이 더 많은 리소스를 활용할수록 성능이 비례적으로 향상된다는 원리를 설명한다. 대형 언어 모델(LLM)의 성능은 다음과 같은 요소에 의해 결정된다.
Scaling Laws는 AI 연구 및 산업 발전에 큰 영향을 미쳤다.
Scaling Laws는 OpenAI의 ChatGPT 모델에서도 확인된다. ChatGPT는 다음과 같은 규모로 학습되었다.
이를 반영하여 Time 매거진(2023년 2월)은 "인공지능 군비경쟁이 모든 것을 바꿔놓고 있다(The artificial intelligence arms race is changing everything)"라는 제목의 기사를 발표했다.
Scaling Laws는 AI 모델의 발전 방식과 관련된 핵심 원칙 중 하나다. 그러나 단순한 규모 확장이 항상 성능 향상을 보장하는 것은 아니며, 데이터 품질과 알고리즘 최적화도 중요한 요소로 작용한다.