지속 학습Continual learning

연구지켜보세요

구글, LLM에 ‘수면 단계’ 넣어 망각 줄인다

구글 리서치가 10월 27일 언어 모델이 배포된 뒤에도 새 사실을 익히면서 예전 지식을 덜 잊게 하는 ‘수면’ 방식을 소개했습니다. 깨어 있을 때 받은 정보를 잠자는 동안 모델 파라미터로 옮기고 스스로 만든 연습 데이터로 복습합니다.

2026.10.293분 읽기

강화학습Reinforcement learning

잘하면 보상, 못하면 벌점을 주며 스스로 더 나은 답을 찾게 하는 학습 방식입니다. 추론 모델 훈련에 많이 쓰입니다.

벤치마크Benchmark

모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.

증류Distillation

큰 모델⁠(선생)⁠의 답을 작은 모델⁠(학생)⁠이 따라 배우게 해서 작고 싼 모델을 만드는 방법입니다.

파라미터Parameter

모델이 학습하며 조정하는 숫자⁠(매개변수)⁠입니다. '1조 파라미터 모델'처럼 모델 크기를 말할 때 씁니다. 많을수록 대체로 똑똑하지만 돌리는 비용도 커집니다.

파인튜닝Fine-tuning

만들어진 모델에 특정 데이터를 더 학습시켜 한 분야에 맞추는 일입니다. 좁은 분야에서는 작은 모델을 파인튜닝하는 쪽이 더 정확할 때가 있습니다.

합성 데이터Synthetic data

실제로 모은 자료 대신 AI나 프로그램이 만들어 낸 학습용 데이터입니다. 모자란 데이터를 채울 수 있지만 품질을 따로 걸러 내야 합니다.

혼합 전문가⁠(MoE)Mixture of Experts

모델 안에 여러 ‘전문가’ 부분을 두고 입력마다 그중 일부만 골라 계산하는 구조입니다. 모델을 크게 만들면서도 한 번에 드는 계산은 줄일 수 있습니다.

LLMLarge Language Model

대규모 언어 모델입니다. 방대한 글로 학습해 글을 읽고 쓰는 AI로, 챗GPT⁠·클로드⁠·제미나이가 대표적입니다.