NEW새 무료 도구 3개가 나왔습니다써 보기 →
← AI 뉴스 연구

구글, LLM에 ‘수면 단계’ 넣어 망각 줄인다

구글 리서치 · 깨어 있는 단계와 잠자는 단계를 반복, 기억 정리와 ‘꿈꾸기’⁠로 새 지식을 잊지 않게

이런 분께 추천합니다AI 모델 학습 연구에 관심 있는 분

SHIFT 판정 · 지켜보세요논문 단계 연구이고 코드 공개 여부와 잠자는 단계의 계산 비용이 나오지 않았습니다.
오늘 바로 해 보세요구글 리서치 블로그에서 ‘수면’ 방식의 기억 정리와 꿈꾸기 단계 설명을 읽고, arXiv 논문 2606.03979의 실험 결과 표도 찾아보세요.
SHIFT 편집부2026.10.29 06:563분 읽기
구글 리서치 ‘수면 프레임워크’ 블로그 대표 이미지
이미지: Google Research
한눈에 보기
발표 주체구글 리서치(Google Research)
날짜2026년 10월 27일⁠(블로그)
무엇지속 학습을 위한 ‘수면’ 프레임워크
논문Language Models Need Sleep(arXiv 2606.03979)
핵심 숫자BABILong 1,000만 토큰까지 거의 완벽(자체 발표 기준)
원문research.google 블로그, arXiv
세 줄 요약
  • 깨어 있을 때. 입력을 처리하며 단기 기억에 임시 저장
  • 잠잘 때. 기억 정리와 ‘꿈꾸기’ 두 단계
  • 실험 결과. BABILong 1,000만 토큰까지 거의 완벽(자체 발표 기준)

구글 리서치(Google Research)⁠가 10월 27일 블로그에서 대형 언어 모델()⁠을 주기적으로 ‘재우는’ 학습 방식을 소개했습니다. 쓰이는 동안 받은 정보를 쉬는 시간에 정리하게 해서 새 사실을 익히고도 예전 지식을 덜 잊게 하려는 연구입니다. 논문은 구글 리서치의 알리 베흐루즈(Ali Behrouz), 아델 자바만드(Adel Javanmard), 바합 미르로크니(Vahab Mirrokni)⁠와 코넬대의 파르누시 하셰미(Farnoosh Hashemi)⁠가 함께 썼고 한 버전은 2025년 9월부터 오픈리뷰(OpenReview)⁠에 공개돼 있었습니다.

SHIFT 판정 · 지켜보세요논문 단계 연구이고 코드 공개 여부와 잠자는 단계의 계산 비용이 나오지 않았습니다.
오늘 바로 해 보세요구글 리서치 블로그에서 ‘수면’ 방식의 기억 정리와 꿈꾸기 단계 설명을 읽고, arXiv 논문 2606.03979의 실험 결과 표도 찾아보세요.
  • 깨어 있을 때. 입력을 처리하며 단기 기억에 임시 저장
  • 잠잘 때. 기억 정리와 ‘꿈꾸기’ 두 단계
  • 실험 결과. BABILong 1,000만 토큰까지 거의 완벽(자체 발표 기준)

깨어 있는 동안 쌓고 자는 동안 옮깁니다

모델은 깨어 있는 단계에서 입력을 받아 처리하고 그때 얻은 정보를 단기 기억에 잠시 담습니다. 잠자는 단계로 넘어가면 새 입력을 받지 않고 내부 계산을 기억 정리와 자기 개선에 씁니다. 연구진이 노린 것은 금방 사라지는 문맥 속 정보를 오래가는 장기 로 옮기는 일입니다.

기억 정리와 꿈꾸기

잠은 두 단계로 나뉩니다. 기억 정리 단계에서는 구조의 용량을 늘린 다음 작은 모델의 지식을 더 큰 신경망으로 옮기는 에 기반 모방 학습을 더합니다. 이 과정에는 구글이 앞서 발표한 호프⁠(Hope) 구조와 일반화 지식 증류 방법이 쓰입니다. 정리가 끝나면 자주 바뀌는 임시 파라미터를 초기화하는데 연구진은 이를 ‘시냅스 가지치기’⁠라고 부릅니다. 꿈꾸기 단계에서는 전문가를 무작위로 골라 합성 데이터를 만들고 기울기 기반 선택으로 걸러 낸 다음 지도 미세 조정과 강화학습으로 다듬습니다.

만주어⁠⁠·칼라망어 번역과 수학 문제로 시험했습니다

실험은 다섯 갈래로 짜였습니다. 처음 보는 언어를 배우는 번역, 새 분류를 차례로 더하는 학습, 긴 문맥 평가 BABILong, SQuAD와 이어서 사전 학습⁠(CPT)⁠으로 재는 사실 지식, 수학 추론입니다. 비교 대상에는 SEAL과 GRPO, 정책 기반 자기 증류⁠(OPSD)⁠도 들어갔습니다. 번역 실험에서는 모델에게 처음 보는 만주어와 칼라망어를 차례로 가르쳤습니다. 문맥 안 학습⁠(ICL), 카트리지(Cartridges), 지도 미세 조정⁠(SFT)⁠은 앞서 배운 것을 크게 잊었지만 수면 방식은 성능이 거의 떨어지지 않았습니다(자체 발표 기준). BABILong에서는 1,000만 토큰까지 거의 완벽한 성능을 보여 GPT-⁠4와 타이탄스⁠(Titans)⁠를 앞섰습니다. 사실 지식 평가에서는 단일 과제 48.9%, 이어서 사전 학습 46.2%가 나왔고 AIME 24⁠·25와 HMMT 25를 쓴 수학 추론 평가에서는 79.2%, 69.0%, 46.1%를 기록했습니다.

코드와 계산 비용은 아직 나오지 않았습니다

블로그 글에 연결된 것은 논문과 구글 리서치 깃허브 첫 화면뿐이고 코드 공개 여부는 적혀 있지 않습니다. 잠자는 단계에 계산이 얼마나 드는지와 이 방식이 실제 서비스 모델에 언제 쓰일지도 글에는 없습니다.

생각해 볼 질문AI가 대화에서 배운 내용을 계속 기억한다면 어떤 점이 편해지고 어떤 점이 걱정될까요?
원문구글 리서치 — The sleep framework: A new way for LLMs to retain knowledge in continual learning · https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/arXiv — Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories · https://arxiv.org/abs/2606.03979
핵심 정보 6개
발표 주체구글 리서치(Google Research)
날짜2026년 10월 27일⁠(블로그)
무엇지속 학습을 위한 ‘수면’ 프레임워크
논문Language Models Need Sleep(arXiv 2606.03979)
핵심 숫자BABILong 1,000만 토큰까지 거의 완벽(자체 발표 기준)
원문research.google 블로그, arXiv
원문 2곳
구글 리서치 — The sleep framework: A new way for LLMs to retain knowledge in continual learningarXiv — Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories
지속 학습LLM혼합 전문가⁠(MoE)증류강화학습파라미터파인튜닝벤치마크
생각해 볼 질문AI가 대화에서 배운 내용을 계속 기억한다면 어떤 점이 편해지고 어떤 점이 걱정될까요?
2026.10.29 데일리 이슈30초 영상 보기스레드에서 의견 남기기링크 복사틀린 곳 알려 주기
SHIFT 팔로우

영상으로 보고, 기사로 자세히 읽기

30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.

인스타그램@shift_ai_magazine 유튜브시프트 AI · 쇼츠 스레드@shift_ai_magazine