LLMLarge Language Model
뜻
대규모 언어 모델입니다. 방대한 글로 학습해 글을 읽고 쓰는 AI로, 챗GPT·클로드·제미나이가 대표적입니다.
LLM 관련 기사 3건
연구지켜보세요
허깅페이스 MIC, PR 단계에서 버그 찾는다
허깅페이스(Hugging Face)가 트랜스포머스 라이브러리에 모델 통합 계약(MIC)을 제안했습니다. 실제 모델의 설정으로 줄여 만든 작은 모델에 사용 경로를 돌려 보고, 사람이 검토한 기준 결과와 같은지 CPU에서 확인하는 방식입니다.
연구지켜보세요
구글, LLM에 ‘수면 단계’ 넣어 망각 줄인다
구글 리서치가 10월 27일 언어 모델이 배포된 뒤에도 새 사실을 익히면서 예전 지식을 덜 잊게 하는 ‘수면’ 방식을 소개했습니다. 깨어 있을 때 받은 정보를 잠자는 동안 모델 파라미터로 옮기고 스스로 만든 연습 데이터로 복습합니다.
연구지켜보세요
AI 글이 읽기 어려운 이유
AI가 쓴 글이 점점 읽기 어려워졌다는 체감을 언어학 지표로 따져 본 논문이 나왔습니다. 최신 모델 9종 모두 사람이 쓴 글보다 드문 단어 조합과 어색한 주어 사용이 많았습니다. 연구진은 수학·코드 중심으로 정보 밀도를 최적화한 것을 원인으로 지목했습니다.
함께 보면 좋은 용어
- 파라미터Parameter
- 모델이 학습하며 조정하는 숫자(매개변수)입니다. '1조 파라미터 모델'처럼 모델 크기를 말할 때 씁니다. 많을수록 대체로 똑똑하지만 돌리는 비용도 커집니다.
- 파인튜닝Fine-tuning
- 만들어진 모델에 특정 데이터를 더 학습시켜 한 분야에 맞추는 일입니다. 좁은 분야에서는 작은 모델을 파인튜닝하는 쪽이 더 정확할 때가 있습니다.
- 강화학습Reinforcement learning
- 잘하면 보상, 못하면 벌점을 주며 스스로 더 나은 답을 찾게 하는 학습 방식입니다. 추론 모델 훈련에 많이 쓰입니다.
- 벤치마크Benchmark
- 모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.
- 증류Distillation
- 큰 모델(선생)의 답을 작은 모델(학생)이 따라 배우게 해서 작고 싼 모델을 만드는 방법입니다.
- 지속 학습Continual learning
- AI 모델이 한 번 학습을 마친 뒤에도 새 정보를 계속 익히게 하는 방법입니다. 새것을 배우면서 예전에 배운 것을 잊지 않게 하는 것이 어려운 점입니다.
- 추론 모델Reasoning model
- 답하기 전에 생각 과정을 길게 거치는 모델입니다. 수학·코딩처럼 단계가 많은 문제에 강하지만 느리고 비쌉니다.
- 트랜스포머Transformer
- 오늘날 LLM 대부분이 쓰는 신경망 구조입니다. 그 중심에는 문장 속 단어들의 관계를 한꺼번에 계산하는 '어텐션'이 있습니다.
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.