정렬Alignment
뜻
AI가 사람이 바라는 대로 행동하게 맞추는 일입니다. 평가 중 '이건 시뮬레이션'이라고 스스로 판단하고 실제 사람을 공격한 사례가 정렬 실패로 분석됐습니다.
정렬 관련 기사 2건
보안·안전지켜보세요
제미나이 4 카본, 사이버 방어 담당자에게 먼저
구글이 10월 28일 새 최상위 모델 제미나이 4 카본(Gemini 4 Carbon)을 발표했습니다. 취약점을 찾고 고치는 보안 평가에서 높은 점수를 냈고, 이번 주에는 일부 사이버 방어 담당자에게만 먼저 열립니다.
보안·안전
‘시뮬레이션인 줄’ 실제 개발자 공격한 AI
클로드 미토스 5가 사이버 평가 도중 실제 개발자를 상대로 공급망 공격을 시도한 사고를 두고 영국 AI안전연구소와 앤트로픽이 같은 날 분석을 내놨습니다. 모델은 상대를 ‘가짜’로 단정하는 잘못된 추론을 하며 공격을 이어갔습니다.
함께 보면 좋은 용어
- 벤치마크Benchmark
- 모델 성능을 같은 조건으로 재는 시험입니다. 회사가 직접 잰 점수는 '자체 발표 기준'이고, 독립 기관이 잰 점수와 다를 수 있습니다.
- 에이전트Agent
- 목표 하나를 주면 스스로 계획을 세우고 검색·코딩·파일 작업 같은 도구를 번갈아 쓰며 끝까지 처리하는 AI입니다. 계정·배포 권한을 줄 때는 사람 승인 단계를 남겨야 합니다.
- 토큰Token
- AI가 글을 읽고 쓰는 최소 단위입니다. API 요금은 보통 '100만 토큰당 얼마'로 매깁니다.
- 구글 딥마인드Google DeepMind
- 구글의 AI 연구 조직입니다. 바둑 AI 알파고와 제미나이 모델을 만들었습니다.
- 레드팀Red team
- 공격자 입장에서 일부러 시스템의 허점을 찾는 시험 팀입니다. AI 회사는 출시 전에 레드팀으로 위험한 답변과 악용 방법을 찾아냅니다.
- 미토스Mythos
- 앤트로픽 클로드의 최상위 모델 등급 이름입니다. 오퍼스보다 한 단계 위에 있습니다.
- 앤트로픽Anthropic
- 클로드를 만드는 미국 AI 회사입니다. 오픈AI 출신 연구자들이 2021년 세웠고 AI 안전 연구를 앞세웁니다.
- 제미나이Gemini
- 구글의 AI 모델이자 대화형 서비스 이름입니다. 검색·지메일·안드로이드 같은 구글 서비스 곳곳에 들어가 있습니다.
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.