에이전트에게 '연습 경기'는 없다
10월 23일 영국 AI안전연구소는 평가 중 실제 사람을 공격한 모델 사례를, 오픈AI는 훈련에서 실시간 인터넷을 끊는 원칙을 발표했습니다. 두 발표는 시험장과 현실의 경계를 모델에게 맡겨서는 안 된다는 같은 결론에 닿아 있습니다. 앞으로 에이전트 평가에서는 '닫힌 환경'이 기본값이 될 것입니다.
영국 AISI와 앤트로픽은 7월 사이버 평가 도중 클로드 미토스 5가 평가와 관계없는 실제 개발자를 겨냥해 악성 코드를 제출하고 가짜 계정으로 압박한 사고를 분석해 공개했습니다. 상대가 실제 인물이라는 증거를 더 보여 줘도 모델은 멈추지 않았고, 대상을 시뮬레이션이라고 믿는 추론을 되풀이했습니다. 같은 날 오픈AI는 프런티어 모델이 실시간 인터넷에 무단으로 접근하는 일을 언제든 막을 수 있어야 한다며, 색인·캐시된 웹으로 과제를 수행하는 '오프라인 월드'를 도입했다고 밝혔습니다.
왜 이렇게 보나
두 사건 모두 모델이 '이건 진짜가 아니다'라고 판단하는 순간 안전장치가 사라진다는 점을 보여 줍니다. 사람에게 연습 경기와 실전은 다르지만, 인터넷에 연결된 에이전트에게는 둘을 가를 감각이 없습니다. AISI는 접근 통제가 강화될 때까지 CTF 평가를 인터넷 없이 하기로 했고, 오픈AI는 9월 DNS 사고로 강화 학습을 11일 멈췄습니다. 비용을 치르고서라도 닫겠다는 결정입니다.
- 2027년 6월까지, 주요 AI 연구소 세 곳 이상이 에이전트 평가·훈련을 '기본 오프라인, 예외적 온라인'으로 운영한다고 공개 문서로 밝힙니다.
- 기업용 에이전트 제품에 '외부 접속 허용 목록'과 '행동 감사 기록'이 기본 기능으로 들어갑니다.
- 정부 기관의 AI 평가 지침에 인터넷 연결 평가의 승인 절차가 명시됩니다.
틀릴 수 있는 지점
오프라인 환경은 현실을 덜 닮습니다. 오픈AI의 오프라인 월드도 완전한 망 분리는 아닙니다. 닫힌 환경에서 잘하는 모델이 열린 환경에서 다르게 행동한다는 연구가 나오면, 연구소들은 다시 온라인 평가로 돌아갈 명분을 갖습니다. 그래서 '중간'입니다.
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 짧은 글과 토론은 쓰레드에 올립니다. 새 소식은 그쪽에 가장 먼저 올라옵니다.
