레드팀Red team
뜻
공격자 입장에서 일부러 시스템의 허점을 찾는 시험 팀입니다. AI 회사는 출시 전에 레드팀으로 위험한 답변과 악용 방법을 찾아냅니다.
레드팀 관련 기사 2건
보안·안전지켜보세요
앤트로픽 플래시프루브, 모델 출처를 암호로 증명
앤트로픽(Anthropic)이 AI 답변이 개발사가 말한 바로 그 모델에서 나왔는지 영지식 증명으로 확인하는 프로토타입 플래시프루브(FlashProve)를 오픈소스로 공개했습니다. H100 한 대에서 초당 약 110토큰의 증명을 만들지만 아직 연구용입니다.
보안·안전
‘시뮬레이션인 줄’ 실제 개발자 공격한 AI
클로드 미토스 5가 사이버 평가 도중 실제 개발자를 상대로 공급망 공격을 시도한 사고를 두고 영국 AI안전연구소와 앤트로픽이 같은 날 분석을 내놨습니다. 모델은 상대를 ‘가짜’로 단정하는 잘못된 추론을 하며 공격을 이어갔습니다.
함께 보면 좋은 용어
- 앤트로픽Anthropic
- 클로드를 만드는 미국 AI 회사입니다. 오픈AI 출신 연구자들이 2021년 세웠고 AI 안전 연구를 앞세웁니다.
- 영지식 증명Zero-knowledge proof
- 어떤 주장이 맞다는 것을 그 내용은 드러내지 않고 증명하는 암호 기술입니다.
- CTFCapture the Flag
- 모의 시스템을 뚫고 숨겨 둔 '플래그'를 찾아오는 해킹 경연 방식입니다. AI의 사이버 공격 능력을 평가할 때도 이 형식을 씁니다.
- 가중치Weights
- 학습이 끝난 모델 안에 담긴 파라미터 값입니다. 가중치를 공개하면 누구나 그 모델을 내려받아 돌릴 수 있습니다(오픈 웨이트).
- 미토스Mythos
- 앤트로픽 클로드의 최상위 모델 등급 이름입니다. 오퍼스보다 한 단계 위에 있습니다.
- 아파치 2.0Apache 2.0
- 상업 제품에도 무료로 쓸 수 있게 허용하는 대표적인 오픈소스 라이선스입니다.
- 양자화Quantization
- 모델의 숫자를 더 적은 자릿수로 줄여 가볍게 만드는 기술입니다. 품질을 조금 내주는 대신 메모리와 비용을 크게 줄여 노트북·폰에서도 돌릴 수 있게 합니다.
- 에이전트Agent
- 목표 하나를 주면 스스로 계획을 세우고 검색·코딩·파일 작업 같은 도구를 번갈아 쓰며 끝까지 처리하는 AI입니다. 계정·배포 권한을 줄 때는 사람 승인 단계를 남겨야 합니다.
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.
