IETF, robots.txt로 AI 학습 거부

내 사이트의 글을 AI 학습에 써도 되는지를 robots.txt에 적는 방법이 인터넷 표준 기구 IETF에 초안으로 올라왔습니다. 10월 30일 자 문서 ‘Machine-Readable Training Preference Signal’⁠은 새 문법 없이 기존 robots.txt 규칙에 특별한 이름 하나를 더하는 방식을 제안합니다. 같은 달 구글 검색 센트럴 블로그에도 ‘Supporting a shared AI training control for websites’⁠라는 제목의 글이 올라왔습니다.

robots.txt는 원래 크롤러 출입 안내문입니다

robots.txt는 웹사이트 맨 위 폴더에 두는 글 파일입니다. 검색 엔진 같은 크롤러가 어느 경로를 가져가도 되는지 User-Agent, Disallow, Allow 같은 줄로 적고 이 규칙은 RFC 9309라는 표준 문서로 정리되어 있습니다. 지금까지 AI 학습을 막고 싶은 운영자는 회사마다 다른 크롤러 이름을 하나씩 찾아 막아야 했습니다. 이번 초안은 크롤러 이름 대신 ‘AI 학습’⁠이라는 쓰임새 자체를 가리키는 이름을 쓰자는 제안입니다. HTTP 헤더로 같은 선호를 붙이는 방법은 이 초안이 아니라 IETF 작업반의 다른 문서가 다룹니다.

robots.txt에 넣는 세 줄

초안이 든 예시는 세 줄짜리입니다. User-Agent 줄에 __usage_ai-training을 적고 그 아래에 Disallow로 사이트 전체⁠(/)⁠를 지정하면 AI 학습에 쓰지 말라는 뜻이 됩니다. 여기에 Allow로 /press-kit/ 경로를 더하면 보도 자료 폴더만은 학습에 써도 좋다는 뜻이 됩니다. 문서는 새 지시어 이름도 새 문법도 만들지 않는다고 적었습니다. 모든 크롤러를 가리키는 별표⁠(*) 묶음은 이 표시로 해석하면 안 됩니다. AI 학습의 뜻은 IETF AI 선호⁠(aipref) 작업반의 정의를 따르며 생성형 AI 모델의 학습된 파라미터를 바꾸는 데 자료를 쓰는 일을 가리킵니다.

검색 노출과 학습 허락을 따로 적습니다

이 표시는 크롤러가 어디를 긁어 갈지 정하는 지시가 아닙니다. 초안은 콘텐츠 사용 선호와 트래픽 관리 신호가 같은 robots.txt 안에 있어도 서로 독립이라고 설명합니다. 따라서 검색 엔진 크롤러는 자기 이름으로 적힌 규칙을 이 문서가 없을 때와 똑같이 해석해야 합니다. 사이트 운영자는 검색 크롤러를 그대로 허용하면서 AI 학습에 대한 선호만 따로 밝힐 수 있게 됩니다.

앤트로픽 소속 저자 한 명의 개인 초안

저자는 앤트로픽(Anthropic) 소속 케빈 켈리(Kevin Kelley) 한 명이고 문서는 개인 초안 00판입니다. 데이터트래커에는 이 문서가 IETF의 승인을 받지 않았고 공식 지위가 없다는 안내가 붙어 있습니다. 감사 명단에는 구글, 마이크로소프트, 오픈AI, 메타, 클라우드플레어, 커먼 크롤 재단, 인터넷 아카이브 등 여러 곳의 사람들이 이름을 올렸고 구글에서는 게리 일리스(Gary Illyes), 존 뮬러(John Mueller)⁠도 들어 있습니다. 소속은 신원 확인용이며 IETF 참여자는 개인 자격으로 기여한다고 문서에 적혀 있습니다. 어느 회사가 언제부터 이 표시를 따를지는 초안에 나오지 않습니다.