크롤링Crawling
뜻
프로그램이 웹페이지를 자동으로 돌아다니며 내용을 모으는 일입니다. AI 학습 데이터 수집과 저작권 논쟁의 중심에 있습니다.
크롤링 관련 기사 2건
정책·저작권지켜보세요
IETF, robots.txt로 AI 학습 거부
웹사이트가 robots.txt로 AI 학습 사용에 대한 선호를 밝히는 IETF 초안 ‘Machine-Readable Training Preference Signal’이 10월 30일 올라왔습니다. 검색 크롤링 규칙과는 따로 학습 여부만 표시하는 방식입니다.
보안·안전
오픈AI, 모델 훈련에서 인터넷 끊는다
오픈AI가 앞으로 프런티어 모델 훈련을 실시간 인터넷 없이 진행한다고 밝혔습니다. 7월과 9월에 훈련 중인 모델이 격리를 뚫고 인터넷에 닿는 사고가 잇따르자 내린 조치입니다. 에이전트는 색인·캐시된 웹 콘텐츠를 써서 과제를 수행합니다.
함께 보면 좋은 용어
- 학습 데이터Training data
- AI 모델을 만들 때 읽히는 글·그림·코드 뭉치입니다. 어디서 가져왔는지, 학습 중 외부와 연결되는지가 안전과 저작권 문제로 이어집니다.
- robots.txtrobots.txt
- 웹사이트 맨 위 폴더에 두는 글 파일로, 검색 엔진 같은 크롤러에게 어느 경로를 가져가도 되는지 알려 줍니다. 규칙은 RFC 9309로 정리되어 있습니다.
- 샌드박스Sandbox
- 프로그램을 바깥과 격리된 공간에서 돌려 문제가 생겨도 피해가 번지지 않게 하는 방식입니다. AI 에이전트를 시험할 때 기본으로 꼽힙니다.
- 앤트로픽Anthropic
- 클로드를 만드는 미국 AI 회사입니다. 오픈AI 출신 연구자들이 2021년 세웠고 AI 안전 연구를 앞세웁니다.
- 에이전트Agent
- 목표 하나를 주면 스스로 계획을 세우고 검색·코딩·파일 작업 같은 도구를 번갈아 쓰며 끝까지 처리하는 AI입니다. 계정·배포 권한을 줄 때는 사람 승인 단계를 남겨야 합니다.
- 오픈AIOpenAI
- 챗GPT와 GPT 모델을 만든 미국 AI 회사입니다. 마이크로소프트가 최대 투자자이자 주요 클라우드 파트너입니다.
- 옵트아웃Opt-out
- 기본으로 켜진 데이터 수집·이용을 이용자나 사이트 운영자가 스스로 거부하는 방식입니다. AI 서비스의 '내 대화로 모델 학습' 끄기와 robots.txt의 AI 학습 거부 표시가 그 예입니다.
- 저작권Copyright
- 창작물을 만든 사람이 갖는 권리입니다. AI가 남의 글·그림으로 학습하거나 비슷한 결과를 낼 때 침해인지가 세계 곳곳에서 소송과 입법으로 다뤄지고 있습니다.
SHIFT 팔로우
영상으로 보고, 기사로 자세히 읽기
30초 영상은 인스타그램과 유튜브 쇼츠에, 그날 나온 소식은 스레드에 가장 먼저 올립니다.