Ai2 토이블록스, 로봇 학습 시험장

Ai2가 11월 6일(미국 시각) 로봇 학습과 평가를 통제된 실험처럼 다룰 수 있게 해 주는 시뮬레이션 틀 토이블록스(ToyBlocks)⁠를 허깅페이스(Hugging Face)⁠에 공개했습니다. 책상 위 로봇 팔과 블록으로 이루어진 환경으로, 시뮬레이션에서 만든 시연 기록 85,336개가 함께 풀렸습니다.

사람이 조종하지 않고 만든 시연 기록

토이블록스는 먼저 엔비디아(NVIDIA)⁠의 오픈소스 로봇 학습 도구인 아이작 랩(Isaac Lab)⁠에서 밀기나 뒤집기 같은 동작을 익힙니다. 이 동작들을 계획기가 이어 붙여 긴 작업의 시연을 만들고, 수백 개의 계획을 한꺼번에 돌려서 시연 기록을 모읍니다. 처음 공개된 데이터는 긴 작업 시연 85,336개이고 약 1,600시간의 로봇 실행 기록과 1억 4,400만 프레임에 해당합니다.

시뮬레이션과 실제 로봇의 성공률

기본 동작을 하는 ManiFlow 모델의 성공률은 시뮬레이션에서 80.0%, 실제 로봇에서 81.1%로 비슷했습니다. 말로 목표를 정하는 Molmo 2와 ManiFlow를 합친 계층형 시스템은 시뮬레이션 200번 가운데 111번인 55.5%를 해냈습니다. 실제 로봇 실험은 시도 횟수가 적어서 작업별로 통계적 확신을 얻으려면 더 많은 시도가 필요하다고 Ai2는 적었습니다.

블록 글자 맞추기에서 드러난 시각 오류

블록으로 단어를 만드는 시험에서는 최신 모델들도 비슷한 모양의 글자를 헷갈리는 등 시각 오류를 자주 냈다고 합니다. 이 시험에서 장면의 50%는 필요한 글자 블록이 없어 애초에 풀 수 없는 문제였습니다. 이미 대규모로 사전 학습한 행동 모델들도 초기 결과에서는 새로운 조건에 잘 일반화하지 못했습니다.

공개 범위와 아직 비어 있는 것

시뮬레이션 자산, 작업과 시연 생성기, 만들어 낸 시연 데이터, 학습된 Molmo 2와 ManiFlow 모델, 학습⁠·평가 코드가 공개됐습니다. 환경은 일부러 단순하게 잡은 탁상 블록 작업이고 Ai2는 행동 모델의 일반화가 아직 풀리지 않았다고 적었습니다. 더 큰 두 번째 데이터셋은 몇 주 뒤에 나옵니다.