생성 AI를 사용하여 로봇을 위한 가상 훈련장 다각화

ChatGPT 및 Cloud와 같은 챗봇은 다양한 작업에 도움을 줄 수 있기 때문에 지난 3년 동안 사용이 크게 증가했습니다. 셰익스피어 소네트를 작성하든, 코드를 디버깅하든, 모호한 퀴즈 질문에 대한 답을 원하든 인공지능 시스템이 모든 것을 해결해 줄 것 같습니다. 이 다재다능함의 근원은 무엇일까요? 인터넷에는 수십억 또는 수조 개의 텍스트 데이터 포인트가 있습니다.

그러나 이러한 데이터는 로봇이 가정이나 공장에서 유용한 보조자가 되도록 가르치기에는 충분하지 않습니다. 다양한 환경에서 다양한 배열의 물체를 처리하고, 쌓고, 배치하는 방법을 이해하려면 로봇의 시연이 필요합니다. 로봇 훈련 데이터는 작업의 각 동작을 통해 시스템을 안내하는 방법 비디오 모음으로 생각할 수 있습니다. 실제 로봇에서 이러한 성능을 수집하는 것은 시간이 많이 걸리고 완전히 반복 가능하지 않으므로 엔지니어는 AI로 시뮬레이션을 생성하거나(종종 실제 물리학을 반영하지 않음) 각 디지털 환경을 처음부터 공들여 구축하여 교육 데이터를 생성합니다.

MIT 컴퓨터 과학 및 인공 지능 연구소(CSAIL)와 Toyota 연구소의 연구원들은 로봇에 필요한 다양하고 현실적인 훈련 기반을 만드는 방법을 찾았습니다. 이들의 “운영 장면 생성” 접근 방식은 엔지니어가 여러 실제 상호 작용 및 시나리오를 시뮬레이션하는 데 사용할 수 있는 주방, 거실, 레스토랑 등의 디지털 장면을 생성합니다. 테이블이나 접시 같은 물체의 모델로 채워진 4,400만 개가 넘는 3D 공간에서 훈련된 이 도구는 기존 자산을 새로운 장면에 배치한 다음 각각을 물리적으로 정확하고 실제와 같은 환경으로 다듬습니다.

조정 가능한 장면 생성은 확산 모델(무작위 노이즈에서 장면을 생성하는 AI 시스템)을 일상 생활에서 찾을 수 있는 장면으로 “조정”하여 이러한 3D 세계를 만듭니다. 연구원들은 이 생성 시스템을 사용하여 장면 전반에 걸쳐 특정 요소를 채워 환경을 “채색”했습니다. 빈 캔버스가 갑자기 3D 개체가 흩어져 있는 주방으로 변하고, 이것이 천천히 실제 물리학을 모방하는 장면으로 변하는 것을 상상할 수 있습니다. 예를 들어, 시스템은 포크가 테이블 위에 놓인 그릇을 통과하지 않도록 보장합니다. 이는 모델이 서로 겹치거나 교차하는 “클리핑”으로 알려진 3D 그래픽의 일반적인 함정입니다.

그러나 작동 가능한 장면 생성이 창작물을 현실감 있게 안내하는 방법은 선택한 전략에 따라 다릅니다. 주요 전략은 모델이 일련의 대체 장면을 생성하여 특정 목적(예: 장면을 보다 물리적으로 현실감 있게 만들거나 가능한 한 많은 음식 항목을 포함하는 등)에 맞게 다양한 방식으로 채우는 “몬테카를로 나무 검색”(MCTS)입니다. AI 프로그램 AlphaGo는 바둑(체스와 유사한 게임)에서 인간 상대를 물리치기 위해 사용합니다. 시스템은 가장 유리한 동작을 선택하기 전에 가능한 동작 순서를 고려하기 때문입니다.

“우리는 장면 구성 작업을 순차적인 의사 결정 프로세스로 구성하여 장면 구성에 MCTS를 적용한 최초의 기업입니다.”라고 CSAIL 연구원이자 해당 작업을 발표한 논문의 주요 저자인 MIT 전기 공학 및 컴퓨터 과학과(EECS) 박사 과정 학생인 Nicholas Pfaff는 말합니다. “우리는 시간이 지남에 따라 더 좋거나 더 바람직한 시퀀스를 생성하기 위해 부분 시퀀스 위에 계속 구축하고 있습니다. 결과적으로 MCTS는 전파 모델에서 훈련된 시퀀스보다 더 복잡한 시퀀스를 생성합니다.”

특히 주목할만한 실험 중 하나에서 MCTS는 간단한 레스토랑 장면에 최대 개체 수를 추가했습니다. 평균적으로 17개의 개체만 포함된 장면을 훈련한 후 거대한 딤섬 요리 더미를 포함하여 34개의 개체를 테이블 위에 표시했습니다.

또한 작동 가능한 장면 생성을 사용하면 강화 학습을 통해 다양한 훈련 시나리오를 생성할 수 있습니다. 즉, 기본적으로 시행착오를 통해 목표를 달성하기 위해 전파 모델을 가르치는 것입니다. 초기 데이터에 대한 교육을 마친 후 시스템은 보상(기본적으로 해당 목표에 얼마나 가까운지를 나타내는 점수가 포함된 원하는 결과)을 설명하는 두 번째 교육 단계를 거칩니다. 모델은 높은 점수를 받는 장면을 자동으로 생성하는 방법을 학습하며 종종 훈련된 시나리오와 크게 다른 시나리오를 생성합니다.

사용자는 특정 시각적 설명(예: “사과 4개와 테이블 위에 그릇이 있는 주방”)을 입력하여 시스템에 직접 신호를 보낼 수 있습니다. 그런 다음 작동 가능한 장면 생성을 통해 요청을 정확하게 실현할 수 있습니다. 예를 들어, 이 도구는 식품 저장실 선반 장면을 만들 때 98%, 지저분한 아침 식탁 장면을 만들 때 86%의 비율로 사용자의 신호를 정확하게 따랐습니다. 두 점수 모두 “Midifusion” 및 “Diffusion”과 같은 유사한 방법에 비해 최소 10% 향상되었습니다.

또한 시스템은 프롬프트나 조명 지침(예: “동일한 개체를 사용하여 다른 시각적 배열 만들기”)을 통해 특정 장면을 수행할 수도 있습니다. 예를 들어, 주방 테이블에 있는 여러 접시에 사과를 놓거나 선반에 보드 게임과 책을 놓도록 요청할 수 있습니다. 이는 본질적으로 빈 공간에 객체를 배치하고 장면의 나머지 부분을 보존하여 “빈 공간을 채우는” 것입니다.

연구원들에 따르면, 그들의 프로젝트의 강점은 로봇 공학자들이 실제로 사용할 수 있는 다양한 시나리오를 생성하는 능력에 있습니다. Pfaff는 “우리 연구 결과의 핵심 통찰력은 우리가 사전 훈련한 장면이 우리가 실제로 원하는 장면과 정확하게 닮지 않아도 괜찮다는 것입니다.”라고 말합니다. “우리의 조종 방법을 사용함으로써 우리는 더 넓은 분포와 샘플을 ‘더 잘’ 추구할 수 있습니다. 즉, 실제로 로봇을 훈련시키고 싶은 다양하고 현실적이며 작업에 맞춰진 장면을 만드는 것입니다.”

이러한 거대한 장면은 다양한 물체와 상호 작용하는 가상 로봇을 녹화할 수 있는 시험장이 되었습니다. 예를 들어, 기계는 포크와 나이프를 수저 홀더에 조심스럽게 배치하고 다양한 3D 설정에서 빵을 접시에 재배열했습니다. 각 시뮬레이션은 적응형 장면 생성이 언젠가 훈련에 도움이 될 수 있는 실제 조종 가능한 로봇과 유사하여 유연하고 현실적으로 보였습니다.

이 시스템은 로봇에 대한 다양한 훈련 데이터를 생성하는 데 있어 흥미로운 경로가 될 수 있지만 연구원들은 그들의 작업이 개념 증명이라고 말합니다. 앞으로 그들은 고정된 자산 라이브러리를 사용하는 대신 생성 AI를 사용하여 완전히 새로운 개체와 장면을 만들고 싶어합니다. 또한 로봇이 열거나 접을 수 있는 연결된 물체(예: 음식이 담긴 캐비닛이나 항아리)를 포함하여 장면을 보다 상호 작용적으로 만들 계획입니다.

가상 환경을 더욱 현실적으로 만들기 위해 Pfaff와 그의 동료들은 인터넷의 이미지에서 가져온 개체 및 장면 라이브러리를 사용하고 “Scalable Real2Sim”에 대한 이전 작업을 사용하여 실제 개체를 통합할 수 있습니다. AI가 만든 로봇 시험장이 얼마나 다양하고 활기차게 확장될 수 있는지를 확장함으로써 팀은 많은 데이터를 생성할 사용자 커뮤니티를 만들고 이를 지능형 로봇에게 다양한 기술을 가르치는 거대한 데이터 세트로 사용할 수 있기를 희망합니다.

논문에는 참여하지 않았지만 Amazon Robotics의 행동 과학자인 Jeremy Binagia는 “오늘날 시뮬레이션을 위한 사실적인 장면을 생성하는 것은 꽤 어려운 작업이 될 수 있습니다. 절차적 생성은 쉽게 많은 수의 장면을 생성할 수 있지만 로봇이 현실 세계에서 접하게 될 환경을 대표하지 못할 가능성이 높습니다. 맞춤형 장면을 수동으로 생성하는 것은 시간과 비용이 많이 듭니다.”라고 말합니다. “작업 장면 생성은 기존 장면의 대규모 컬렉션을 기반으로 하는 생성기라는 더 나은 접근 방식을 제공합니다. 모델을 훈련하고 특정 다운스트림 애플리케이션에 맞게 최적화합니다(강화 학습과 같은 전략 사용). 기성 비전 언어 모델을 활용하거나 2D 그리드에 개체를 배열하는 데만 초점을 맞춘 이전 작업과 비교할 때 이 접근 방식은 물리적 타당성을 보장하고 전체 3D 변환 및 회전을 고려하여 더 흥미로운 장면을 생성할 수 있습니다. “

논문에 참여하지 않은 Toyota Research Institute의 로봇공학자 Rick Corey SM ’08, PhD ’10은 “훈련 후 및 추론 시간 검색을 통해 작동 가능한 장면 생성은 대규모 장면 생성을 자동화하기 위한 새롭고 효율적인 프레임워크를 제공합니다”라고 말합니다. “게다가 다운스트림 작업에 중요하다고 생각되는 ‘전에는 본 적 없는’ 장면을 생성할 수 있습니다. 앞으로 이 프레임워크를 대규모 인터넷 데이터와 결합하면 실제 배포를 위한 효율적인 로봇 훈련을 향한 중요한 이정표를 열 수 있습니다.”

Pfaff는 MIT의 전기 공학 및 컴퓨터 과학, 항공 및 우주 공학, 기계 공학과의 Toyota 교수인 수석 저자 Russ Tedreke와 함께 논문을 작성했습니다. Toyota Research Institute의 대규모 행동 모델 담당 수석 부사장; 및 CSAIL 수석 조사관. 다른 저자로는 Toyota Research Institute 로봇 공학 연구원 Hongcai Dai SM ’12, PhD ’16; 팀 리더이자 선임 연구 과학자 Sergei Zakharov; Carnegie Mellon University의 박사 과정 학생인 Shun Iwase도 있습니다. 그들의 작업은 부분적으로 Amazon과 Toyota Research Institute의 지원을 받았습니다. 연구진은 지난 9월 CORL(Conference on Robot Learning)에서 자신들의 연구 결과를 발표했습니다.