숨겨진 물체의 모양을 재구성하는 새로운 이미징 기술

MIT 연구진이 개발한 새로운 이미징 기술을 사용하면 창고의 품질 관리 로봇이 판지 배송 상자를 살펴보고 포장 땅콩 아래에 묻혀 있는 머그컵의 손잡이가 부러졌는지 확인할 수 있습니다.

그들의 접근 방식은 Wi-Fi에서 사용되는 것과 동일한 유형의 신호인 밀리미터파(mmWave) 신호를 활용하여 시야에서 차단된 물체의 정확한 3D 재구성을 생성합니다.

파도는 플라스틱 용기나 내부 벽과 같은 일반적인 장애물을 통과하여 이동할 수 있으며 숨겨진 물체에 반사될 수 있습니다. mmNorm이라는 시스템은 이러한 반사를 수집하여 물체 표면의 모양을 추정하는 알고리즘에 입력합니다.

이 새로운 접근 방식은 은식기류 및 전동 드릴과 같이 복잡하고 모양이 복잡한 일상적인 물체에서 96%의 재구성 정확도를 달성했습니다. 최첨단 기준 방법은 78%의 정확도만을 달성했습니다.

또한 mmNorm은 높은 정확도를 달성하기 위해 추가 대역폭이 필요하지 않습니다. 이러한 효율성 덕분에 이 방법은 공장에서 생활 보조 시설에 이르기까지 다양한 환경에서 사용될 수 있습니다.

예를 들어, mmNorm을 사용하면 공장이나 집에서 일하는 로봇이 서랍에 숨겨진 도구를 구별하고 손잡이를 식별할 수 있으므로 물체를 손상시키지 않고 보다 효율적으로 잡고 조작할 수 있습니다.

“우리는 꽤 오랫동안 이 문제에 관심을 가져왔지만 이전 방법은 수학적으로 훌륭했지만 우리가 가야 할 방향으로 나아가지 못했기 때문에 문제에 봉착했습니다.”라고 전기 공학 및 컴퓨터 과학과 부교수이자 MIT 미디어 랩 신호 역학 그룹 이사이자 이러한 신호를 사용하여 새로운 종류의 응용 프로그램을 잠금 해제하기 위해 반세기 이상 사용된 방법을 비교할 수 있는 논문의 수석 저자인 Fadel Adib는 말합니다. 저는 매우 다른 접근 방식을 생각해내야 했습니다.” mmNorm에서.

Adeeb에는 연구 조교 Laura Dodds, 수석 저자 Tara Boroushaki 및 전 박사후 연구원 Caichen Zhou가 합류했습니다. 이 연구는 최근 모바일 시스템, 애플리케이션 및 서비스에 관한 연례 국제 컨퍼런스에서 발표되었습니다.

이미지를 생각하다

기존 레이더 기술은 mmWave 신호를 보내고 환경으로부터 반사를 수신하여 숨겨진 물체나 멀리 있는 물체를 탐지하는데, 이 기술을 역투영이라고 합니다.

이 방법은 구름에 가려진 비행기와 같은 큰 물체에 적합하지만 로봇이 인식해야 할 주방 도구와 같은 작은 물체에는 이미지 해상도가 너무 낮습니다.

이 문제를 연구하면서 MIT 연구진은 기존 역투영 기술이 반사성이라는 중요한 속성을 무시한다는 사실을 깨달았습니다. 레이더 시스템이 mmWave를 전송하면 파동이 거의 모든 표면에서 거울처럼 작용하여 정반사를 생성합니다.

표면이 안테나를 향하면 신호는 물체에서 안테나를 향해 반사되지만, 표면이 다른 방향을 향하면 반사가 레이더에서 반사되어 수신되지 않습니다.

“반사성에 의존하여 우리의 아이디어는 환경에서 반사의 위치뿐만 아니라 그 지점에서 표면의 방향도 추정하는 것입니다.”라고 Dodds는 말했습니다.

그는 공간의 특정 지점에서 표면의 방향인 표면 법선을 추정하고 이러한 추정치를 사용하여 해당 지점에서 표면의 곡률을 재구성하기 위해 MMNorm을 개발했습니다.

mmNorm은 공간의 각 지점에서 표면 법선 투영을 결합하여 특수 수학적 공식을 사용하여 3D 개체를 재구성합니다.

연구원들은 숨겨진 물체 주위를 움직일 때 지속적으로 측정을 수행하는 로봇 팔에 레이더를 부착하여 MMNorm 프로토타입을 만들었습니다. 시스템은 서로 다른 위치에서 수신된 신호의 강도를 비교하여 물체 표면의 곡률을 추정합니다.

예를 들어, 안테나는 직접 향하는 표면에서 가장 강한 반사를 수신하고 안테나를 직접 향하지 않는 표면에서는 약한 신호를 수신합니다.

레이더의 여러 안테나는 어느 정도 반사를 받기 때문에 각 안테나는 수신하는 신호의 강도에 따라 표면의 일반적인 방향을 “투표”합니다.

Dodds는 “일부 안테나는 매우 강한 투표를 가질 수 있고 일부는 매우 약한 투표를 가질 수 있으며 모든 안테나 위치가 동의하는 표면 법선을 만들기 위해 모든 투표를 함께 추가할 수 있습니다”라고 Dodds는 말합니다.

또한 mmNorm은 공간의 모든 지점에서 표면 법선을 추정하므로 가능한 많은 표면을 생성합니다. 올바른 것에 초점을 맞추기 위해 연구원들은 컴퓨터 그래픽의 기술을 빌려 수신된 신호를 가장 잘 나타내는 표면을 선택하는 3D 기능을 만들었습니다. 그들은 이것을 사용하여 최종 3D 재구성을 생성합니다.

더 나은 설명

팀은 머그 손잡이 및 곡선과 같은 복잡한 모양의 개체를 60개 이상 재현하는 mmNorm의 능력을 테스트했습니다. 이는 최첨단 방법보다 약 40% 적은 오류로 재구성을 수행하는 동시에 물체의 위치에 대한 보다 정확한 추정치를 생성합니다.

그들의 새로운 기술은 같은 칸에 숨겨져 있는 포크, 나이프, 스푼과 같은 여러 물체도 구별할 수 있습니다. 나무, 금속, 플라스틱, 고무, 유리 등 다양한 재질로 만들어진 물체와 여러 재료가 결합된 물체에는 잘 작동하지만, 금속 뒤에 숨겨져 있거나 매우 두꺼운 벽에 숨겨져 있는 물체에는 작동하지 않습니다.

Boroushaky는 “우리의 질적 결과는 실제로 그 자체로 입증됩니다. 그리고 눈에 띄는 개선으로 인해 새로운 작업에 고해상도 3D 재구성을 사용하는 응용 프로그램을 더 쉽게 개발할 수 있게 되었습니다.”라고 말했습니다.

예를 들어, 로봇은 상자 안의 여러 도구를 구별하고, 망치 손잡이의 정확한 크기와 위치를 확인한 다음, 이를 집어 작업에 사용할 계획을 세울 수 있습니다. 증강 현실 헤드셋과 함께 mmNorm을 사용하면 공장 작업자가 물체를 완전히 가까이서 실시간 이미지로 볼 수 있습니다.

또한 기존 보안 및 국방 애플리케이션에 통합할 수 있어 공항 보안 스캐너나 군사 정찰 중에 숨겨진 물체를 보다 정확하게 재구성할 수 있습니다.

연구자들은 향후 연구에서 이러한 응용 분야와 기타 잠재적인 응용 분야를 탐구하고 싶어합니다. 그들은 기술의 해상도를 향상시키고, 반사가 적은 물체에 대한 성능을 향상시키며, mmWaves가 더 두꺼운 장애물을 통해 효과적으로 이미지화할 수 있기를 원합니다.

Dodds는 “이 작업은 실제로 이러한 신호와 3D 재구성 프로세스에 대해 생각하는 방식의 패러다임 전환을 나타냅니다. 여기서 얻은 통찰력이 어떻게 더 광범위한 영향을 미칠 수 있는지 기대됩니다.”라고 말합니다.

이 작업은 국립과학재단(National Science Foundation), MIT 미디어 랩 및 Microsoft의 일부 지원을 받습니다.