연구팀의 시연 모습(사진:영상갈무리)
인간의 손은 34개의 근육과 27개의 관절, 그리고 100개 이상의 힘줄이 정교하게 협업하는 신체에서 가장 민첩한 부위다. 이러한 손의 미세한 움직임을 로봇이나 가상 환경에서 그대로 재현하는 것은 로봇공학의 오랜 난제였다. 최근 MIT 연구진은 이 문제를 해결할 혁신적인 '초음파 손목밴드' 기술을 발표하며 피지컬 AI(Physical AI)와 원격 제어 분야에 새로운 표준을 제시했다.
MIT 기계공학과 쉬안허 자오(Xuanhe Zhao) 교수팀은 손가락을 움직이는 근육과 힘줄이 마치 인형을 조종하는 ‘줄(strings)’과 같다는 점에 주목했다. 연구진은 스마트워치 크기의 초음파 스티커를 손목밴드에 통합하여, 사용자가 손을 움직일 때 발생하는 손목 내부의 역동적인 변화를 실시간 영상으로 촬영하는 데 성공했다.
인공지능(AI)과 초음파 이미징을 결합한 이번 기술은 로보틱스와 가상현실(VR) 인터페이스의 새로운 전환점을 제시할 것으로 평가된다.
초음파 이미징 시스템으로 밴드 내부에 장착된 초음파 센서는 피부를 투과해 근육과 인대의 수축·이완 과정을 연속적인 영상 데이터로 생성한다. 이는 카메라가 필요 없어 시각적 장애물에 구애받지 않으며, 기존 전신 센서 장갑이 가졌던 움직임의 제약도 완벽히 해소했다. 단순히 영상을 찍는 것을 넘어, 이를 로봇이 이해할 수 있는 명령으로 바꾸는 핵심 역할은 인공지능이 수행한다.
패턴 인식과 라벨링으로 연구팀은 손가락과 손바닥이 가질 수 있는 22가지의 자유도(degree of freedom)를 정의하고, 각 동작 시 나타나는 초음파 영상의 특정 패턴을 AI에게 학습시켰다.
실시간 추론은 학습된 AI 알고리즘은 사용자의 손목 영상에서 미세한 변화를 감지하는 즉시, 이를 손가락의 위치와 각도로 변환하여 로봇에게 전송한다. 이를 통해 인간의 복잡한 수수(手手) 동작을 지연 시간 없이 디지털화할 수 있게 되었다.
연구팀은 이번 기술의 실용성을 증명하기 위해 다양한 시연을 선보였다. 손목밴드를 착용한 사용자가 허공에서 손가락을 움직이자, 무선으로 연결된 로봇 손이 실시간으로 따라 하며 피아노 건반을 눌러 간단한 멜로디를 연주하고 책상 위 농구 골대에 공을 던지는 등 고난도의 정밀 작업을 수행했다.
또한, 가상 현실(VR) 응용에서는 동일한 밴드로 컴퓨터 화면 속의 가상 물체를 집어 올리거나, 손가락을 오므려 물체를 확대·축소하는 등 직관적인 인터페이스로서의 가능성도 입증했다.
이번 MIT의 연구는 단순히 로봇을 원격 조종하는 도구를 넘어, 휴머노이드 로봇 학습을 위한 ‘고품질 데이터 생성기’로서의 가치가 더 크다. 연구진은 향후 다양한 사용자의 손 동작 데이터를 축적하여 대규모 데이터셋을 구축할 계획이며, 이는 외과 수술이나 정밀 조립 등 정교한 작업이 필요한 피지컬 AI의 숙련도를 높이는 데 결정적인 역할을 할 것으로 보이며 초음파 이미징과 AI의 결합은 인간의 신체 지능을 로봇에게 이식하는 가장 진보된 방식이 될 것으로 전망된다.
이번 연구는 MIT 기계공학과 자오 쉬안허 교수가 주도했으며, 연구 결과는 국제 학술지 네이처 일렉트로닉스(Nature Electronics)에 '웨어러블 손목 이미징을 이용한 손동작 추적(Hand tracking using wearable wrist imaging-
보기
)'란 제목으로 25일(현지시간) 게재됐다.(아래는 연구팀의 실시간 손 동작 추적기 소개 영상)
댓글
0