[영상] 눈으로 로봇 조종···전자기기 정밀 제어 '스마트 렌즈' 개발

UNIST, 로봇 팔 원격 제어 스마트 콘택트렌즈 선보여

안구 방향 따라 움직여 다양한 전자기기 정밀 제어 기대

정임두 기계공학가 교수 연구팀에 로봇팔을 원격 제어 가능한 스마트 콘택트렌즈를 개발했다. 영상은 로봇팔 조종 시연 모습.[영상=울산과학기술원]

눈짓만으로 로봇을 움직일 수 있는 스마트 콘택트렌즈가 개발됐다. 렌즈를 낀 채 안구를 굴리면, 로봇 팔이 안구 방향을 따라 움직여 다양한 전자 기기를 정밀하게 제어할 수 있을 것으로 기대된다.

울산과학기술원(UNIST·총장 박종래)은 정임두 기계공학과 교수 연구팀이 로봇 팔을 원격 제어할 수 있는 스마트 콘택트렌즈를 개발했다고 15일 밝혔다. 센서를 렌즈에 직접 인쇄하는 특수 기술과 센서의 저해상도 신호를 고해상도로 복원하는 AI 기술을 결합해 가능했다.

개발한 렌즈 위에는 100개(10x10)의 빛 검출 센서가 집적돼 있다. 연구진에 따르면 눈을 움직일 때 마다 달라지는 빛 분포를 이 센서가 읽어내 시선 방향을 추적하는 원리로 작동한다.  연구 관계자는 "위·아래·좌·우는 물론 대각선 방향까지 구분할 수 있으며, 이 시선 정보가 로봇 팔로 전달돼 팔이 움직인다. 안구의 깜박임으로 물건을 집을 수도 있다"고 설명했다.

이 렌즈의 또 다른 특징은 둥근 렌즈 표면에 센서를 직접 프린팅할 수 있도록 '메니스커스 픽셀 프린팅(MPP)' 기술을 개발해 적용한 점이다. 노즐 끝에 맺힌 센서 원료 잉크를 렌즈 표면에 콕콕 찍어내는 형태의 기술이다. 메니스커스는 액체의 볼록하거나 오목한 곡면을 말하는데, 이 곡면 덕분에 잉크가 배출되는 힘과 잉크 퍼짐을 막는 힘이 균형을 이뤄 잉크를 원하는 양만큼 찍어낼 수 있다. 잉크를 건조하면 빛을 감지하는 페로브스카이트 물질만 남아 센서 역할을 하게 된다.

렌즈라는 작은 공간 탓에 신호 해상도가 떨어지는 문제는 인공지능 기술을 결합해 해결했다. 연구진에 따르면 실제로는 100개의 센서가 있지만, 딥러닝 기반의 초해상도 기술을 적용하면 최대 6,400개(80x80)의 센서가 있는 것과 같은 신호 데이터를 얻을 수 있다. 재구성에 필요한 시간도 0.03초로 짧아 정보가 실시간 수준으로 로봇 팔에 전달될 수 있다.

연구진은 센서를 렌즈에 직접 인쇄하는 특수 기술과 센서의 저해상도 신호를 고해상도로 복원하는 AI 기술을 결합해 로봇팔 원격 제어 콘택트렌즈를 개발했다.[사진=울산과학기술원]

연구진은 안구 모형을 이용한 실험에서 눈동자 움직임만으로 물체를 집어 옮기는 동작까지 성공했다. 방향 인식정확도는 99.3% 수준을 기록했다.

연구를 총괄한 정임두 교수는 "별도의 컨트롤러 없이 인간의 시각 정보를 로봇 제어 신호로 직접 변환하는 고도화된 인간-기계 상호작용(HRI) 시스템 구현이 가능함을 증명했다"며 "차세대 초경량 XR 인터페이스 장치로서 눈의 움직임만으로 다양한 전자 기기를 정밀하게 제어할 수 있다는 점에서, 증강현실 기반 산업용 로봇 원격 제어, 재난·재해 환경에서의 탐사 로봇 운용, 국방 분야의 무인체계 및 드론 조종, 의료 및 재활 지원 시스템, 스마트 모빌리티 인터페이스 등 다양한 분야로 확장될 수 있는 잠재력을 지닌다"고 말했다.

연구 결과는  재료 과학 분야 세계적 학술지 '어드밴스드 펑셔널 머티리얼즈'에 지난 3월 11일 게재됐다.