연구진은 시각과 촉각 정보를 연결하는 '미러 터치 넷'을 개발하여 로봇이 타인의 촉감을 예측하고 반응하도록 했습니다. 이 기술은 시각적, 분포적, 기하학적 정렬을 통해 로봇의 시각적 표현을 촉각 정보와 일치시킵니다. 개발된 기술은 인간의 손에 대한 촉각 예측 및 반사적 반응을 가능하게 합니다.
미러 터치 넷은 1,140개의 택셀에 걸쳐 밀리미터 단위의 촉각 신호를 RGB 이미지로부터 예측할 수 있으며, 시각적 표현을 촉각 정보의 기하학적 구조와 일치시키는 방식으로 작동합니다. 이 과정을 통해 로봇은 타인의 촉감을 예측하고 반응하는 능력을 갖추게 됩니다.
연구 결과는 시각-촉각 공명의 신경학적 원리를 로봇 인식에 연결하여, 예측 촉각 및 공감적 인간-로봇 상호작용을 위한 기반을 마련합니다. 관련 코드는 GitHub에서 확인할 수 있습니다.