출처 : 인공지능신문(https://www.aitimes.kr)

이전의 많은 연구들은 하나의 손 또는 손과 물체가 상호작용하는 상황을 고려하여 포즈를 추정하는 것에 초점을 두고 있다. 또한 이미지에서 손의 위치 상자가 주어져 있다고 가정하여 손 포즈를 추정하는 모델의 입력으로 손 영역을 기준으로 자른 이미지를 사용한다.

하지만 실제상황에서 사람들은 물체와 상호작용을 할 때 양손을 모두 사용하며 손의 위치 상자에 대한 정보는 주어지지 않는다.

UNIST(총장 이용훈) 인공지능대학원 백승렬 교수팀이 지난 10월 24일 ‘유럽컴퓨터비전학회(ECCV 2022’에서 주최한 HBHA(Human Body, Hands and Activities from Egocentric and Multi-view Cameras) 대회에서 우수한 성적을 거뒀다.


손 포즈 추정을 위한 모델 계략도
HBHA 대회는 1인칭 및 다시점 카메라를 활용해 3D 신체 포즈, 손 포즈, 행동 인식 등 관련 응용 프로그램 모델의 성능을 겨루는 자리로 대회는 4개 챌린지로 구성됐다. 백승렬 교수팀은 손 포즈 추정 및 행동 예측 분야 등 총 2개의 챌린지에서 수상해 주목받았다.

첫 번째 챌린지는 1인칭 시점에서 손 포즈를 예측하는 문제가 출제됐다. 백 교수팀은 추가적인 후처리 없이 단일 RGB 이미지로부터 손 포즈를 예측하는 모델을 제시해 1등을 수상했다.


손 포즈 예측 결과
두 번째는 1인칭 시점에서 행동을 예측하는 문제였다. 백 교수팀은 손 포즈와 물체의 포즈를 단서로 활용하여 행동을 예측하는 모델을 제시하여 2등을 수상했다.

김동욱 UNIST AI대학원 석사과정 연구원은 “이전에는 사전에 정의한 손의 위치 및 포즈들 중에 영상의 손과 가장 유사한 것을 선택하여 개선하는 방식”이었으나 “이번에 제시한 예측 모델은 사전에 정의한 가정 없이 더 정확한 손 포즈를 예측할 수 있다”고 설명했다.


김동욱 UNIST AI대학원 석사과정
또한 조호성 UNIST AI대학원 석사과정 연구원은 “1인칭 시점에서의 행동 예측은 손 포즈와 물체의 포즈의 변화가 중요한 단서로 활용될 수 있다”며 “이번에 제시한 모델을 활용하면 손 포즈와 물체의 포즈로 행동을 예측할 수 있다”고 강조했다.

백승렬 AI대학원 교수는 “손 포즈와 행동 인식은 다양한 어플리케이션에서 활용되며 계속해서 성장해나가는 분야이다. 우리 연구실은 국내뿐만 아닌 세계적으로 경쟁력을 인정받은 기술을 제시했다”며 “앞으로도 연구에 매진하여 좋은 성과를 지속적으로 내도록 노력하겠다”고 밝혔다.

한편, ECCV는 세계 최고권위 컴퓨터비전 학회로, 1990년 시작돼 17차례 연례행사를 진행했다. 전 세계의 연구자가 모여 연구성과와 정보를 공유하고, 미래 컴퓨터비전 산업과 기술을 논하는 자리다.

이번 학회에선 ‘동작과 동작 인식’, ‘몸짓과 포즈’, ‘데이터셋과 평가’, ‘동작 추적’, ‘신경 생성 모델’ 등의 분야에서 약 6000편의 논문이 소개됐다.