제목: 손을 다루는 컴퓨터 비전 작업들을 위한 멀티모달 합성 데이터 생성 방법
저자: 이창화, 이선경, 김동욱, 정찬양, 백승렬
초록:
본 논문에서는 3D 메시 정보, RGB-D 손 자세 및 2D/3D 손/세그먼트 마스크를 포함하여 인간의
손과 관련된 다양한 컴퓨터 비전 작업에 사용할 수 있는 새로운 다중 모달 합성 벤치 마크를 제안
하였다. 생성된 데이터셋은 기존의 대규모 데이터셋인 BigHand2.2M 데이터셋과 변형 가능한 3D 손
메시 (mesh) MANO 모델을 활용하여 다양한 손 포즈 변형을 다룬다. 첫째, 중복되는 손자세를 줄
막으로, 다중 모달리티 데이터를 생성한다. 손 관절, 모양 및 관점의 데이터 공간을 기존 벤치 마크의
이기 위해 전략적으로 샘플링하는 방법을 이용하고 3D 메시 모델을 샘플링 된 손에 적합시킨다. 3D
메시의 모양 및 시점 매개 변수를 탐색하여 인간 손 이미지의 자연스러운 가변성을 처리한다. 마지
여 생성된 데이터가 양질의 질과 양을 가짐을 보여준다. 제안된 데이터가 RGB 기반 3D 손 포즈 추
데이터 공간과 비교한다. 이 과정을 통해 제안된 벤치 마크가 이전 작업의 차이를 메우고 있음을 보
여주고, 또한 네트워크 훈련 과정에서 제안된 데이터를 사용하여 RGB 기반 손 포즈 추정 실험을 하
을 가속화할 것으로 기대된다.
정 및 시맨틱 손 부분 분할과 같은 품질 좋은 큰 데이터셋이 부족하여 방해되었던 작업에 대한 발전
목록