Google, 머신러닝과 3D 비전 기술로 VR 게임 플레이어의 얼굴을 바깥으로 재현
  •  VR헤드셋을 착용하면 플레이어의 얼굴을 볼 수 없어, 옆에서 구경하는 사람들은 플레이어가 게임을 플레이 하면서 어떤 표정을 짓는 지 파악하는 것이 어려움
           – 최근 여러 유튜버들이 VR 게임을 플레이 하는 영상을 업로드하고 있으나, 유튜버의 얼굴이 헤드셋에 가려져 일반적인 게임 플레이 영상에 비해 몰입도가 떨어진다는 지적
  •  Google은 머신러닝과 3D비전을 활용하여, 헤드셋으로 인해 가려진 VR게임 플레이어의 얼굴을 바깥으로 재현하는 기술을 개발
    – Google의 Machine Perception팀, Daydream Labs팀, YouTube Space 녹음팀이 협업하여 ‘헤드셋 제거 (Headset Removal)’ 프로젝트를 개발
  • 첫 번째로 플레이어는 VR헤드셋을 착용하기 이전에 얼굴을 360도로 3D캡처를 하게 되며, 안구의 움직임을 모든 방향에서 포착
VR게임 플레이어가 마치 투명 헤드셋을 착용하고 있는 것과 같은 효과
  • 다음 단계는 혼합현실(MR)로 게임 플레이를 녹화하는 것이며, 이 단계에서 Google의 Daydream팀과 YouTube Space 팀이 합류

    – 그린 스크린, HDMI 캡처 카드가 내장된 강력한 PC, 비디오 카메라, 엑스트라 Vive 콘트롤러로 구성된 환
    경에서 녹화가 진행되며 게임 플레이를 전면, 후면, 알파 채널, 1인칭 시점의 사분면으로 분할하여 녹화

    – 녹화 이전에 실제 카메라의 시점을 카메라 내의 시점이 일치하도록 조정해야 하며, 이러한 과정은 매우 수
    고스럽고 복잡

  • Google은 Vive 헤드셋의 전면에 사진 지표(fiducial mark)를 부착하여 얼굴 스캔 모델을 움직이는 헤드셋에 자동 조정으로 적용

    – SMI 안구 트래킹 하드웨어를 사용해 플레이어가 어디를 바라 보는 지 파악한 후, 3D로 플레이어의 얼굴을
    재현

  • 사분면으로 분할해 녹화한 게임 플레이 영상과 플레이어의 얼굴을 3D로 재현해 헤드셋에 투사한 영상을 합치는 것이 작업의 최종 단계

    – 최종적으로 완성된 영상은 플레이어가 마치 투명 헤드셋을 착용하고 게임을 플레이 하는 것처럼 보이며,
    Google은 이러한 효과를 ‘스쿠버 마스크 효과(scuba mask effect)’로 명명

출처: http://www.strabase.co.kr/contents/view.php?num=21335