제한 된 학습 데이터 를 이용 한 물체 탐지 와 6 자유 도 자세 추정 
 박기 루 ( Kiru Park ) ( Technische Universitat Wien ( TU Wien / 비엔나 공대 ) ) 
 이메일 : park at acin . tuwien . ac . at 
 최근 에 코로나 바이러스 로 인해 로봇 을 이용 해서 사람 이 할 일 을 대체 하 는 것 에 대한 기술 에 관심 이 커지 고 있 습니다 . 이미 산업 자동 화 분야 에선 로봇 기술 이 직 / 간접 적 으로 보급 이 되 어 쓰이 고 있 습니다 . 하지만 , 환경 이 정해져 있 고 할 일 이 반복 적 인 산업 현장 보다 , 우리 일상 생활 은 훨씬 불 확실 하 고 복잡 하 다 보 니 로봇 이 할 수 있 는 일 은 바닥 청소 나 길 안내 , 정보 제공 등 의 기능 에 머물러 있 는 것 같 습니다 . 실생활 의 복잡 한 환경 을 이해 하 고 로봇 이 제대로 일 을 하 기 위해선 사람 이 시각 정보 에 주로 의지 를 하 는 것 처럼 , 로봇 의 눈 , 즉 카메라 를 통해 주변 환경 과 사물 을 인식 하 는 능력 이 반드시 보장 되 어야 합니다 . 저 와 제 가 속한 연구실 에서 하 는 연구 가 바로 로봇 에 있 는 카메라 를 이용 하 여 주변 환경 을 인식 하 고 , 알맞 은 행동 을 하 도록 돕 는 로봇 비전 이 라는 분야 입니다 . 
 그 중 에서 도 저 는 로봇 이 물건 을 옮기 거나 제자리 에 돌려 놓 는 등 의 일 을 하 는데 필요 한 Object Pose estimation 이 라는 주제 로 박사 과정 기간 내내 연구 를 해 오 고 있 습니다 . 더 쉽 게 표현 하 자면 , 3 차원 공간 상 에서 물체 가 어디 에 있 고 어떤 방향 으로 ( 누워 있 는지 , 앞면 이 보이 는지 , 뒷면 이 보이 는지 등 ) 놓여 있 는지 를 인식 하 는 것 입니다 . 이 정보 를 알 면 이 물체 의 어디 를 잡 아야 더욱 안 전하 게 잡 을 수 있 는지 를 쉽 게 결정 할 수 있 게 되 고 , 또 미리 사용 자 가 입력 해 놓 은 방식 으로 ( 또는 물건 이 쓰러지 지 않 는 방향 으로 ) 물건 을 제자리 에 가져다 놓 을 수 도 있 게 됩니다 . 이 분야 는 약 10 년 전 에 Microsoft 의 Kinect 가 널리 보급 되 면서 연구 가 훨씬 활발 해 지 게 되 었 는데요 , 무엇 보다 Depth camera 를 통해 각 이미지 pixel 들 이 카메라 로부터 얼마나 멀리 떨어져 있 는지 를 알 게 되 어 , 타깃 물체 의 3 D Model 정보 가 있 다면 Model 의 3 차원 포인트 들 과 현재 카메라 로 측정 된 포인트 들 의 비교 를 통해 더욱 정확 하 게 물체 의 위치 를 측정 해 내 는 게 가능 해졌 습니다 . 이 전 에 는 저렴 한 단안 카메라 만 사용 하 면 깊이 정보 를 정확히 추정 하 기 어려워 로봇 에 활용 하 기 는 어려웠 고 , 그 당시 깊이 정보 의 측정 이 가능 한 스테레오 카메라 들 이 상당 한 고가 였었 기 때문 입니다 . 이후 Depth camera 관련 기술 은 계속 발전 해 왔 고 , 근래 에 산업 용 로봇 에서 사용 되 는 비전 Solution 들 이 대부분 Depth 정보 를 얻 을 수 있 는 카메라 를 주로 사용 하 고 , 특히 , 박스 안 의 물건 을 집 어 올리 는 Bin - picking 작업 에 널리 사용 이 되 고 있 습니다 . 
 * Neural Object Learning 설명 및 결과 동영상 ( ECCV 2020 논문 ) 
 최근 몇 년 사이 에 는 빅 데이터 를 이용 한 딥 러닝 기술 들 의 발전 으로 컬러 이미지 를 이용 한 물체 탐지 , 세 그 멘 테 이 션 등 다양 한 인식 문제 들 의 성능 이 많이 좋 아 지 게 되 었 습니다 . Pose Estimation 분야 도 마찬가지 로 큰 변화 를 맞이 하 게 됩니다 . 무엇 보다 큰 변화 는 Depth camera 가 없이 도 상당히 정확 한 Pose 의 측정 이 가능 하 게 된 것 은 물론 , GPU 연산 의 도움 을 받 으면 거의 실시간 으로 물체 의 Pose 추정 이 가능 하 게 되 었 다는 점 입니다 . 사실 로봇 도메인 에서 는 Depth camera 가 대부분 달려 있 기 도 하 고 , 물체 의 Pose 추정 이 굳이 실시간 수준 으로 빠르 지 않 더라도 다른 부분 에 들어가 는 시간 이 많 아서 이러 한 발전 이 큰 장점 으로 다가오 지 않 을 수 있 지만 , 로봇 외 에 Pose estimation 연구 를 상당히 필요 로 하 게 된 분야 가 있 습니다 . 대표 적 인 분야 가 바로 증강현실 ( Augmented reality ) 또는 혼합 현실 ( Mixed Reality ) 분야 입니다 . 증강현실 에서 가장 흔한 데모 가 바로 물체 를 태블릿 이나 스마트폰 카메라 로 찍 고 있 으면 실시간 으로 그 물체 의 사용법 에 대한 설명 을 입혀서 화면 에 보여 주 는 것 인데 , 이때 물체 의 위치 와 방향 을 알 아야 사람 이 카메라 를 움직이 는 것 에 맞춰서 설명 도 같이 보여 줄 수 있 게 되 는데 , 이때 태블릿 이나 스마트폰 에 있 는 일반 카메라 를 사용 하 여 실시간 으로 정보 를 보여 줘야 합니다 . 따라서 , Depth 카메라 없이 도 실시간 으로 자세 추정 을 하 는 최근 의 연구 추세 는 증강현실 이나 가상현실 분야 에 좀 더 유용 한 방향 이 라고 볼 수 있 습니다 . 물론 로봇 도메인 에서 도 Depth 의 측정 이 어려운 물체 ( 투명 한 물체 , 빛 반사 율 이 높 은 물체 , 얇 은 물체 ) 나 물체 의 형상 은 비슷 한데 , 텍스처 가 다른 경우 ( 예 : 같 은 크기 의 시리얼 박스 인데 겉면 의 상표 프린팅 이 다른 경우 ) 등 에 는 컬러 정보 가 중요 하 기 때문 에 , Depth 카메라 의 한계 를 보완 해 주 는 측면 에서 컬러 이미지 를 이용 한 물체 인식 분야 의 발전 은 , 로봇 의 시각 인지 능력 의 발전 에 도 큰 도움 이 되 고 있 습니다 . 
 제 가 주로 하 는 연구 의 방향 도 최근 의 흐름 과 크 게 다르 지 는 않 습니다 . RGB 이미지 에서 정보 를 빠르 게 파악 해서 보다 정확 하 게 목표 물체 를 탐지 하 고 Pose 를 추정 하 는 것 입니다 . 작년 에 한국 에서 열렸 던 ICCV 는 컴퓨터 비전 분야 에서 가장 큰 학회 중 하나 인데요 , 이곳 에서 Pix 2 Pose 라는 제목 의 논문 을 발표 했 고 , 이 방법 도 기본 적 으로 는 RGB 이미지 만 을 이용 해서 빠르 고 정확 하 게 목표 물체 의 Pose 를 측정 하 는 연구 였 습니다 . 사실 이런 Pose 측정 문제 를 풀 다 보 면 가장 골치 아픈 부분 이 바로 대칭 성 을 가진 물체 ( Symmetric object ) 들인 데요 , 일반 적 인 박스 모양 의 물체 들 을 생각 해 보 면 , 그 박스 가 앞 으로 놓여 있 든 뒤 로 놓여 있 든 카메라 에 는 거의 똑같이 보이 는 경우 가 있 을 것 입니다 . 이런 경우 , 인식 기 가 학습 을 어려워 합니다 . 왜냐하면 똑같 은 그림 을 놓 고 언제 는 앞 이 라고 답 하 라고 시키 다가 정반대 의 답인 뒤 라고 답 하 게 시키 는 거 나 마찬가지 이 기 때문 이 죠 . 그래서 , Pix 2 Pose 논문 에서 는 앞 이나 뒤 둘 다 골라도 정답 이 되 도록 인식 기 의 학습 방식 을 설계 하 였 고 , 이 를 통해 다른 방법 들 보다 는 대칭 성 을 띠 는 물체 가 많 은 데이터 셋 을 이용 한 평가 에서 높 은 성능 향상 을 보였 습니다 . 오픈 소스 로 도 공개 된 Pix 2 Pose 코드 는 이후 연구실 동료 들 에 의해 Visual Serving 을 자동 초기 화 하 는 연구 로 도 발전 되 었 고 , 실제 로봇 을 이용 해 물체 를 들 어 올리 고 사람 에게 전달 하 거나 선반 에 올려 놓 는 연구 에 도 활발히 활용 이 되 는 중 입니다 . 
 * Pix 2 Pose 논문 설명 및 결과 동영상 ( ICCV 2019 논문 ) 
 하 지만 , Pix 2 Pose 를 포함 해서 최근 Pose estimation 연구 를 현실 시나리오 들 에 적용 하 려면 넘 어야 할 벽 은 여전히 많 습니다 . 특히 대부분 의 연구 가 CAD 모델 을 이용 하 여 렌더링 한 Synthetic image 에 의존 하 고 있 다는 사실 도 큰 벽 중 의 하나 입니다 . 정말 사진 과 같 은 이미지 를 얻 으려면 그만큼 정교 한 3 D 모델 이 필요 하 거든요 . 하지만 , 당장 내 가 가지 고 있 는 컵 하나 인식 시키 고 로봇 에게 일 을 시키 고 싶 은데 , 3 D 모델 은 당연히 없 고 학습 을 위한 이미지 도 없 고 , 이미지 를 수집 한다고 하 더라도 물체 의 Pose 를 손 으로 하나하나 이미지 에 기록 하 는 것 이 쉬운 일 이 아닌 거 든 요 . 그래서 최근 에 는 “ 어떻게 실제 환경 에서 사람 의 도움 없이 이런 학습 데이터 를 로봇 스스로 모아서 사용 하 게 할 것 인가 ? ” 라는 질문 을 해결 하 는 방향 으로 연구 를 해 오 고 있 습니다 . 물체 들 이 평소 처럼 책상 위 에 막 놓여 있 고 , 로봇 이 그 책상 을 요리 보 고 저리 보 고 하 면서 책상 위 에 있 는 물체 학습 에 필요 한 데이터 를 수집 하 면 좋 겠 다는 아이디어 인데 , 이런 걸 Object modeling 이나 Object learning 이 라고 보통 표현 합니다 . 올 8 월 에 대표 적 인 비전 학회 중 하나 인 ECCV 에서 발표 하 게 될 Neural Object Learning 논문 에서 이러 한 방향 으로 방법 론 과 함께 새로운 데이터 셋 ( SMOT Dataset ) 을 제안 하 였 습니다 . 이 논문 에선 이전 방법 들 이 3 D 모델 에 정교 하 게 입혀진 texture 정보 를 활용 하 거나 평균 180 장 이상 의 실제 이미지 를 물체 하나 를 학습 하 는 데 에 사용 하 였 던 것 에 반해 최대 16 장 의 이미지 만 가지 고 도 이전 방법 들 수준 의 높 은 성능 을 얻 을 수 있 음 을 보여 주 었 습니다 . SMOT Dataset 은 학습 데이터 와 테스트 데이터 모두 모바일 로봇 을 이용 하 여 수집 하 였 고 , 학습 데이터 도 사람 의 입력 없이 self - annotation 되 어 실제 로봇 이 사무실 이나 집 에서 얻 을 수 있 는 데이터 현실 을 반영 하 였 습니다 . 앞 으로 도 이렇게 로봇 이 스스로 물체 에 대한 Visual 정보 를 학습 하 고 , 실제 안전 한 Manipulation 으로 이 어 갈 수 있 는 방향 으로 연구 를 이 어 나갈 예정 입니다 . 
 2 . 6 D Pose Estimation 이 라는 개념 이 좀 생소 한데요 . 3 D 가 아닌 6 D 의 의미 와 6 D Pose Estimation 의 정의 에 대해 자세히 설명 부탁 드립니다 . 
 - 앞서 짧 게 설명 해 드렸 듯이 보통 3 D 또는 3 차원 은 3 차원 공간 상 의 점 을 표현 하 는 데 쓰 입니다 . 쉽 게 말 해 3 차원 의 점 은 X , Y , Z 총 3 가지 값 으로 정의 가 되 어 3 degree of freedom ( DOF ) 인 것 이 죠 . 하지만 물체 의 Pose 는 이렇게 점 으로 만 정의 가 되 지 않 겠 지요 , 똑같이 0 , 0 , 0 좌표 에 있 어도 물체 가 어느 방향 으로 누워 있 냐 , 서 있 느냐 에 따라 그 물체 의 상황 이 다르 게 표현 되 어야 하 니까요 . 그리고 이런 물체 의 방향 을 설명 하 는 데 최소한 으로 필요 한 숫자 가 바로 3 개 입니다 . 보통 Rigid body 물체 에 대해 Rotation 을 가장 간단히 정의 하 는 방법 이 Euler angle 로 나타내 는 방법 입니다 . x 축 , y 축 , z 축 으로 돌아가 며 몇 도 씩 회전 을 시켰 느냐 를 값 으로 표현 하 는 방법 이 죠 . 그래서 3 개 의 점 좌표 ( Translation ) 와 3 개 의 회전 값 ( Rotation ) 을 합친 6 D 값 을 알아맞히 는 것 이 6 D pose estimation 에서 추정 하 고자 하 는 목표 값 입니다 . 
 - 6 D Pose estimation 이 라는 task 가 성립 되 기 위해선 타깃 물체 의 3 D model 이나 기준 좌표계 가 필요 합니다 . 타깃 물체 가 자체 적 으로 가지 고 있 는 기준 좌표계 를 어떤 6 개 의 값 으로 Transform 시켜야 카메라 좌표계 에서 현재 의 이미지 처럼 보이 게 될 것 인지 를 추정 하 는 것 이 바로 pose estimation 입니다 . 이렇게 6 D 자세 값 을 추정 할 수 있 게 되 면 , 3 D 모델 이나 물체 의 좌표계 상 에 직접 그 물건 을 안 전하 게 잡 을 수 있 는 Grasp 자세 를 미리 저장 해 놓 거나 , 증강현실 에서 표시 할 정보 들 을 미리 입력 해 놓 고 , 추정 된 6 D 값 을 그대로 적용 해서 현재 카메라 좌표계 상 에 정보 들 을 물체 의 자세 에 맞춰 따라다니 며 표현 할 수 가 있 습니다 . 
 3 . 작년 한국 에서 열린 ICCV 에서 발표 된 논문 으로 BOP Challenge 참가 를 하 셨 던데 이 에 대해 자세히 설명 을 부탁드립니다 . 
 BOP Challenge 는 Benchmark for 6 D Object Pose Estimation Challenge 의 약자 로 지난 2017 년 부터 주요 Pose estimation 데이터 셋 들 을 가지 고 연구자 들 이 경쟁 하 는 대회 입니다 . 총 11 개 의 데이터 셋 이 사용 되 고 7 개 가 Core Dataset 이 라고 하 여 각 방법 의 데이터 셋 들 에 대한 평균 성능 을 측정 하 는 데 사용 되 었 습니다 . 저 는 작년 에 Pix 2 Pose 방법 으로 이 대회 에 참가 하 였 습니다 . 사실 논문 에서 제안 했 던 방법 과 파라미터 들 이 렌더링 된 Synthetic 이미지 들 에 최적 화 되 어 있 진 않 아서 몇몇 데이터 에서 성능 이 좋 지 않 았 지만 , 로봇 시나리오 를 감안 하 고 있 는 두 가지 데이터 셋 에서 최고 성능 을 거두 었 습니다 . 바로 , Yale - CMU - Berkley 대학 이 로봇 Grasping benchmark 의 표준 화 를 위해 배포 한 물체 를 이용 하 여 만들 어 진 YCB - V 데이터 셋 과 Rutgers 대학 에서 Amazon picking challenge 를 위해 만든 RU - APC 데이터 셋 입니다 . 재미있 는 사실 은 , 이 BOP Challenge 에서 2017 년 2019 년 연속 으로 종합 우승 을 차지 한 방법 은 10 년 전 에 발표 된 Point Pair Feature ( PPF ) 를 이용 한 방법 입니다 . 3 D 모델 과 Depth Image 에서 매우 간단 한 Feature 를 뽑 아서 매칭 하 는 방법 인데 , 딥 러닝 방법 의 발전 속 에서 도 여전히 강력 함 을 보여 주 었 습니다 . 앞서 말씀 드렸 듯이 최근 딥 러닝 기반 방법 들 은 Color image 만 을 이용 하 기 에 학습 이미지 나 가상 으로 생성 된 이미지 들 이 테스트 환경 의 조명 환경 등 을 제대로 반영 하 지 못하 는 경우 가 많 아서 , 상대 적 으로 테스트 환경 에 영향 을 덜 받 는 Depth image 기반 의 방법 인 PPF 가 높 은 성능 을 보였 습니다 . 반 대로 Depth image 기반 의 방법 들 은 depth image 의 품질 이 좋 지 않 거나 ( RU - APC ) , 비슷 한 모양 인데 겉 에 Texture 가 다른 물체 가 많 은 경우 ( YCB - V ) 에 는 성능 이 좋 지 못하 였 습니다 . 아마 , 향후 엔 이 두 단점 을 보완 한 좋 은 방법 이 1 위 자리 를 차지 하 게 되 지 않 을까 생각 합니다 . 올해 ECCV 2020 에서 도 작년 에 이어서 Challenge 가 열리 는데 결과 를 눈여겨보 면 재미있 을 것 같 습니다 . 
 4 . 주로 물체 를 인식 하 고 , 자세 를 측정 하 는 연구 를 많이 하 시 는 거 같 습니다 . 연구 의 궁극 적 인 목적 과 활용 방법 을 알 고 싶 습니다 . 
 - Object Pose 가 가장 필요 한 분야 는 바로 로봇 Manipulation 분야 이 고 저 의 주 타깃 분야 도 이 방향 입니다 . 로봇 이 산업 현장 에서 나 사무실 이나 , 가정 에서 나 쓸모 있 는 임무 를 수행 하 려면 주변 환경 을 인식 하 고 무엇 보다 사람 이 사용 하 는 물체 들 을 잘 이해 해야 합니다 . 그리고 그 물체 를 로봇 팔 로 안 전하 게 들 어서 누구 에게 전달 하 거나 , 책장 이나 선반 에 차곡차곡 잘 정리 하 는 것 이 아마 로봇 에게 바라 는 큰 작업 중 하나 일 것 입니다 . 그 과정 에서 필요 한 정보 가 바로 Object pose 입니다 . 물체 가 어떤 물체 인지 인식 하 고 그 Pose 를 알 게 되 면 , 그 다음 엔 어디 를 어떻게 잡 을지 , 어떻게 예쁘 게 놓 을지 는 미리 로봇 에게 입력 되 거나 학습 시켜 놓 은 정보 를 바탕 으로 쉽 게 결정 을 할 수 있 습니다 . 이렇게 물체 의 Pose 를 이용 한 Manipulation 은 로봇 에게 어떤 물체 에서 만지 면 안 되 는 부분 ( 약한 부분 ) 이나 물체 마다 적절 한 Grasp pose 를 학습 시킬 수 있 기 때문 에 " 드릴 은 꼭 손잡이 를 잡 는다 ", " 물병 은 옆 으로 잡 는 게 좋 다 " 등 해당 물체 에 특화 된 정보 를 로봇 에게 전달 할 수 있 다는 장점 이 있 습니다 . 이런 장점 은 강화 학습 이나 오브젝트 와 상관없이 Grasping 에 만 초점 을 맞춘 Grasp estimation 방법 과 는 대조 적 입니다 . 최근 에 는 Simulation 기술 이 발전 하 면서 Robot 의 행동 들 을 Simulation 상 으로 미리 수행 해 보 거나 , 현재 Robot 행동 에 대한 결과 를 Simulation 과 실제 센서 입력 값 과 비교 하 면서 비 정상 적 상황 을 감지 하 는 Digital twin 환경 을 구축 하 는 데 도 Pose estimation 은 매우 중요 한 역할 을 합니다 . 실제 환경 에 물건 이 어떻게 놓여 있 는지 알 아서 , Simulation 공간 에 있 는 물건 들 도 똑같 은 방식 으로 배치 할 수 있 기 때문 입니다 . 
 로봇 분야 말 고도 , 요즘 가장 뜨겁 다고 할 수 있 는 컴퓨터 비전 분야 에서 도 많 은 관심 을 받 는 분야 입니다 . 가장 큰 컴퓨터 비전 학회 중 하나 인 CVPR 에 도 올해 10 편 이 넘 는 논문 이 이 분야 에서 나왔 거든요 . 그리고 이렇게 된 배경 중 하나 는 증강현실 , 가상현실 기기 의 보급 과 발전 이 있 다고 개인 적 으로 생각 합니다 . 제 ICCV 논문 발표 후 에 여러 회사 에서 연락 이 왔었 는데 그 중 80 % 정도 가 증강현실 ( Augmented Reality ) 과 가상현실 ( Virtual Reality ) 을 개발 하 거나 연구 하 는 곳 이 었 고 , 20 % 가 로봇 과 관련 된 일 을 하 는 곳 이 었 다는 사실 도 이 사실 을 간접 적 으로 뒷받침 하 는 것 같 습니다 . 개인 적 으로 는 조금 놀라운 사실 이 기 도 했 는데 , 이 를 계기 로 증강현실 분야 에서 는 어떻게 이 연구 들 이 사용 되 는지 관심 을 두 고 알아보 게 되 기 도 하 였 습니다 . 증강현실 이란 쉽 게 말 해서 현재 카메라 로 찍혀서 들어오 고 있 는 이미지 위 에 유용 한 정보 를 입혀서 보여 줘야 하 죠 . 가장 친근 한 예 가 아마 Snapchat 이나 스노우 카메라 앱 에서 얼굴 사진 에 각종 필터 효과 를 실시간 으로 보여 주 는데 , 사람 이 얼굴 을 좌우 로 움직여도 그 필터 가 마스크 처럼 딱 달라붙 어 따라다니 게 하 는 것 이 증강현실 에서 필요 한 요소 들 을 다 보여 주 는 사례 인 것 같 습니다 . 이런 기능 을 잘 구현 하 려면 , 사람 의 얼굴 , 눈 , 코 , 입 의 위치 를 찾 고 ( Detection ) , 그 방향 을 추정 하 고 ( Pose Estimation ) , 계속 움직이 는 동안 놓치 지 않 고 따라다니 는 ( Tracking ) 기술 이 필요 합니다 . 마찬가지 로 , 실생활 또는 산업 현장 에서 증강현실 기술 이 적용 되 는 사례 로 는 , 어떤 새로운 기계 의 사용법 을 카메라 가 현재 이 사람 이 어디 를 보 고 있 는지 를 따라다니 면서 화면 에 직접 띄워 주 는 경우 를 생각 할 수 있 습니다 . 이게 가능 하 게 하 려면 기존 에 로봇 을 위해 개발 되 어 오 던 SLAM 기술 로 현재 3 차원 공간 상 에서 카메라 가 어디 있 는지 를 아 는 것 이 중요 하 고 , 카메라 앞 에 물체 가 어떻게 놓여 있 는지 를 아 는 것 또한 중요 합니다 . 지금 물체 의 앞 을 보 고 있 는지 뒤 를 보 고 있 는지 에 따라 보여 줘야 하 는 설명 이 달라질 수 있 으니까요 . 최근 6 D Pose estimation 분야 가 주로 단안 컬러 카메라 ( Monocular camera ) 만 을 활용 하 는 방향 으로 발전 하 고 있 는 이유 도 태블릿 PC 나 스마트폰 에 있 는 일반 카메라 를 이용 해서 증강현실 기술 을 구현 하 기 위한 것 이 라고 도 볼 수 있 습니다 . 증강현실 말 고도 , 제조 된 물체 가 얼마나 CAD 모델 과 똑같이 나왔 는지 를 카메라 로 측정 하 는 Visual inspection 분야 에서 도 CAD 모델 을 먼저 정확히 주어진 이미지 와 Align 시키 고 그 오차 를 분석 해야 하 므로 Pose estimation 방법 들 이 사용 됩니다 . 
 - 단기 적 으로 는 ECCV 발표 될 논문 ( Neural Object Learning ) 의 내용 을 좀 더 발전 시켜서 , 로봇 이 사전 에 Object 에 대한 어떤 정보 도 없이 실제 환경 에서 여러 물체 를 동시 에 스스로 학습 하 는 방향 으로 연구 를 할 예정 입니다 . 이 부분 까지 완성 해야 제 박사 논문 의 마지막 퍼즐 이 맞춰 지 거든요 . 그러 고 나 면 스스로 에겐 만족 하 는 졸업 을 할 수 있 을 것 같 아요 . - 박사 졸업 후 진로 는 이제 조금 씩 찾 아 나가 야 하 지만 , 희망 사항 이 라면 어디 를 가 든 기존 에 있 는 방법 론 들 의 성능 을 조금 씩 높이 는 연구 보다 는 실제 환경 에 기존 방법 들 을 적용 하 기 위해 넘 어야 할 산 들 을 하나 씩 넘어가 는 그런 연구 를 계속 해 나가 고 싶 습니다 . 그게 로봇 분야 일 수 도 있 고 증강현실 이나 컴퓨터 비전 분야 일 수 도 있 는데 , 올해 가 끝 나기 전 엔 조금 씩 구체 화 가 되 리라 믿 고 있 습니다 . 
 6 . 현재 소속 된 TU Wien 의 ACIN , Vison for Robotics Group 에 대해서 소개 를 부탁드리 고 이쪽 으로 오 시 게 된 계기 도 궁금 합니다 . 
 - 저 는 현재 오스트리아 비엔나 공대 ( TU Wien ) 에서 박사 과정 중 으로 , 소속 은 Automation and Control Institute ( ACIN ) , 그 중 에서 도 Vision for Robotics ( V 4 R ) 연구 그룹 에 속해 있 습니다 . 그룹 의 이름 에서 도 알 수 있 듯이 로봇 에 필요 한 Vision 기술 들 을 연구 하 는 그룹 이 고 , 궁극 적 으로 는 로봇 이 카메라 를 통해 세상 을 잘 이해 해서 필요 한 작업 을 수행 하 는 것 을 목표 로 합니다 . 특히 , 실내 에서 어질러진 방 을 로봇 스스로 인식 하 고 정리 하 고 청소 할 수 있 는 시나리오 를 목표 로 필요 기술 들 을 조금 씩 발전 시켜 나가 고 있 습니다 . 이 에 필요 한 기술 이 라면 먼저 전체 집안 환경 을 모델링 하 고 학습 할 수 있 는 실내 3 D reconstruction 기술 을 연구 하 고 , 기존 의 scene 과 현재 scene 이 어떻게 다른지 비교 해서 어떤 새로운 물건 이 옮겨 지 거나 했 는지 detect 하 는 연구 , 처음 보 는 물체 를 알맞 게 segmentation 하 거나 분류 ( classification ) 하 는 연구 , 제 가 하 는 물체 의 pose estimation 연구 , 측정 된 Pose 를 물리 시뮬레이션 등 을 통해 더 정확 하 게 만드 는 연구 , 그리고 측정 된 Pose 를 바탕 으로 물체 를 집 고 누구 에게 주 거나 , 선반 등 에 올려놓 은 방법론 등 에 대해 연구 들 도 하 고 있 습니다 . 이런 연구 를 바탕 으로 수행 했 던 대표 적 인 프로젝트 로 는 EU Project 인 STRANDS 와 Squirrel 이 있 는데요 . STRANDS 는 사무실 이나 병원 등 공공 장소 에서 긴 기간 동안 지속 적 이 고 안 전하 게 로봇 이 임무 를 수행 하 도록 하 기 위한 연구 를 하 는 프로젝트 였 습니다 . 우리 연구실 에서 주로 맡 았 던 연구 는 사무실 을 돌아다니 면서 새로 보이 는 물건 이 있 으면 로봇 이 스스로 해당 물체 를 학습 하 고 나중 에 사람 이 그 물건 의 이름 을 알려 주 면 그 이후 에 인식 을 할 수 있 게 만드 는 연구 를 하 였 습니다 . Squirrel 이 라는 프로젝트 는 유치원 에서 아이 들 과 함께 장난감 정리 를 하 는 로봇 을 연구 하 는 것 인데 , 다양 한 종류 의 장난감 ( 특히 인형 처럼 Rigid 하 지 않 은 물건 들 … ) 을 안 전하 게 집 어 올리 면서 동시 에 어린이 들 의 돌발 상황 이나 행동 에 도 안전 을 꼭 보장 하 는 시스템 을 연구 하 였 습니다 . 비록 오스트리아 가 나라 는 크 지 않 고 해서 한국 에 많이 알려져 있 진 않 지만 , 제 가 속한 연구실 은 오스트리아 에서 는 대표 적 인 로봇 연구실 이 고 유럽 내 로봇 연구 그룹 중 에서 비전 분야 로 는 손꼽히 는 연구실 이 라고 자부 하 고 있 습니다 . 
 이곳 으로 온 계기 가 있 다면 , 30 세 라는 나이 가 다시 학위 를 시작 하 기 에 는 빠른 나이 는 아니 었 기 에 각종 시험 준비 에 거의 1 년 정도 는 공 을 들여야 하 고 보통 코스 웍 까지 2 년 정도 채워야 하 는 미국 보다 는 , 교수 님 과 서로 동의 가 되 면 거의 바로 박사 연구 를 시작 할 수 있 고 , 코스 웍 에 대한 로드 가 거의 없 는 유럽 쪽 을 좀 더 고려 하 게 되 었 습니다 . 회사 에서 일 했 던 6 년 이 란 긴 시간 동안 코딩 한 줄 안 하 고 연구 를 쉬 었 기 때문 에 , 그 시간 에 최근 연구 들 공부 하 고 필요 한 이론 을 다지 며 무장 을 하 다가 바로 연구 를 시작 하 는 게 낫 겠 다는 판단 이 었 습니다 . 그리고 , 이곳 은 박사 과정 연구원 이 연구 프로젝트 에 참여 하 는 경우 그 대우 가 정부 연구소 에서 근무 하 는 정규직 근로자 와 크 게 다르 지 않 고 , 휴가 등 복지 정책 도 잘 되 어 있 어서 , 연구 와 삶 의 균형 을 잘 맞출 수 있 겠 다는 기대 도 컸 던 것 같 습니다 . 더불 어 , 비 엔 나라 는 도시 자체 가 너무 매력 적 으로 보였 던 점 도 있 습니다 . 세계 에서 살 기 좋 은 도시 1 위 로 매년 소개 되 는데 도대체 얼마나 살 기 좋 은 곳 일까 궁금 하 기 도 했 습니다 . 어느덧 4 년 이 란 시간 이 흐른 지금 돌아봐도 , 하 고 싶 은 연구 자유 롭 게 하 고 가족 과 도 시간 을 충분히 보내 며 지낸 만족 스러웠 던 시간 이 었 던 것 같 습니다 . 
 * Kenny ( Squirrel 프로젝트 ) 작동 영상 
 7 . 영향 을 받 은 연구자 가 있 다면 ? 또한 어떤 영향 을 받 으셨는지 궁금 합니다 . 
 - 제일 먼저 , 현재 지도 교수 님 인 Markus Vincze 교수 님 과 제 동료 들 이 저 의 연구 에 는 가장 영향 을 많이 줬 다고 생각 합니다 . 학회 가 서 도 제 연구 분야 논문 보이 면 바로 바로 알려 주 고 생각 을 공유 해 주 고 , 서로 도와 가 며 지금 까지 연구 해 오 고 있 으니까요 . 특히 제 가 하 고 싶 어 하 는 연구 주제 와 방향 , 의견 에 늘 Wonderful 을 외치 며 , 단 한 번 도 No 를 한 적 이 없 는 지도 교수 님 덕 에 자신 있 게 제 주제 를 고민 하 고 계속 발전 시킬 수 있 었 던 것 같 습니다 . 
 연구 하 는 과정 에서 는 , 연구실 에 Pose estimation 을 직접 하 는 사람 이 없 었 기 때문 에 Pose Estimation 쪽 으로 그동안 많 은 연구 를 해 왔 던 세계 의 많 은 연구자 에게 모두 영향 을 받 은 것 같 습니다 . 주로 유럽 에서 연구 가 활발 한 편 이 기 도 해서 대부분 유럽 에 계신 분 들 인데 , 그분 들 과 연구실 구성 원분 들 이 저 에겐 스승 과 도 존재 였 다고 할 수 있 습니다 . 특히 같 은 오스트리아 내 TU Graz 의 Vincent Lepetit 교수 님 을 비롯 하 여 뮌헨 공대 의 Slobodan Ilic , Nassir Navab , Federico Tombari , 그리고 EPFL 의 Pascal Fua , NVIDIA / 워싱턴 대의 Dieter Fox , Imperial College London 의 김태균 교수 님 등 훌륭 한 그룹 의 연구 와 논문 들 은 박사 과정 초기 에 교과서 처럼 활용 되 었 고 많 은 공부 가 되 었 습니다 . 지금 도 이 분야 의 연구 방향 과 이슈 를 파악 하 기 위해 해당 그룹 의 논문 을 열심히 읽 고 공부 하 고 있 습니다 . 
 - 더불 어서 , 안정 적 인 직장 생활 을 하 고 있 던 제 삶 을 , 불 확실 하 지만 큰 꿈 을 키울 수 있 는 연구 의 세계 로 다시 돌아오 게 하 는 데 있 어서 , 가장 큰 영향 을 준 사람 을 꼽 으라면 당연히 제 석사 과정 때 사수 였 던 구성 용 박사 님 입니다 . 구 박사 님 은 예전 에 본 대학 에 있 을 때 신진 연구자 인터뷰 도 하 셨 던 거 로 기억 하 는데 , 지금 은 Pick it 3 D 라는 로봇 에 비전 솔루션 을 제공 하 는 회사 의 한국 Country Director 로 근무 중 이 십니다 . 저 에게 갑자기 독일 에 있 는 학교 들 과 독일 내 박사 과정 의 특징 에 관해 설명 을 해 주 시 면서 박사 유학 어떠 냐고 물 어 보 시 더라고요 . 마침 그때 가 알 파고 가 이세돌 9 단 을 격파 하 면서 인공지능 의 새로운 바람 이 불어올 때 였 고 , 저 도 비록 석사 졸업 이후 로봇 연구 는 안 하 고 있 었 지만 , 집 에 3 D 프린터 와 각종 장비 를 구비 해 놓 고 취미 로 로봇 을 만들 고 있 으면서 " 취미 로 하 기 엔 너무 재밌 다 " 라는 생각 을 하 고 있 었 거든요 . 마침 그때 그렇게 정보 를 알 게 되 니 유학 을 적극 적 으로 고려 하 게 되 었 던 것 같 아요 . 지금 연구실 도 구성 용 박사 님 통해서 처음 알 게 되 었 고 , 연구 주제 가 제 가 하 고 싶 은 분야 와 비슷 해서 따로 메모 해 놓 았 다가 박사 Open position 공고 를 보 고 지원 을 하 기 도 했 고요 . 지금 도 인생 의 선배 로서 늘 영향 을 받 는 중 입니다 . 그리고 유학 을 결심 하 는 과정 에 있 어서 , 한 사람 이 아닌 한 집단 에 영향 을 많이 받 았 는데 , 바로 " 로봇 공학 열린 모임 ( 로 열모 ) " 입니다 . 회사 에 다니 는 중 이 어서 적극 적 으로 참여 를 하 진 못했 지만 , 이곳 에 올라오 는 각종 로봇 과 관련 된 소식 , 그리고 운 영진 들 의 열정 , 그리고 운 영진 중 한 분 이 셨 던 표 윤석 박사 님 의 하루 짜리 ROS 강의 에 참여 했 던 건 저 를 자극 하 면서 동시 에 연구 의 기본 지식 을 쌓 는 데 큰 도움 이 되 었 던 것 같 아요 . 이 자리 를 빌려서 그 커뮤니티 를 딱 그 시기 에 키워 주 시 고 활발 한 모습 , 진짜 로봇 하 는 즐거움 을 보여 주 셨 던 모든 분 들 에게 감사 를 드리 고 싶 습니다 . 
 - 로봇 연구 를 하 는 사람 답 게 , 로봇 이 뭔가 제대로 일 을 해내 면 그때 만큼 기쁠 때 가 없 는 것 같 습니다 . 사실 석사 연구 를 로봇 분야 로 하 면서 느낀 점 이 … ' 아 로봇 은 정말 생각 보다 똑똑 하 지 않 구나 … 갈 길 이 멀 구나 ' 였 고 , 그 로 인해 로봇 이 아닌 다른 분야 로 진로 를 선택 했었 거든요 . 하지만 최근 인공지능 기술 발전 덕 에 로봇 도 아주 똑똑 해졌 고 이제 는 할 수 있 는 일 이 점점 많 아 지 고 실제로 잘 하 게 되 었 어요 . 특히 , 제 가 구현 한 방법 이 제공 해 주 는 물체 의 자세 정보 가 다양 한 환경 에서 도 안정 적 으로 정확 한 Pose 를 제공 해 주 고 , 로봇 이 큰 실수 없이 임무 를 수행 하 고 있 는 걸 볼 때 보람 을 많이 느낀 것 같 아요 . 최근 에 는 미국 의 한 로봇 스타트업 에서 제 논문 의 공식 구현 코드 로 로봇 실험 을 하 고 있 는데 잘 된다고 감사 하 다는 연락 도 받 고 , 다른 연구자 들 이 제 연구 를 하 고 다른 실험 을 올려서 하 는 것 을 보 면 이 분야 에 작 지만 기여 를 하 고 있 다는 느낌 도 받 습니다 . 그리고 Pose estimation 쪽 연구자 들 이 대부분 Computer vision 중심 의 연구 를 하 고 있 어 로봇 에 대해 잘 모르 거나 경험 이 없 는 데 반해 , 저 의 경우 연구실 에 로봇 도 많 고 , Pose estimation 결과 를 바로 바로 로봇 에서 테스트 하 고 실제 문제 를 발견 하 고 해결 할 수 있 다는 점 에서 좀 차별 화 되 는 장점 이 있 다고 자부심 도 가지 고 있 습니다 . 
 9 . 이 분야 로 진학 ( 사업 ) 하 려는 후배 들 에게 조언 을 해 주 신다면 ? 
 - 저 는 6 년 이나 일 하 던 직장 을 나와 새로운 분야 로 박사 진학 을 한 입장 으로서 , 혹시 공부 하 거나 연구 하 고 싶 은 게 있 는데 현재 하 는 직업 , 전공 과 관련 이 없 어서 망설이 는 분 들 에게 도움 이 되 실까 하 여 조언 보다 는 저 의 이야기 를 간략히 해드려 볼까 합니다 . 이전 직장 에서 는 자동차 에서 인간 공학 에 관한 연구 와 업무 를 하 였 는데 , 한마디 로 아예 비전 분야 와 관련 이 없 었 습니다 . 그러 다가 , 로봇 비전 분야 에 관심 을 두 고 , 유학 을 준비 하 면서 , 퇴근 하 고 나 면 유튜브 로 컴퓨터 비전 분야 수업 도 듣 고 논문 도 읽 어 보 고 , 직접 구현 도 하 면서 한 6 개월 정도 지냈 던 것 같 습니다 . 육아 까지 해야 했 던 상황 이 라 공부 할 시간 이 되 면 몸 이 천근만근 이 었 지만 , 회사 에서 하 는 일 보다 훨씬 재밌 고 , 더 오래오래 하 고 싶 다고 생각 했 던 것 같 아요 . 그러다가 마침 딱 하 고 싶 은 연구실 에서 박사 과정 을 뽑 는다는 공고 를 보 고 6 개월 동안 했 던 프로젝트 들 동영상 과 느낀 점 , 박사 과정 가 면 하 고 싶 은 연구 를 커버 레터 에 구구절절 써서 보냈 고 , 이렇게 유학 을 오 게 되 었 습니다 . 밤 에 모든 일과 를 마쳐야 만 할 수 있 던 연구 를 아침 부터 퇴근 시간 까지 마음껏 하 니 너무 좋 더라고요 . 그런 즐거움 이 졸업 을 위해 마무리 단계 에 있 는 지금 까지 도 계속 이어지 고 있 는 것 을 보 면 , 지난 결정 들 에 후회 는 없 는 것 같 습니다 . 혹시 , 비슷 한 상황 에 계신 분 이 있 어 새로운 분야 로 의 도전 을 고려 하 고 계신다면 , 마치 파일럿 테스트 를 하 듯 퇴근 후 에 새로운 분야 를 공부 하 고 도전 해 보 면서 정말 즐길 만 한 일 인지 확인 해 보 면 좋 지 않 을까 생각 합니다 . 그 일 을 정말 아침 부터 저녁 까지 계속 해도 즐거울 수 있 다는 확신 이 든다면 . .. 그리고 주변 의 상황 이 허락 된다면 , 더 늦 기 전 에 도전 해 보 시 기 를 감히 추천 해 드리 고 싶 네요 . 다만 , 이런 즐거움 을 유지 할 수 있 는 확신 이 드 는 좋 은 곳 을 찾 는 것 이 먼저 일 테 니 끊임없 는 정보 수집 도 필수 입니다 . 
 10 . 다른 하 시 고 싶 은 이야기 들 . 
 - 로봇 비전 분야 가 다소 생소 하 실 수 있 는데 긴 글 읽 어 주 셔서 감사 드리 고 이렇게 인터뷰 에 초대 해 주 셔서 감사 합니다 . 로봇 비전 연구자 로 새롭 게 살아온 시간 이 길 지 않 아 아직 내세울 만 한 연구 가 많 지 는 않 지만 , 이 기회 에 제 지난 4 년 간 의 연구 를 돌아볼 수 있 었 던 소중 한 기회 였 던 것 같 습니다 . 오스트리아 에 도 이런 연구 하 는 그룹 이 있 다는 사실 을 알릴 수 도 있 게 되 어 정말 기쁩니다 . 앞 으로 도 메릭 의 무궁 한 발전 을 기원 합니다 . 
 *. 박기 루 박사 의 최근 ( 대표 ) 논문 
 - Kiru Park , Timothy Patten , and Markus Vincze , Neural Object Learning for 6 D Pose Estimation Using a Few Cluttered Images , European Conference on Computer Vision ( ECCV ) , Spotlight ( to appear ) , 2020 
 - Kiru Park , Timothy Patten , and Markus Vincze , Pix 2 Pose : Pixel - wise Coordinate Regression of Objects for 6 D Pose Estimation , International Conference on Computer Vision ( ICCV ) , Oral , 2019 
 - Kiru Park , Timothy Patten , Johann Prankl , and Markus Vincze , Multi - Task Template Matching for Object Detection , Segmentation and Pose Estimation Using Depth Images , International Conference on Robotics and Automation ( ICRA ) , 2019 
 - Timothy Patten , Kiru Park , and Markus Vincze , DGCM - Net : Dense Geometrical Correspondence Matching Network for Incremental Experience - based Robotic Grasping , Frontiers in Robotics and AI [ under revision ] , 2020 
 - Kiru Park , Johann Prankl , and Markus Vincze , Mutual Hypothesis Verification for 6 D Pose Estimation of Natural Objects , International Conference on Computer Vision Workshop ( ICCVW ) , 2017