GENERATING A DISPLACEMENT MAP OF AN INPUT DATASET PAIR OF IMAGE OR AUDIO DATAThe invention is a method and an apparatus for generating a displacement map of a first input dataset and a second input dataset of an input dataset pair. The apparatus comprises - a neural network based feature extractor (25) for processing the first input dataset and the second input dataset so as to generate a feature map hierarchy (50) comprising a base pair of feature maps (20e, 30e) and a refinement pair of feature maps (20b, 30b, 20c, 30c, 20d, 30d), a displacement unit comprising a first comparator unit for obtaining an initial displacement map using the base pair of feature maps (20e,30e); and - a displacement refinement unit for obtain an updated displacement map for the refinement pair of feature maps (20d, 30d).A method for generating a displacement map of a first input data set and a second input data set of a pair of input data sets, each input data set having at least one spatial dimension and/or a temporal dimension, the method comprising the steps of:-processing the first input dataset and the second input dataset by means of a neural network based feature extractor (25) to generate a feature map hierarchy (50), the feature map hierarchy (50) comprising feature map base pairs (20e, 30e) and feature map refinement pairs (20b, 30b, 20c, 30c, 20d, 30d), each pair of feature maps (20b, 30b, 20c, 30c, 20d, 30d, 20e, 30e) constituting one level of the feature map hierarchy (50), the resolution of the feature map refinement pairs (20b, 30b, 20c, 30c, 20d, 30d) in all of at least one spatial and/or temporal dimension thereof being less coarse than the resolution of the feature map base pairs (20e, 30 e);-generating an initial displacement map for the feature map base pair (20e, 30e) in the feature map hierarchy (50) in a displacement generation operation based on matching a first feature map of the feature map base pair (20e, 30e) with a second feature map of the feature map base pair (20e, 30 e);-in a shift refinement operation:-upscaling all dimensions of the initial displacement map in at least one spatial and/or temporal dimension thereof to the scale of the feature map refinement pairs (20b, 30b, 20c, 30c, 20d, 30d) in the feature map hierarchy (50) using respective upscaling factors, and multiplying values of the initial displacement map with the respective upscaling factors to generate an upscaled initial displacement map,-generating a warped version of the first feature map in the feature map refinement pair (20b, 30b, 20c, 30c, 20d, 30d) by performing a warping operation using the upscaled initial displacement map on a first feature map in the feature map refinement pair (20b, 30b, 20c, 30c, 20d, 30d) in the feature map hierarchy (50),-matching the warped version of the first feature map in the feature map refinement pair (20b, 30b, 20c, 30c, 20d, 30d) with the second feature map in the feature map refinement pair (20b, 30b, 20c, 30c, 20d, 30d) to obtain a corrected displacement map for the warped version of the first feature map in the feature map refinement pair (20b, 30b, 20c, 30c, 20d, 30d) and the second feature map in the feature map refinement pair (20b, 30b, 20c, 30c, 20d, 30d), the corrected displacement map being added to the upscaled initial displacement map to obtain an updated displacement map.
입력 데이터 세트 쌍의 변위 맵을 생성하는 방법 및 장치본 발명은 입력 데이터 세트 쌍의 제 1 입력 데이터 세트 및 제 2 입력 데이터 세트의 변위 맵을 생성하는 방법 및 장치이다. 장치는 다음을 포함한다 - 특징 맵들의 기본 쌍(20e, 30e)과 특징 맵들의 정제 쌍(20b, 30b, 20c, 30c, 20d, 30d)을 포함하는 특징 맵 계층 구조(50)를 생성하기 위한 제 1 입력 데이터 세트와 제 2 입력 데이터 세트를 처리하는 신경망 기반 특징 추출기(25), - 특징 맵들의 기본 쌍(20e, 30e)을 사용하여 초기 변위 맵을 얻기 위한 제 1 비교기 유닛을 포함하는 변위 유닛; 그리고 - 특징 맵들의 정제 쌍(20d, 30d)에 대한 업데이트된 변위 맵을 얻기 위한 변위 정제 유닛(도 2)입력 데이터 세트 쌍의 제 1 입력 데이터 세트 및 제 2 입력 데이터 세트의 변위 맵을 생성하는 방법으로서, 각 입력 데이터 세트는 적어도 하나의 공간 차원 및/또는 시간 차원을 가지며, 방법은- 특징 맵들의 기본 쌍(20e, 30e) 및 특징 맵들의 정제쌍(20b, 30b, 20c, 30c, 20d, 30d)을 포함하는 특징 맵 계층 구조(50)를 생성하되, 특징 맵들의 각 쌍(20b, 30b, 20c, 30c, 20d, 30d, 20e, 30e)은 특징 맵 계층 구조(50)의 한 레벨을 구성하고, 특징 맵들의 정제 쌍(20b, 30b, 20c, 30c, 20d, 30d)은 특징 맵들의 기본 쌍(20e,30e)보다 적어도 하나의 공간 차원 및/또는 시간 차원 모두에서 덜 거친 해상도를 갖는, 신경망 기반 특징 추출기(25)에 의해 제 1 입력 데이터 세트 및 제 2 입력 데이터 세트를 프로세싱하는 단계;- 특징 맵들의 기본 쌍(20e, 30e)의 제 1 특징 맵을 특징 맵들의 기본 쌍(20e, 30e)의 제 2 특징 맵으로 매칭하는 것에 기반하여 특징 맵 계층 구조(50)의 특징 맵들의 기본 쌍(20e, 30e)에 대한 변위 생성 동작에서 초기 변위 맵을 생성하는 단계;를 포함하고,- 변위 정제 동작에서,- 특징 맵 계층 구조(50)의 특징 맵들의 정제 쌍(20b, 30b, 20c, 30c, 20d, 30d)의 스케일로 적어도 하나의 공간 차원 및/또는 시간 차원 모두에서 초기 변위 맵을 각각의 업스케일링 계수로 업스케일링하고 그리고 업스케일된 초기 변위 맵을 생성하도록 초기 변위 맵의 값을 각각의 업스케일링 계수와 곱하는 단계, - 특징 맵 계층 구조(50)의 특징 맵들의 정제 쌍(20b, 30b, 20c, 30c, 20d, 30d)의 제 1 특징 맵에 업스케일된 초기 변위 맵을 이용하여 워핑 동작을 수행함으로써 특징 맵들의 정제 쌍(20b, 30b, 20c, 30c, 20d, 30d)의 제 1 특징 맵의 워핑된 버전을 생성하는 단계,- 특징 맵들의 정제 쌍(20b, 30b, 20c, 30c, 20d, 30d)의 제 1 특징 맵의 워핑 버전 및 특징 맵들의 정제 쌍(20b, 30b, 20c, 30c, 20d, 30d)의 제 2 특징 맵에 대한 보정 변위 맵을 획득하고, 보정 변위 맵이 업데이트된 변위 맵을 획득하도록 업스케일된 초기 변위 맵에 가산되며, 특징 맵들의 정제 쌍(20b, 30b, 20c, 30c, 20d, 30d)의 제 1 특징 맵의 워핑 버전을 특징 맵들의 정제 쌍(20b, 30b, 20c, 30c, 20d, 30d)의 제 2 특징 맵과 매칭시키는 단계를 포함하는, 방법.