METHOD FOR INTEGRATING DRIVING IMAGES ACQUIRED FROM VEHICLES PERFORMING COOPERATIVE DRIVING AND DRIVING IMAGE INTEGRATING DEVICE USING SAMEA method for integrating images from vehicles performing a cooperative driving is provided. The method includes steps of: a main driving image integrating device on one main vehicle (a) inputting one main driving image into a main object detector to (1) generate one main feature map by applying convolution operation via a main convolutional layer, (2) generate main ROIs via a main region proposal network, (3) generate main pooled feature maps by applying pooling operation via a main pooling layer, and (4) generate main object detection information on the main objects by applying fully-connected operation via a main fully connected layer; (b) inputting the main pooled feature maps into a main confidence network to generate main confidences; and (c) acquiring sub-object detection information and sub-confidences from sub-vehicles, and integrating the main object detection information and the sub-object detection information using the main & the sub-confidences to generate object detection result. [Image]A method for integrating driving images acquired from one or more vehicles performing a cooperative driving, comprising steps of: (a) a main driving image integrating device, installed on at least one main vehicle among said one or more vehicles, performing (i) a process of inputting at least one main driving image, acquired from at least one main camera installed on the main vehicle, into a main object detector, to thereby allow the main object detector to (i-1) generate at least one main feature map by applying at least one convolution operation to the main driving image via a main convolutional layer, (i-2) generate one or more main ROIs (Regions Of Interest), corresponding to one or more regions where one or more main objects are estimated as located, on the main feature map, via a main region proposal network, (i-3) generate one or more main pooled feature maps by applying at least one pooling operation to one or more regions, corresponding to the main ROIs, on the main feature map, via a main pooling layer, and (i-4) generate multiple pieces of main object detection information on the main objects located on the main driving image by applying at least one fully-connected operation to the main pooled feature maps via a main fully connected layer; (b) the main driving image integrating device performing a process of inputting the main pooled feature maps into a main confidence network, to thereby allow the main confidence network to generate each of one or more main confidences of each of the main ROIs corresponding to each of the main pooled feature maps; and (c) the main driving image integrating device performing a process of acquiring multiple pieces of sub-object detection information and one or more sub-confidences from each of one or more sub-vehicles in the cooperative driving, and a process of integrating the multiple pieces of the main object detection information and the multiple pieces of the sub-object detection information by using the main confidences and the sub-confidences as weights, to thereby generate at least one object detection result of the main driving image, wherein the multiple pieces of the sub-object detection information and the sub-confidences are generated by each of one or more sub-driving image integrating devices, installed on each of the sub-vehicles, and wherein each of the sub-driving image integrating devices performs (i) a process of inputting each of sub-driving images into corresponding each of sub-object detectors, to thereby allow said each of the sub-object detectors to (i-1) generate each of sub-feature maps by applying at least one convolution operation to each of the sub-driving images via corresponding each of sub-convolutional layers, (i-2) generate one or more sub-ROIs, corresponding to one or more regions where one or more sub-objects are estimated as located, on each of the sub-feature maps, via corresponding each of sub-region proposal networks, (i-3) generate each of one or more sub-pooled feature maps by applying at least one pooling operation to one or more regions, corresponding to each of the sub-ROIs, on each of the sub-feature maps, via corresponding each of sub-pooling layers, (i-4) generate the multiple pieces of the sub-object detection information on the sub-objects located on each of the sub-driving images by applying at least one fully-connected operation to each of the sub-pooled feature maps via corresponding each of sub-fully connected layers, and (i-5) input each of the sub-pooled feature maps into corresponding each of sub-confidence networks, to thereby allow each of the sub-confidence networks to generate the sub-confidences of the sub-ROIs corresponding to each of the sub-pooled feature maps.
협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치본 발명은 협업 주행(Cooperative Driving)을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합(Integrate)하는 방법에 있어서, 메인(Main) 자동차에 설치된 메인 주행 이미지 통합 장치(Driving Image Integrating Device)가, (a) 메인 주행 이미지들을 메인 객체 검출기(Object Detector)로 입력하여, (1) 메인 컨벌루션 레이어(Convolutional Layer)를 통해 컨벌루션 연산을 적용하여 메인 특징 맵(Feature Map)을 생성하도록 하고, (2) 메인 RPN(Region Proposal Network)을 통해 메인 ROI(Region Of Interest)를 생성하도록 하며, (3) 메인 풀링 레이어(Pooling Layer)를 통해 풀링 연산을 적용하여 메인 풀링된 특징 맵(Pooled Feature Map)을 생성하도록 하고, (4) 메인 FC 레이어(Fully Connected Layer)를 통해 FC 연산을 적용하여 메인 객체에 대한 메인 객체 검출 정보를 생성하도록 하는 단계; (b) 메인 풀링된 특징 맵을 메인 컨피던스 네트워크(Confidence Network)로 입력하여, 메인 컨피던스를 생성하도록 하는 단계; 및 (c) 서브(Sub) 자동차들로부터 서브 객체 검출 정보와 서브 컨피던스를 획득하고, 메인 및 서브 컨피던스를 이용하여 메인 객체 검출 정보와 서브 객체 검출 정보를 통합하는 단계;를 포함하는 것을 특징으로 한다.협업 주행(Cooperative Driving)을 수행하는 적어도 하나의 자동차로부터 획득된 주행 이미지들을 통합(Integrate)하는 방법에 있어서,(a) 상기 적어도 하나의 자동차 중 적어도 하나의 메인(Main) 자동차에 설치된 메인 주행 이미지 통합 장치(Driving Image Integrating Device)가, (i) 상기 메인 자동차에 설치된 적어도 하나의 메인 카메라로부터 획득되는 적어도 하나의 메인 주행 이미지를 메인 객체 검출기(Object Detector)로 입력하여, 상기 메인 객체 검출기로 하여금, (i-1) 메인 컨벌루션 레이어(Convolutional Layer)를 통해 상기 메인 주행 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 메인 특징 맵(Feature Map)을 생성하도록 하고, (i-2) 메인 RPN(Region Proposal Network)을 통해 상기 메인 특징 맵 상에서 적어도 하나의 메인 객체가 위치할 것으로 예상되는 적어도 하나의 영역에 대응되는 적어도 하나의 메인 ROI(Region Of Interest)를 생성하도록 하며, (i-3) 메인 풀링 레이어(Pooling Layer)를 통해 상기 메인 특징 맵 상에서 상기 메인 ROI에 대응되는 적어도 하나의 영역에 대하여 풀링 연산을 적어도 한 번 적용하여 적어도 하나의 메인 풀링된 특징 맵(Pooled Feature Map)을 생성하도록 하고, (i-4) 메인 FC 레이어(Fully Connected Layer)를 통해 상기 메인 풀링된 특징 맵에 대하여 FC 연산을 적어도 한 번 적용하여 상기 메인 주행 이미지 상에 위치하는 상기 메인 객체에 대한 메인 객체 검출 정보를 생성하도록 하는 프로세스를 수행하는 단계;(b) 상기 메인 주행 이미지 통합 장치가, 상기 메인 풀링된 특징 맵을 메인 컨피던스 네트워크(Confidence Network)로 입력하여, 상기 메인 컨피던스 네트워크로 하여금 상기 메인 풀링된 특징 맵 각각에 대응되는 상기 메인 ROI 각각의 적어도 하나의 메인 컨피던스 각각을 생성하도록 하는 프로세스를 수행하는 단계; 및(c) 상기 메인 주행 이미지 통합 장치가, 상기 협업 주행 중인 적어도 하나의 서브(Sub) 자동차 각각으로부터 서브 객체 검출 정보와 적어도 하나의 서브 컨피던스를 획득하는 프로세스, 및 상기 메인 컨피던스 및 상기 서브 컨피던스를 가중치로 이용하여 상기 메인 객체 검출 정보와 상기 서브 객체 검출 정보를 통합하는 프로세스를 수행함으로써, 상기 메인 주행 이미지의 적어도 하나의 객체 검출 결과를 생성하는 단계;를 포함하되,상기 서브 객체 검출 정보와 상기 서브 컨피던스는, 상기 서브 자동차 각각에 설치된 적어도 하나의 서브 주행 이미지 통합 장치 각각에 의해 생성되고, 상기 서브 주행 이미지 통합 장치 각각은, (i) 서브 주행 이미지 각각을, 대응되는 서브 객체 검출기 각각으로 입력하여, 상기 서브 객체 검출기로 하여금, (i-1) 대응되는 서브 컨벌루션 레이어 각각을 통해 상기 서브 주행 이미지 각각에 대하여 상기 컨벌루션 연산을 적어도 한 번 적용하여 서브 특징 맵 각각을 생성하도록 하고, (i-2) 대응되는 서브 RPN 각각을 통해 상기 각각의 서브 특징 맵 상에 적어도 하나의 서브 객체가 위치할 것으로 예상되는 적어도 하나의 영역에 대응되는 적어도 하나의 서브 ROI를 생성하도록 하며, (i-3) 대응되는 서브 풀링 레이어 각각을 통해 상기 각각의 서브 특징 맵 상에서 상기 서브 ROI 각각에 대응되는 적어도 하나의 영역에 대하여 상기 풀링 연산을 적어도 한 번 적용하여 적어도 하나의 서브 풀링된 특징 맵 각각을 생성하도록 하고, (i-4) 대응되는 서브 FC 레이어 각각을 통해 상기 각각의 서브 풀링된 특징 맵에 대하여 상기 FC 연산을 적어도 한 번 적용하여 상기 각각의 서브 주행 이미지 상에 위치하는 상기 서브 객체에 대한 상기 서브 객체 검출 정보를 생성하도록 하며, (i-5) 상기 서브 풀링된 특징 맵 각각을 서브 컨피던스 네트워크 각각으로 입력하여, 상기 서브 컨피던스 네트워크 각각으로 하여금 상기 서브 풀링된 특징 맵 각각에 대응되는 상기 서브 ROI의 상기 서브 컨피던스를 생성하도록 하는 것을 특징으로 하는 방법.