DEEP LEARNING NETWORK AND AVERAGE DRIFT-BASED AUTOMATIC VESSEL TRACKING METHOD AND SYSTEMThe disclosure relates to an automatic ship tracking method and system based on deep learning network and mean shift, wherein the method includes: collecting surveillance video data which includes collecting coastal region surveillance video data under visible light and extracting each frame of image; performing preprocessing to extract a positive sample and a negative sample of a ship target; inputting the samples of the ship target in the video into a neural network to train a model by a region-based convolutional neural network method; extracting initial frame data of the video and performing ship detection and probability density calculation on initial moment data according to the trained model; and determining a ship tracking result at the current moment by a calculation result of a previous moment. The disclosure has a great detection result for complex scenes such as cloudy, foggy, overcast and rainy days and the like; the method has the advantages of high robustness, better stability and fully automated tracking process; moreover, the stability and accuracy of the neural network method eliminate errors for a mean shift tracking method; and lay a foundation for tracking an emerging target.An automatic ship tracking method based on deep learning network and mean shift, comprising the following steps: step 1: collecting surveillance video data which comprises collecting coastal region surveillance video data under visible light and extracting each frame of image; step 2: performing preprocessing based on a video image obtained in the step 1 to extract a positive sample and a negative sample of a ship target; step 3: inputting the samples of the ship target in the video into a neural network to train a model by a region-based convolutional neural network method; step 4: extracting initial frame data of the video and performing ship detection and probability density calculation on initial moment data according to the trained model obtained in the step 3, wherein the probability density calculation is realized by dividing a gray color space of a target region to obtain a gray histogram formed by multiple equal intervals, and calculating the probability density according to a histogram interval to which a gray value of a pixel in the target region belongs; and step 5: determining a ship tracking result at the current moment by a calculation result of a previous moment, which comprises the following processing: step A: taking ξ ship positions tracked at a moment t-1 as initial positions, respectively taking a center coordinate f0 of each ship position as an initial target position of the ship tracked at a moment t, taking the f0 as a center of a search window to obtain a center position coordinate f of a corresponding candidate ship, calculating a region histogram of a candidate position, and further calculating the probability density; step B: describing a degree of similarity between the ship model and the candidate ship by a Bhattacharyya coefficient, calculating a mean shift iteration equation in a center of the region, so that the model moves continuously towards a direction with a maximum color change until the last two moving distances are less than a corresponding preset threshold, finding a ship position obtained by a mean shift result at the moment t, setting that multiple ship positions Boxmt are obtained, and expressing an idth ship position as Boxmidt; step C: by region-based convolutional neural network method, performing a ship detection on the image at time t, and obtaining the numth detection coordinate Boxdnumt of multiple ships in the image at time t, calculating a degree of overlap between the Boxdnumt and the idth ship position Boxmidt, recording a value of degree of overlap Omax between each Boxmidt and the corresponding Boxdnumt with a maximum degree of overlap, and if the Omax is less than a corresponding threshold θ1, considering the ship position as false-alarm and deleting the Boxmidt; and step D: updating a new ship target appeared at the moment t by a neural network detection result of the step C, which comprises calculating a maximum value of the degrees of overlap obtained respectively between each Boxdnumt and all the Boxmidt, if the Omax′ is less than a corresponding threshold θ2, considering the ship target as the ship appeared at the moment t, and adding the ship target into a tracking result of the moment t to obtain a complete tracking result set.
딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템본 발명은 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템에 관한 것으로서, 가시광 조건의 연해 지역의 영상감시데이터를 포함하는 영상감시데이터를 수집하여 각 프레임의 이미지를 추출하는 단계; 전처리를 수행하여 선박 목표의 양성 샘플 및 음성샘플을 추출하는 단계; 영역 기반의 합성곱 신경망 방식을 통해 영상의 선박 목표 샘플을 신경망에 입력하여 모델을 훈련하는 단계; 영상의 초기 프레임 데이터를 추출하여 단계3의 훈련을 통해 얻은 모델에 따라 초기 순간 데이터에 대해 선박 탐지를 수행하고 확률밀도를 계산하는 단계; 및, 이전 순간의 계산 결과를 통해 현재 순간의 선박 추적 결과를 결정하는 단계;를 포함한다. 해당 방법은 빠르고 효율적이며 정확도가 높다. 본 발명은 구름, 흐린 날씨, 비 오는 날 등 복잡한 상황에서도 여전히 비교적 뛰어난 탐지결과를 가지며, 견고성이 높다. 또한, 비교적 우수한 안정성을 가지며, 자동 추적 과정을 실현하고, 신경망 방법의 안정성과 정확성을 통해 평균 이동 방법의 오류를 배제하고 새 목표에 대한 추적을 위해 기반을 제공하기에 중요한 시장 가치가 있다.가시광 조건의 연해 지역의 영상감시데이터를 포함하는 영상감시데이터를 수집하여 각 프레임의 이미지를 추출하는 단계1;단계1에서 얻은 영상 이미지에 대해 전처리를 수행하여 선박 목표의 양성 샘플 및 음성샘플을 추출하는 단계2;영역 기반의 합성곱 신경망 방식을 통해 영상의 선박 목표 샘플을 신경망에 입력하여 모델을 훈련하는 단계3;영상의 초기 프레임 데이터를 추출하여 단계3의 훈련을 통해 얻은 모델에 따라 초기 순간 데이터에 대해 선박탐지를 수행하고 확률밀도를 계산하는 단계4 - 상기 확률밀도의 계산을 구현하는 방식은, 해당 목표가 위치하는 영역에 대해 그레이 스케일 색공간 분할을 수행하여 등간격으로 구성된 몇 개의 그레이 스케일 히스토그램을 획득하고, 목표 영역의 그레이 스케일 값이 속하는 히스토그램 영역에 따라 확률밀도를 계산함 -; 및, 이전 순간의 계산 결과를 통해 현재 순간의 선박 추적 결과를 결정하며, 순간에 추적된 개 선박 위치를 초기 위치로 하고 각 선박 위치의 중심 좌표 를 각각 순간의 선박 추적의 초기 목표 위치로 하고 을 검색 창의 중심으로 하여 대응하는 후보 선박의 중심 위치 좌표 를 얻으며, 후보 위치의 영역 히스토그램을 계산하고 한층 더 나아가 확률 밀도를 계산하는 단계A, 바타차리야 계수(Bhattacharyya Coefficient)를 통해 선박 모델과 후보 선박 간의 유사성 설명을 수행하고 영역 중심의 평균 이동 반복 방정식을 계산하여 마지막 두 번의 이동 거리가 대응되는 사전 설정 임계값보다 작을 때까지 모델을 색상 변화가 제일 큰 방향으로 이동하게 함으로써, 순간의 평균 이동 결과에 따라 얻은 선박 위치를 찾으며, 만일 복수의 선박 위치 를 획득하면, 제 개 선박 위치를 로 표시하는 단계B,영역 기반의 합성곱 신경망 방법을 통해 순간의 이미지에 대해 선박탐지를 수행하여 이미지 중의 복수 개 선박의 순간의 제 개 탐지 좌표 를 획득하면, 에 대해 제개 선박 위치 와의 교집합을 계산하여 각 와 교집합이 제일 큰 의 상응한 교집합의 크기 를 기록하며, 만일 가 상응한 임계값 보다 작으면 상기 선박 위치를 거짓 경보로 인정하여 를 삭제하는 단계C, 및, 단계C의 신경망에 의한 탐지결과를 통해 순간에 나타난 새 선박 목표를 업데이트하는데, 각 에 대해 모든 와의 교집합 크기의 최대값 을 각각 획득하고, 만일 가 상응한 임계값 보다 작으면, 해당 선박 목표를 순간에 나타난 선박으로 인정하여 순간 추적 결과에 첨가하고 완정한 추적 결과 집합을 얻는 단계D의 처리 과정을 포함하는 단계5;를 포함하는 것을 특징으로 하는 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법.