隨著全球反恐形勢的不斷加劇和以自動駕駛為主要代表的新交通系統(tǒng)的興起,選擇視頻序列中的行人作為主要視覺對象的行人檢測和跟蹤是智能安防、智能交通、自動化等系統(tǒng)中的一項關鍵技術。本書從行人目標的稀疏特性著手,從有效描述行人目標的特征、增強外觀模型的區(qū)分度和對行人形態(tài)變化進行部件建模等方面進行了深入研究,利用深度學習等新方法,提出了用于行人檢測的深度通道特征、多類別判別式字典學習方法和基于多分量可變形部件模型的行人跟蹤方法。
第一節(jié)研究的目的和意義
視覺目標檢測(VisualObjectDetection),是根據(jù)目標的特征,利用最優(yōu)化、機器學習等技術,檢測出圖像中目標所在的位置。視覺目標跟蹤(VisualObjectTracking),是在圖像序列中,根據(jù)視頻信息的空間關聯(lián)性和時間相關性等信息,逐幀估計出目標所在的位置。目標可以是單一確定的,也可以是多個或者一類相同或者相似的目標。目標檢測和目標跟蹤得到目標參數(shù),如目標的位置、外觀、運動規(guī)律等,是計算機視覺應用中最重要的底層信息之一,其準確性和時效性決定了智能視頻系統(tǒng)各種功能的實現(xiàn)。YilmazA,JavedO,ShahMO(jiān)bjecttracking:asurveyACMComputSurv,2006,38(4):13.
隨著全球反恐形勢的不斷加劇和以自動駕駛為主要代表的新交通系統(tǒng)的興起,選擇視頻序列中的行人作為主要視覺對象的行人檢測和跟蹤(PedestrianDetectionandTracking),是智能安防、智能交通、自動化等系統(tǒng)中的一項關鍵技術。有效的行人檢測和跟蹤方法對推動計算機視覺、人工智能、模式識別等領域的發(fā)展有重要意義,對于減少人力成本、避免交通事故、防范恐怖襲擊、打擊犯罪等也具有廣泛的應用前景。
第一章行人檢測與行人跟蹤研究現(xiàn)狀|0||0|反恐背景下的信息技術革新研究:以視頻序列中的行人檢測與跟蹤為例◆第二節(jié)國內外研究現(xiàn)狀和發(fā)展趨勢◆
行人檢測算法主要包含行人表現(xiàn)建模和目標定位兩部分。其中表現(xiàn)建模主要描述行人的視覺特征,如顏色、紋理、部件等,以及如何度量視覺特征之間的相似度和區(qū)分度;目標定位主要通過分類器等對行人所在的位置進行標定。SolichinA,HarjokoA,EkoAAsurveyofpedestriandetectioninvideoInternationalJournalofAdvancedComputerScienceandApplications,2014,5(10):41-47.
行人跟蹤算法主要包含目標初始化、表現(xiàn)建模、運動描述和目標定位四部分。其中,目標初始化采用手工標注或自動檢測算法確定行人的初始跟蹤位置;表現(xiàn)建模同樣描述行人的視覺特征,如顏色、紋理、部件等,以及如何度量視覺特征之間的相似度和區(qū)分度;運動描述采用某種運動估計策略如線性回歸、EllisL,DowsonN,MatasJ,etalLinearregressionandadaptiveappearancemodelsforfastsimultaneousmodellingandtrackingInternationalJournalofComputerVision,2011,95(2):154-179.粒子濾波IsardM,BlakeACondensation-conditionaldensitypropagationforvisualtrackingInternationaljournalofcomputervision,1998,29(1):5-28.等對目標的運動進行估算,推斷目標可能的位置;目標定位在目標可能的位置上,利用最優(yōu)化策略等確定目標最終跟蹤位置,實現(xiàn)跟蹤。
影響行人目標檢測和跟蹤精度的因素有很多,主要可分為三大類:首先,是目標外觀的動態(tài)變化,一般由目標外形變化、目標或攝像機觀測角度變化、目標所在的場景變化等引起;其次,是遮擋問題,一般是目標被場景中的其他可見目標或背景局部或全部的短時間遮擋,造成目標在視頻序列中的短時間不可見,或目標在圖像中的形態(tài)不完整;最后,相似目標、復雜背景等因素容易造成漏檢、錯檢或者錯誤跟蹤。此外,目標檢測與目標跟蹤的復雜性,特別是以行人為目標時需要考慮的影響因素更制約著目標跟蹤和檢測算法的效率。表1—1列出了影響目標跟蹤與檢測的8個主要因素。
表1—1影響目標檢測與跟蹤算法的主要因素
影響因素具體描述IlluminationVariation光照變化ScaleVariation尺度變化Deformation非剛性形變Rotation:InPlane同一平面內旋轉Rotation:OutPlane不同平面內旋轉BackgroundClusters背景與目標顏色或紋理等一致Occlusion目標被部分或者完全遮擋Outofview超出視野范圍
為了克服相關不利因素,目標檢測和跟蹤領域一直在不斷研究新的方法和技術。BenensonR,OmranM,HosangJ,etalTenyearsofpedestriandetection,whathavewelearned?LectureNotesinComputerScience(includingsubseriesLectureNotesinArtificialIntelligenceandLectureNotesinBioinformatics)2015,8926:613-627.HwangS,ParkJ,KimN,etalMultispectralpedestriandetection:BenchmarkdatasetandbaselineProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition2015,07-12-June:1037-1045.ArthurDC,SergiuNSemanticchannelsforfastpedestriandetection2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2016:2360-2368.其中,檢測算法從早期的Haar/Adaboost、HOG/SVM等基于特征和分類器的方法發(fā)展起來,近期主要形成了基于可變形部件模型的行人檢測、基于神經網絡的檢測和基于特征融合的檢測。目標跟蹤算法從最早的基于目標灰度跟蹤,到單純利用目標特征進行跟蹤的算法,再到特征提取與機器學習相結合的跟蹤算法,近期又利用稀疏編碼技術對目標表現(xiàn)進行建模。所有算法的最終目標都是在有限的計算資源前提下,對目標進行準確的檢測和跟蹤。本書通過對大量目標跟蹤和檢測文獻的綜述,對目標檢測算法和跟蹤算法采用的各種技術、研究現(xiàn)狀進行總結,并對其發(fā)展趨勢進行分析。
一、行人檢測研究現(xiàn)狀
行人檢測技術是指計算機在一張圖像或視頻系列里標示出行人區(qū)域的位置、行人區(qū)域所占大小并給出一定的置信度。行人檢測得到了廣泛而深入的研究:從早期的基于HOG/SVM的行人檢測DalalN,TriggsBHistogramsoforientedgradientsforhumandetectionProceedings-2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,CVPR20052005,I:886-893.到近期的基于行人外觀恒定性和形狀對稱性(AppearanceConstancyandShapeSymmetry)CaoJ,PangY,LiXPedestriandetectioninspiredbyappearanceconstancyandshapesymmetry2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2016:1316-1324.的行人檢測算法,對行人檢測算法的研究主要集中在尋找可以提供更高區(qū)分度的外觀表現(xiàn)方式和更好的分類器上。BenensonR,OmranM,HosangJ,etalTenyearsofpedestriandetection,whathavewelearned?LectureNotesinComputerScience(includingsubseriesLectureNotesinArtificialIntelligenceandLectureNotesinBioinformatics)2015,8926:613-627.
(一)基于HOG/SVM的行人檢測
早期比較出名的行人檢測算法是達拉爾(Dalal)和瑞格期(Triggs)DalalN,TriggsBHistogramsoforientedgradientsforhumandetectionProceedings-2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,CVPR20052005,I:886-893.提出的基于HistogramsofOrientedGradients(HOG)和SVM的行人檢測及相關的衍生算法。與SIFT類似,HOG也對方向梯度進行累計。與SIFT描述單個興趣點不同的是,HOG將圖像分成聯(lián)通的細胞單元(cell),采集細胞單元中像素點的梯度方向直方圖,把直方圖組合起來,形成關于區(qū)域的方向梯度信息。基于HOG/SVM的行人檢測的主要算法步驟包括:首先,提取正負行人樣本的HOG特征,并訓練一個SVM分類器,生成初步的檢測器;其次,利用訓練出的檢測器檢測負樣本,從中得到難例(HardExample);將難例的HOG特征和最初的特征一起投入SVM訓練,得到最終檢測器。圖1—1匯總了HOG特征提取和基于HOG和SVM的行人檢測的過程。圖1—1HOG提取過程和基于HOG和SVM的行人檢測
圖1—2為HOG特征在行人邊緣信息上的表現(xiàn):1為訓練樣本的平均梯度圖;2為區(qū)域內正SVM最大權重;3為區(qū)域內負SVM最大權重;4為測試樣本;5為計算得到的R-HOG描述子,(f,g)為正負SVM分別加權后的R-HOG算子。
圖1—2HOG特征描述行人邊緣信息
HOG特征的提出在行人目標跟蹤和檢測中具有重要作用。HOG特征和SVM結合的行人檢測算法提出后,許多相應的衍生算法圍繞HOG和分類器結合這一思路,對行人檢測進一步地提高和發(fā)展。
……