以車道標(biāo)示線為道路邊緣的視覺檢測是AGV路徑識別需要實現(xiàn)的基本功能。視覺導(dǎo)航式AGV是利用ccd攝像機(jī)采集地面鋪設(shè)的條帶狀標(biāo)示線，采用圖像處理和分析的方式來獲取導(dǎo)引車周圍環(huán)境信息，這種方式是AGV識別系統(tǒng)中的核心技術(shù)。

涉及內(nèi)容：坐標(biāo)系建立，車道模型分析，圖像預(yù)處理等。下面重點對圖像處理方面進(jìn)行介紹 ：

人們對車用機(jī)器視覺研究有一個基本共識：圖像在獲取、轉(zhuǎn)換和傳送中都會產(chǎn)生污染，不可避免的造成圖像質(zhì)量的降低，因此，首先應(yīng)對視頻圖像進(jìn)行預(yù)處理，然后進(jìn)行閾值分割，再對路徑進(jìn)行識別與跟蹤。

視覺導(dǎo)航式AGV上車載攝像機(jī)獲取的原始圖像中除了包含可用信息外,由于受到環(huán)境限制以及加入的隨機(jī)干擾，使得冗余信息多，可識別性較差，首先必須對原始圖像進(jìn)行預(yù)處理，流程如下：

圖像平滑是一種低通濾波技術(shù)，可以分別在頻率域和空間域進(jìn)行。

（1）模板操作
模板操作實現(xiàn)一種鄰域運算，即某個像素點的結(jié)果不僅和本像素灰度有關(guān)，而且和其鄰域點的值有關(guān)。模板運算在數(shù)學(xué)中的描述稱之為卷積。

（2）中值濾波
中值濾波是將鄰域中的圖像像素按灰度級排序，取中間值為輸出像素，屬于非線性的空域濾波技術(shù)，是一種能去除噪聲的同時又能保護(hù)目標(biāo)邊界不使其變得模糊的濾波方法。其原理是選取一個含有奇數(shù)個數(shù)像素點的移動窗口,將窗口的中心像素的灰度值用窗口內(nèi)灰度的中值代替，從而消除孤立的噪聲點，其數(shù)學(xué)表達(dá)式如下：

其中，f(x,y),g(x,y)分別為原始圖像和處理后圖像，φ為二維模板，通常為2*2，3*3區(qū)域。

（3）形態(tài)學(xué)修正

上述處理后的二值化圖像中可能仍有少量零散點，而且黑色部分的邊緣不是很清晰，存在毛刺和漏洞。對二值化后的圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)濾波實現(xiàn)局部背景平滑。數(shù)學(xué)形態(tài)學(xué)主要運算有形態(tài)和膨脹、形態(tài)差腐蝕、開運算、閉運算。

腐蝕運算的作用是用來消除圖像中小于結(jié)構(gòu)元素的無意義邊界點，使目標(biāo)物體的邊界向內(nèi)部收縮；膨脹運算的作用是用來填補(bǔ)圖像中目標(biāo)物體的空洞點，使物體的邊界向外部擴(kuò)張；腐蝕和膨脹的復(fù)合運算即成為開運算和閉運算：開運算是對圖像進(jìn)行先腐蝕后膨脹的處理過程，能夠消除圖像中的邊緣毛刺和孤立斑點；閉運算與開運算過程相反，填補(bǔ)圖像中的漏洞以及裂縫。它們能對圖像進(jìn)行簡單的平滑處理，并檢測出圖像中的奇異點。根據(jù)二值化的處理結(jié)果，我們需要把圖像中的漏洞和毛刺去掉，并且保持原圖像特征不變，因此可以對圖像進(jìn)行開運算以使黑色邊緣清晰便于邊緣檢測。

（4）導(dǎo)航標(biāo)示線邊緣檢測算法

邊緣是指圖像局部亮度變化顯著的部分，是圖像內(nèi)像素灰度不連續(xù)，或灰度變化劇烈的點的集合。邊緣檢測的目的是標(biāo)識數(shù)字圖像中亮度變化明顯的點，計算機(jī)視覺處理方法雖然不明顯依賴于邊緣檢測作為預(yù)處理，但邊緣檢測仍是圖像分割所依賴的重要特征，是圖像分析的重要基礎(chǔ)。常用的邊緣檢測算子有：

（4.1）梯度算子：sobel算子，prewitt算子。

（4.2）基于圖像函數(shù)二階導(dǎo)數(shù)過零點的算子：LOG算子，canny算子。

障礙物識別研究

對于障礙物的識別，方法的選取是取決于周圍環(huán)境以及對障礙物的定義。障礙物可以定義為在車輛前方行駛道路上具有一定體積的物體，道路上常見的障礙物包括車輛、貨物、雜物等。

障礙物識別技術(shù)中關(guān)鍵的是檢測、跟蹤和定位技術(shù)。檢測是指確認(rèn)前方視野路徑上是否出現(xiàn)障礙物，跟蹤是指對選中的目標(biāo)進(jìn)行軌跡描述，定位是指計算出障礙物與自動導(dǎo)引車的實際距離。其中，檢測是基礎(chǔ)，跟蹤是過程，定位是終目的。

空間目標(biāo)的跟蹤，是通過目標(biāo)的有效特征構(gòu)建模板，在圖像序列中尋找與目標(biāo)模板相似的候選區(qū)域位置的過程，也就是確定目標(biāo)在序列圖像中的軌跡。在基于單目視覺的空間障礙物目標(biāo)跟蹤問題的研究上，一般有兩種思路：

（1）不依賴于任何先驗知識，直接從圖像序列中檢測出障礙物，然后跟蹤其中感興趣的目標(biāo)。

（2）依賴于障礙物的先驗知識，首先對可能出現(xiàn)的目標(biāo)建模，然后在圖像序列中實時檢測出與模型相匹配的目標(biāo)，然后進(jìn)行跟蹤。

常用的是第二種思路，因為障礙物存在于某一特定運行環(huán)境中，可以用含有有限元的完備集合來表示。對于這種跟蹤方法，實現(xiàn)跟蹤的步是進(jìn)行目標(biāo)檢測，即從序列圖像中將感興趣區(qū)域從背景圖像中提取出來。

在目標(biāo)跟蹤過程中，往往需要采用搜索算法預(yù)計未來時刻某目標(biāo)的位置，以縮小搜索范圍。根據(jù)這個思路一般有兩類算法：

（一）預(yù)測目標(biāo)在下一幀圖像可能出現(xiàn)的位置，然后在這個相關(guān)區(qū)域內(nèi)尋找*點，常用的預(yù)測算法有kalman濾波、擴(kuò)展的kalman濾波，粒子濾波等。

（二）減小目標(biāo)搜索范圍的算法，通過優(yōu)化搜索方向，利用某些估計的方法優(yōu)化求取目標(biāo)模板和候選目標(biāo)之間距離的迭代收斂過程，縮小搜索范圍，如均值平移算法算法（MeanShift算法）、連續(xù)自適應(yīng)均值平移算法（Camshift）、置信區(qū)域算法。

對于空間目標(biāo)定位算法的研究，主要集中在獲取場景中目標(biāo)上的各點相對于攝像機(jī)的距離，這是機(jī)器視覺的主要任務(wù)之一，也是障礙物識別的終目的。通過計算目標(biāo)與攝像機(jī)的距離參數(shù)，就能得到目標(biāo)相對于小車的速度，目標(biāo)物大小等參數(shù)，更好的為控制的運行狀態(tài)提供決策數(shù)據(jù)。這里我搜集了關(guān)于基于視覺移動避障的幾種實現(xiàn)思路：

常用的計算機(jī)視覺方案有多種， 比如雙目視覺，基于TOF的深度相機(jī)，基于結(jié)構(gòu)光的深度相機(jī)等。深度相機(jī)可以同時獲得RGB圖和深度圖，不管是基于TOF還是結(jié)構(gòu)光，在室外強(qiáng)光環(huán)境下效果都不太理想，因為它們需要主動發(fā)光，容易受到強(qiáng)光的干擾；基于結(jié)構(gòu)光的深度相機(jī)，發(fā)射出的光會生成相對隨機(jī)但又固定的斑點圖樣，這些光斑打在物體上后，因為與攝像頭距離不同，被攝像頭捕捉到的位置也不相同，之后先計算拍到的圖的斑點與標(biāo)定的標(biāo)準(zhǔn)圖案在不同位置的偏移，利用攝像頭位置、傳感器大小等參數(shù)就可以計算出物體與攝像頭的距離。對于AGV，雙目視覺更加合適：

雙目視覺的測距本質(zhì)上是三角測距法，由于兩個攝像頭的位置不同，就像人的兩只眼睛，看到的物體不一樣。兩個攝像頭看到的同一個點P，在成像的時候會有不同的像素位置，此時通過三角測距就可以測出這個點的距離。雙目算法計算的點一般是利用算法抓取到的圖像特征，如SIFT或SURF特征等，通過特征計算出來的是稀疏圖。

基于雙目立體視覺的障礙物檢測的關(guān)鍵在于兩點①障礙物目標(biāo)的提取,即識別出障礙物在圖像中的位置和大??；②障礙物目標(biāo)區(qū)域圖像對之間的立體匹配點，從而得到障礙物目標(biāo)的深度信息。前一步是后一步的基礎(chǔ)，識別出來的目標(biāo)可以是多個，在立體匹配得到視差之后才可以標(biāo)志出哪些目標(biāo)為障礙物目標(biāo)。

雙目體視技術(shù)的實現(xiàn)可分為：圖像獲取、攝像機(jī)標(biāo)定、特征提取、圖像匹配和三維重建。上圖中的光軸是近似平行的，在平行光軸系統(tǒng)中，雙目視覺測距將三維場景中求目標(biāo)深度的問題轉(zhuǎn)化為求二維投影圖像中求視差的問題。因此，像機(jī)模型就是將三維場景的點與二維圖像上的點建立一一對應(yīng)的映射關(guān)系。