matlab實現獲取tof,一種結合TOF技術和雙目視覺的深度信息獲取裝置及其方法與流程-東莞敏威光電科技有限公司
本發明涉及深度傳感器、機器視覺、三維重建、雙目立體視覺、TOF技術領域，尤其涉及一種結合TOF技術和雙目視覺的深度信息獲取裝置及其方法。
背景技術：
近年來，深度信息在傳感器中獲得了越來越多的應用。獲取深度信息的技術主要有雙目立體匹配、TOF(Time of Flight，飛行時間)、單目結構光等技術。這些技術可以為傳感器增加額外的深度信息，在圖像識別與處理、場景理解、VR、AR和機器人等領域有著廣泛的應用。然而，當前市面上的主流產品依舊有各自的使用范圍和局限性。比如，雙目立體匹配依賴于復雜的算法，因此硬件要求高，計算時間長，對于特征不明顯的目標識別效果不佳；脈沖式TOF深度測量技術成本很高，由于掃描方法的限制，存在高分辨率和高刷新頻率的矛盾；相位法TOF深度測量距離分辨率和空間分辨率都不高，抗干擾能力較差；結構光技術根據編碼方法的不同，也存在分辨率低、測量時間長、可靠性差等缺陷，對測量目標特性有一定要求，且抗干擾能力差，只能用于室內。為滿足需求常需要配置多種傳感器，簡單的傳感器疊加，并不能很好地改善整體性能，還會增加系統結構復雜度和系統成本。
技術實現要素：
針對上述不足，本發明提供一種結合TOF技術和雙目視覺的深度信息獲取裝置及其方法，具有雙目立體視覺高分辨率的同時，大幅降低算法要求，提高了測量速度，對無紋理的目標也能很好識別，適用于室內和室外環境下各種目標。相對于簡單的多種傳感器融合，不僅成本降低，集成度更好，而且性能上也更穩定。
本發明解決其技術問題所采用的技術方案如下：一種結合TOF技術和雙目視覺的深度信息獲取裝置，包括一個主動光源發射裝置、一個TOF傳感器、左圖像傳感器、右圖像傳感器、控制器以及處理器；所述主動光源發射裝置包括依次布置的光源、空間調制器件以及成像系統；主動光源發射裝置和TOF傳感器均與控制器相連，TOF傳感器、左圖像傳感器和右圖像傳感器均與處理器相連。
所述的左圖像傳感器和右圖像傳感器在TOF傳感器兩側對稱放置；作為一種技術方案，左右圖像傳感器和TOF傳感器采用分光方法采集同樣條件下的圖像和深度信息。左、右圖像傳感器獲取的反射率信息可以對TOF傳感器進行反饋，提高TOF傳感器的測量精度、降低噪聲。
所述的控制器控制光源發射時間調制的光，經空間調制器件調制后，由成像系統形成具有一定空間分布的圖案照明場景。作為優選，光源為LED或激光模組，主動光源發射裝置的時間調制為正弦波或快速方波序列，空間調制器件為毛玻璃或光柵，成像系統為微透鏡陣列。
所述的TOF傳感器接收場景目標反射的回波信號，根據信號的時間調制計算飛行時間，進一步得到場景深度信息。所述的圖像傳感器接收環境光和主動光源照明下的場景圖像，主動光源的空間調制給場景加上紋理，便于左右圖像傳感器對無紋理目標進行特征匹配。作為優選，所述左圖像傳感器和右圖像傳感器采集到的圖像為灰度圖像，其光譜特性主要響應主動光源的窄波段，也能響應部分可見光波段；進一步的，所述左圖像傳感器和右圖像傳感器采集圖像也可以為RGB彩色圖像，獲取更多目標信息進行特征匹配。
本發明的另一目的是提供一種結合TOF技術和雙目視覺的深度信息獲取方法，具體包括如下步驟：
(1)控制器控制光源發射時間調制的光波信號，經過空間調制器件調制后由成像系統形成圖案并照射目標測量區域，TOF傳感器接收目標測量區域反射的回波信號，計算光波飛行時間得到各點的深度信息；左圖像傳感器和右圖像傳感器采集環境光及主動光源發射裝置照明下的場景，得到兩個視角下的左、右圖像；
(2)對TOF傳感器、左圖像傳感器和右圖像傳感器進行標定，得到三個傳感器在世界坐標系的對應關系；
(3)根據標定參數，將深度信息映射到兩路圖像坐標中，以深度信息增加約束條件對兩路圖像進行立體匹配，包括以下幾種方法：
(3.1)深度圖像中，深度大于D的區域，在左右圖像中尋找1-2個對應特征點，計算深度信息作為背景深度；進一步的，可以分成多個等級，距離在D1-D2之間的區域計算一次深度，距離在D2-D3的區域計算一次深度，依次類推；
(3.2)深度圖像中，對步驟(3.1)之外的區域，計算其梯度，梯度值大于G的區域，在左右圖像中進行高精度立體匹配，計算準確的深度信息；
(3.3)深度圖像中，對步驟(3.1)和步驟(3.2)之外的區域，計算其二階梯度，二階梯度小于G2的區域，在左右圖像中僅對邊界進行立體匹配，計算深度信息，其他部分進行線性插值；
(3.4)深度圖像中，對步驟(3.1)、(3.2)、(3.3)之外的區域，在左右圖像中進行低精度立體匹配，計算深度信息；
(3.5)對左右圖像進行高通濾波，提取圖像中高頻成分，識別小尺寸目標，計算深度信息。
(4)對兩路圖像中由于視角不同所產生的盲區部分以背景深度進行填充；
(5)對兩路圖像交叉范圍之外的無視差區域，以TOF深度信息進行填充，得到場景的深度圖像。
本發明的有益效果如下：以較低成本實現室內外環境下高分辨率快速深度信息獲取，適用于近距離及較遠距離。兼具TOF技術的快速測量和雙目視覺的高分辨率抗干擾等優點，降低了無法識別和錯誤識別的風險，穩定性和可靠性更好。
同時采集低分辨率的深度圖像和兩路高分辨率的圖像，以深度圖像作為先驗信息對圖像進行特征識別與匹配，按照光學三角法原理得到高分辨率的深度信息，大幅降低了算法復雜度和計算時間。本發明方法或裝置包含一路主動光源發射裝置，可以進行空間和時間調制，空間調制對目標加上一定的紋理，輔助兩路圖像進行特征識別，時間調制用于TOF獲取深度圖像。深度圖像傳感器只響應主動光源。左右圖像傳感器主要響應主動光源，也能響應部分可見光源，保證在近距離或者較遠距離、強環境光和弱環境光下都能獲得可識別的圖像。
附圖說明
圖1是本發明裝置的結構圖；
圖2是本發明裝置中主動光源發射裝置的結構示意圖；
圖3是本發明方法流程圖；
圖4是本發明中傳感器采集信號的原理圖；
圖中：主動光源發射裝置1、TOF傳感器2、左圖像傳感器3、右圖像傳感器4、控制器5、處理器6、光源7、空間調制器件8、成像系統9。
具體實施方式
下面結合附圖和實施例對本發明做進一步的說明。
實施例：
如圖1所示，一種結合TOF技術和雙目視覺的深度信息獲取裝置，包括一個主動光源發射裝置1、一個TOF傳感器2、左圖像傳感器3、右圖像傳感器4、控制器5以及處理器6；如圖2所示，所述主動光源發射裝置1包括依次布置的光源7、空間調制器件8以及成像系統9；主動光源發射裝置1和光源7均與控制器5相連，TOF傳感器2、左圖像傳感器3和右圖像傳感器4均與處理器6相連；
本實施例將左圖像傳感器3和右圖像傳感器4對稱布置在TOF傳感器2的兩側，左、右圖像傳感器和TOF傳感器2采用分光方法采集同樣條件下的圖像和深度信息。左、右圖像傳感器獲取的反射率信息可以對TOF傳感器2進行反饋，提高TOF傳感器的測量精度、降低噪聲。
所述的TOF傳感器2接收場景目標反射的回波信號，根據信號的時間調制計算飛行時間，進一步得到場景深度信息。所述的左、右圖像傳感器接收環境光和主動光源照明下的場景圖像，主動光源的空間調制給場景加上紋理，便于左、右圖像傳感器對無紋理目標進行特征匹配。本實施例中左圖像傳感器3和右圖像傳感器4采集圖像為RGB彩色圖像，其光譜特性主要響應主動光源的窄波段，也能響應部分可見光波段，獲取更多目標信息進行特征匹配。
所述的控制器5控制光源7發射時間調制的光，經空間調制器件調制后，由成像系統9形成具有一定空間分布的圖案照明場景。實施例中光源7采用850nm激光模組，主動光源發射裝置1的時間調制為正弦波，空間調制器件8為毛玻璃，成像系統9為微透鏡陣列。
如圖3所示，一種結合TOF技術和雙目視覺的深度信息獲取方法，具體包括如下步驟：
(1)控制器5控制光源7發射時間調制的光波信號，經過空間調制器件8調制后由成像系統9形成圖案并照射目標測量區域，實現時間上為正弦波、空間上有一定光斑分布的調制光照明，如圖4所示；TOF傳感器2接收目標測量區域反射的回波信號，計算光波飛行時間得到各點的深度信息，分辨率為360×240；左圖像傳感器3和右圖像傳感器4采集環境光及主動光源發射裝置1照明下的場景，得到兩個視角下的左、右圖像，分辨率為1280×1024；
(2)對TOF傳感器2、左圖像傳感器3和右圖像傳感器4進行標定，得到三個傳感器在世界坐標系的對應關系；
TOF傳感器2只響應主動光源的窄波段光譜獲得較好信噪比以提高抗干擾性，而且由于空間分辨率較低，接收的是范圍內的平均信號，因此不受照射圖案空間分布的影響。灰度圖像傳感器主要響應主動光源的窄波段光譜，也能響應部分可見光譜。
(3)根據標定參數，將深度信息映射到兩路圖像坐標中，以深度信息增加約束條件對兩路圖像進行立體匹配；
(4)對兩路圖像中由于視角不同所產生的盲區部分以背景深度進行填充；
(5)對兩路圖像交叉范圍之外的無視差區域，以TOF深度信息進行填充，得到場景的深度圖像。
所述立體匹配方法中，增加的約束條件具體如下：
(3.1)深度圖像中，深度大于D的區域，在左右圖像中尋找1-2個對應特征點，計算深度信息作為背景深度；進一步的，可以分成多個等級，距離在D1-D2之間的區域計算一次深度，距離在D2-D3的區域計算一次深度，依次類推；
(3.2)深度圖像中，對步驟(3.1)之外的區域，計算其梯度，梯度值大于G的區域，在左右圖像中進行高精度立體匹配，計算準確的深度信息；
(3.3)深度圖像中，對步驟(3.1)和步驟(3.2)之外的區域，計算其二階梯度，二階梯度小于G2的區域，在左右圖像中僅對邊界進行立體匹配，計算深度信息，其他部分進行線性插值；
(3.4)深度圖像中，對步驟(3.1)、(3.2)、(3.3)之外的區域，在左右圖像中進行低精度立體匹配，計算深度信息；
(3.5)對左右圖像進行高通濾波，提取圖像中高頻成分，識別小尺寸目標，計算深度信息。
約束條件不限于以上幾種方法，本文提到的幾種方法也可以不全部采用。
- 上一篇：淘寶店鋪已開通歡迎大家咨詢 2022/6/25
- 下一篇：醫療相機-東莞敏威光電科技有限公司 2022/4/8
