哈哈哈哈哈操欧洲电影,久草网在线,亚洲久久熟女熟妇视频,麻豆精品色,久久福利在线视频,日韩中文字幕的,淫乱毛视频一区,亚洲成人一二三,中文人妻日韩精品电影

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

面向SLAM魯棒應用提出了基于RGB特征點提取算法

iotmag ? 來源:物聯(lián)網(wǎng)技術 ? 作者:梁偉鄯 ? 2022-09-23 10:31 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

摘 要 :視覺 SLAM(Simultaneous Localization And Mapping)的魯棒性是困擾其走向應用的瓶頸,其中特征點提取算法的魯棒性是重要影響因素。針對目前特征點提取算法普遍基于灰度圖像,造成較大信息損失的問題,提出 RGB 圖像的信息熵度量,驗證了 RGB 圖像變換為灰度圖像的信息損失。在此基礎上,提出了基于信息熵評價的特征點提取算法,根據(jù) RGB 圖像三個通道的信息熵確定灰度變換權重,最大限度保留圖像信息 ;然后利用 FAST算法進行特征提取 ;最后直接基于 RGB 三通道構建特征描述子,實現(xiàn)特征在像素級的融合,為特征匹配提供可靠的依據(jù)。通過實驗證明,改進的 RGB 特征點提取算法的匹配精度相比經(jīng)典 ORB 算法在一定程度上有所提高 ;同時,相較于使用 RANSC 算法的 ORB 算法,二者精度基本相同,但較大程度地縮短了處理時間,基本可以滿足實時處理的需求。

0 引 言

視覺SLAM(Simultaneous Localization And Mapping)的關鍵是建立圖像間魯棒的特征點匹配關系,其決定著攝像機運動參數(shù)的求解精度和目標點三維世界坐標重建精度[1],而影響匹配效果的重要因素是特征點提取算法。當前相對成熟的視覺SLAM解決方案有 Mono[2]、PTAM[3]、ORBSLAM[4]、SVO[5]、LSD-SLAM[6]和ORBSLAM2[7]等,普遍基于灰度圖像進行特征點提取即匹配,對于環(huán)境對比明顯的情況表現(xiàn)相對穩(wěn)定,尤其ORBSLAM2更是因采用ORB特征在室外環(huán)境也有著較好的表現(xiàn) ;相比于 SIFT、SURF 等多尺度提取算法,ORB特征提取算法簡單,匹配精度相對較高,適合實時應用的場合。但也存在著當環(huán)境局部紋理或結構相似時所提取特征點的描述子無法加以區(qū)別的問題,從而造成錯誤匹配,而這種錯誤在多數(shù)應用場景下是無法接受的。為此,尋求更為魯棒的特征點提取算法對于視覺SLAM就顯得尤為重要。隨著彩色圖像處理技術的不斷發(fā)展,基于彩色圖像的特征提取已經(jīng)應用在很多場合。彩色圖像包含的特征信息要多于灰度圖像,它不僅包含灰度圖所攜帶的特征信息,還包含飽和度及色度分量的特征信息。據(jù)統(tǒng)計,基于灰度圖像提取的特征信息僅占原始彩色圖像的百分之九十。本文將充分挖掘彩色圖像所包含的信息,構建基于RGB圖像特征點提取算法,以此提高視覺SLAM的魯棒性。

1 RGB圖像信息熵度量

圖像特征點提取的本質即信息的提取,如果能對灰度圖像和彩色圖像包含信息進行特定度量和比較,將為信息提取算法提供理論上的指導。按照 Marr 計算理論 [8],圖像中的信息即圖像中顏色或亮度的變化,呈現(xiàn)出的是物體和物體的關系以及與人的關系的要素。如果把一幅圖像看作一個虛構零記憶“灰度信源”的輸出時,可以通過觀察圖像的直方圖來估計該信源的符號概率。假設圖像大小為M×N,灰度范圍為 [0,L-1],rk為此區(qū)間的離散灰度隨機變量,nk為第k級灰度在圖像中出現(xiàn)的次數(shù)。這時,灰度信源的熵變?yōu)?:

79ac95e4-3ae5-11ed-9e49-dac502259ad0.png

其中,79cfa5c0-3ae5-11ed-9e49-dac502259ad0.png

目前對于RGB值和灰度的轉換,從心理學的角度來看滿足人眼從彩色到亮度的感覺轉換,對紅、綠、藍三種顏色賦以固定權重,通過加權求和得到灰度值,數(shù)學關系如下 :

79e9976e-3ae5-11ed-9e49-dac502259ad0.png

其中:R、G、B 分別為對應像素的紅、綠、藍分量;Grey為轉換后像素的灰度值。

根據(jù)式(1)圖像信息熵的定義,變換后的灰度圖像的信息熵可輕易求得,而原始 RGB 圖像的信息熵成為問題的關鍵。如果將 RGB 圖像看作三個獨立圖層的簡單疊加,則它的信息熵就是三個圖層信息熵的和,即 :

7a0aa800-3ae5-11ed-9e49-dac502259ad0.png

其中:HR、HG、HB 分別為R、G、B三個圖層對應的信息熵,而HRGB為彩色圖像總的信息熵。此種定義在形式上比較簡單,但其割裂了三個圖層的彼此聯(lián)系,這與實際情況不符。為最大限度反映彩色圖像的信息規(guī)律,將R、G、B 三個圖層看作一個整體,某個像素看作隨機向量rRGB=(R, G, B),R∈[0,L-1],G ∈[0, L-1],B∈[0, L-1],則其信息熵可定義為:

7a1f43dc-3ae5-11ed-9e49-dac502259ad0.png

其中,7a34aaba-3ae5-11ed-9e49-dac502259ad0.png

在此運用上述定義對變換前后的RGB圖像和灰度圖像的信息進行比較,為得到可靠的結果,選用了4幅不同場景的圖像進行變換,其結果如圖1所示。

7a4dc446-3ae5-11ed-9e49-dac502259ad0.png

由圖1可以看出,RGB信息熵都遠大于相對應的灰度圖像信息熵。也就是彩色圖像變換為灰度圖像后,圖像的信息量有比較大的損失,對后續(xù)的特征提取必將產(chǎn)生影響。

2 基于RGB特征點提取算法

基于RGB圖像的特征點提取算法可分為三類 :一是基于輸出融合,分別對RGB圖像三個通道進行特征提取,根據(jù)設計的融合準則得到整體的特征,實現(xiàn)相對簡單,但容易導致信息丟失 ;二是基于RGB顏色向量,將RGB圖像看作二維網(wǎng)格上的三維向量場,通過求解向量值函數(shù)實現(xiàn)特征提取 ;三是多維梯度方法,屬于信息級的融合策略,可實現(xiàn)最終RGB特征信息增強[9-10]。

2.1 RGB 特征點查找算法

本文將采用第二類方法,基于信息熵計算RGB每個分量的最優(yōu)融合權值,實現(xiàn)像素級的融合。算法步驟如下 :

(1)計算RGB圖像三個通道IR、IG、IB的信息熵 :

7a8a541a-3ae5-11ed-9e49-dac502259ad0.png

其中,pR(Rk)、pG(Gk)、pB(Bk) 分別是IR、IG、IB三個通道的直方圖統(tǒng)計量。

(2)根據(jù)圖像信息量確定三個通道的權重。為了最大限度地保留圖像信息,按照信息量的大小分配權重 :

7a9ec256-3ae5-11ed-9e49-dac502259ad0.png

(3)基于信息量將RGB圖像線性變換為灰度圖像 :

7abdeda2-3ae5-11ed-9e49-dac502259ad0.png

式中,R、G、B分別是RGB圖像任意像素的分量。

由此證明基于信息熵的線性變換的信息量得到最大保留, 該命題可等效為 :任意假設線性變換Grey=λRR+λGG+λBB,對應的信息量HGrey≤HGreyI。

證明 :假設 Greyk 為變換后灰度圖像的離散灰度隨機變量,Rk、Gk、Bk分別為原始RGB圖像三通道IR、IG、IB的離散隨機變量。根據(jù)信息論可知,當信源的方差越大,則信息熵越大。

假設IR、IG、IB的方差分別為D(Rk)、D(Gk)、D(Bk),且D(Rk)>D(Gk)>D(Bk), 則可推出HR>HG>HB, 從而推出λRI>λGI>λBI。

根據(jù)方差性質 :D(Greyk)=λR2D(Rk)+λG2D(Gk)+λB2D(Bk),則有λR+λG+λB=1,推出:λR2D(Rk)+λG2D(Gk)+λB2D(Bk) ≤ λ2RID(Rk)+λ2GID(Gk)+λ2BI D(Bk),從而有:HGrey ≤ HGreyI。

(4)運用FAST算法確定特征點,此處不再贅述。

2.2 RGB 特征點描述子

本文采用的特征點描述子是在 Brief 描述子基礎上加以改進的。為充分利用 RGB 三個通道的信息,描述子建立如下 :

(1)將RGB圖像看作M×N×3的數(shù)組,IR、IG、IB 由上至下分布,以IG某二維特征點 (x,y)為中心,取S×S×3的立體鄰域。

(2)在鄰域內隨機選取一對點。隨機規(guī)則設計如下 :在圖層選擇上采取均勻隨機采樣 ;圖層上像素采用高斯兩步隨機采樣,即首先對xi 按照高斯分布7ade04ca-3ae5-11ed-9e49-dac502259ad0.png采樣,然后對yi 按照高斯分布7b03b788-3ae5-11ed-9e49-dac502259ad0.png采樣。

(3)比較二者像素的大小,并按照如下公式進行二進制賦值。

7b22c042-3ae5-11ed-9e49-dac502259ad0.png

其中,p(xi, yi)和p(xi', yi')是隨機點(xi, yi)和(xi', yi')處的像素值。

(4)重復步驟 1 ~3,生成一個二進制編碼,此編碼即為特征點描述子。

3 實驗及分析

為驗證本文提出的特征點提取算法,擬與原始ORB特征點檢測算法進行比較。分別采集兩組圖片 :第一組是在相同場景下通過平移、旋轉、尺度等變換得到的 ;第二組為完全不同的場景圖片。分別對兩組圖片進行特征點提取,并進行特征點匹配,采用改進的 ORB特征點提取算法(為使ORB 算法具有尺度、旋轉不變性,在此將原算法中的Brie描述子更換為 Surf 描述子)的結果如圖2、圖3所示。

7b4afbb6-3ae5-11ed-9e49-dac502259ad0.png

由圖中可看出,相同場景下大部分點的匹配是正確的,由于未采用RANSC算法,有少數(shù)點發(fā)生了匹配錯誤。如果采用RANSC算法,誤匹配點對可以避免,但匹配時間會大大增加,平均為218.902 ms。對完全不同的場景進行特征提取,即使使用了RANSC算法仍然存在明顯的3處誤匹配,這種錯誤對于人類視覺而言是荒唐的。特征描述子采用的是局部鄰域編碼,從原理上只是經(jīng)過編碼的特征點的匹配,不代表客觀物體間關系的匹配。產(chǎn)生這一現(xiàn)象一方面是由于特征定義的問題,另一方面是由于算法普遍是基于灰度圖像,未能充分利用原始RGB圖像信息的問題。

對以上兩組圖片采用本文提出的基于RGB特征點提取算法進行處理,同時采用基于距離的匹配算法進行匹配,其結果如圖4、圖5所示。

7b70664e-3ae5-11ed-9e49-dac502259ad0.png

相較于原算法,相同場景下基于RGB特征點的提取算法降低了錯誤匹配,其與原算法組合使用RANSC算法的性能相近,但處理時間縮短了62.014 ms。也說明了在算法充分利用RGB信息后,對于匹配結果的提升是有效的。但在不同場景下基于RGB特征提取仍然存在著極少的明顯誤匹配,這是因為算法本身仍是基于圖像局部范圍,當不同場景存在著較大的相似度時,這種錯誤發(fā)生的概率就會增加,通過擴大描述子隨機范圍可以降低錯誤率,但不可能完全避免。

4 結 語

本文面向SLAM魯棒應用提出了基于RGB特征點提取算法,通過與目前普遍使用的ORB特征提取算法進行比較,發(fā)現(xiàn)誤匹配率有明顯降低,性能與使用RANSC算法相當,但處理時間得到了明顯降低,從而也驗證了本文提出的RGB圖像信息熵度量方法的正確性,從信息論的角度解釋了算法的有效性。今后,將圍繞不同場景下誤匹配發(fā)生的機理展開理論研究,進一步提升特征提取的魯棒性。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 圖像
    +關注

    關注

    2

    文章

    1096

    瀏覽量

    42430
  • RGB
    RGB
    +關注

    關注

    4

    文章

    835

    瀏覽量

    62202
  • SLAM
    +關注

    關注

    24

    文章

    459

    瀏覽量

    33408

原文標題:論文速覽 | 面向視覺SLAM的改進RGB特征點檢測算法

文章出處:【微信號:iotmag,微信公眾號:iotmag】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    20%丟包率仍可解碼,安謀科技新一代“玲瓏”VPU IP高性加持

    ,不穩(wěn)會花屏。安謀科技發(fā)布的新一代VPU IP—— “玲瓏”V560/V760,從架構設計之初就瞄準這個市場痛,通過兩項核心能力實現(xiàn)視頻處理“快且穩(wěn)”:一是獨創(chuàng)條帶級編解碼控制技術,顯著降低延時;二是全維度高性設計,讓視頻
    的頭像 發(fā)表于 03-31 10:14 ?162次閱讀
    20%丟包率仍可解碼,安謀科技新一代“玲瓏”VPU IP高<b class='flag-5'>魯</b><b class='flag-5'>棒</b>性加持

    ROS2 SLAM建圖與導航實戰(zhàn)--基于米爾RK3576開發(fā)板

    前言 文檔定位與目標讀者 本文檔面向具備一定ROS基礎、希望深入理解并在實際項目中部署ROS2 Humble + SLAM Toolbox + Nav2完整建圖與導航系統(tǒng)的機器人工程師。我們將從
    發(fā)表于 03-12 17:55

    瞻芯電子G2 650V SiC MOSFET的性驗證試驗

    瞻芯電子(IVCT)基于經(jīng)典壽命模型,對大樣本量的第二代(G2)650V SiC MOSFET 進行了性驗證試驗(Robustness-Validation)。該試驗嚴格遵循AEC-Q101
    的頭像 發(fā)表于 12-18 16:35 ?6758次閱讀
    瞻芯電子G2 650V SiC MOSFET的<b class='flag-5'>魯</b><b class='flag-5'>棒</b>性驗證試驗

    FPGA和GPU加速的視覺SLAM系統(tǒng)中特征檢測器研究

    特征檢測是SLAM系統(tǒng)中常見但耗時的模塊,隨著SLAM技術日益廣泛應用于無人機等功耗受限平臺,其效率優(yōu)化尤為重要。本文首次針對視覺SLAM流程開展硬件加速
    的頭像 發(fā)表于 10-31 09:30 ?859次閱讀
    FPGA和GPU加速的視覺<b class='flag-5'>SLAM</b>系統(tǒng)中<b class='flag-5'>特征</b>檢測器研究

    基于級聯(lián)分類器的人臉檢測基本原理

    本次分享的內容是基于級聯(lián)分類器的人臉檢測基本原理 1) 人臉檢測概述 關于人臉檢測算法,目前主流方法分為兩類,一類是基于知識,主要方法包括模板匹配,人臉特征,形狀和邊緣,紋理特征,顏色特征
    發(fā)表于 10-30 06:14

    自動駕駛中如何將稀疏地圖與視覺SLAM相結合?

    [首發(fā)于智駕最前沿微信公眾號]在自動駕駛場景中,稀疏地圖通常是由一系列關鍵幀和若干三維稀疏特征構成的地圖,每個特征包含三維坐標和描述外觀的描述子;而視覺
    的頭像 發(fā)表于 10-28 09:07 ?802次閱讀
    自動駕駛中如何將稀疏地圖與視覺<b class='flag-5'>SLAM</b>相結合?

    全新輕量級ViSTA-SLAM系統(tǒng)介紹

    無需相機內參、極致輕量的前端(前端模型大小僅為同類35%),實時單目視覺SLAM,ViSTA-SLAM。與現(xiàn)有方法相比,ViSTA-SLAM不僅更輕、更快,在相機跟蹤和密集3D重建質量方面也均表現(xiàn)出色。
    的頭像 發(fā)表于 09-22 15:53 ?1123次閱讀
    全新輕量級ViSTA-<b class='flag-5'>SLAM</b>系統(tǒng)介紹

    一種適用于動態(tài)環(huán)境的自適應先驗場景-對象SLAM框架

    由于傳統(tǒng)視覺SLAM在動態(tài)場景中容易會出現(xiàn)嚴重的定位漂移,本文提出了一種新穎的基于場景-對象的可靠性評估框架,該框架通過當前幀質量指標以及相對于可靠參考幀的場景變化,全面評估SLAM的穩(wěn)定性。
    的頭像 發(fā)表于 08-19 14:17 ?989次閱讀
    一種適用于動態(tài)環(huán)境的自適應先驗場景-對象<b class='flag-5'>SLAM</b>框架

    具備光照和自適應特征剔除的VSLAM前端框架

    現(xiàn)有的基于特征的VSLAM系統(tǒng)依賴于固定的前端參數(shù),這使得它們在面對光照突變時顯得十分脆弱,且特征跟蹤也不穩(wěn)定。為應對這些挑戰(zhàn),我們提出了“IRAF-SLAM”,這是一種具備光照
    的頭像 發(fā)表于 07-30 10:38 ?894次閱讀
    具備光照<b class='flag-5'>魯</b><b class='flag-5'>棒</b>和自適應<b class='flag-5'>特征</b>剔除的VSLAM前端框架

    基于深度學習的增強版ORB-SLAM3詳解

    ORB-SLAM3雖是當前最先進的SLAM之一,但由于使用傳統(tǒng)的ORB(定向FAST和旋轉BRIEF)特征,在尺度、旋轉和光照發(fā)生顯著變化時可能會表現(xiàn)出局限性。
    的頭像 發(fā)表于 07-14 17:21 ?1962次閱讀
    基于深度學習的增強版ORB-<b class='flag-5'>SLAM</b>3詳解

    一種適用于動態(tài)環(huán)境的實時RGB-D SLAM系統(tǒng)

    近期用于視覺SLAM的3D高斯?jié)姙R(3DGS)技術在跟蹤和高保真建圖方面取得了顯著進展。然而,其順序優(yōu)化框架以及對動態(tài)物體的敏感性限制了其在現(xiàn)實場景中的實時性能和性。為此,我們提出了
    的頭像 發(fā)表于 07-04 15:14 ?1441次閱讀
    一種適用于動態(tài)環(huán)境的實時<b class='flag-5'>RGB</b>-D <b class='flag-5'>SLAM</b>系統(tǒng)

    三維高斯?jié)姙R大規(guī)模視覺SLAM系統(tǒng)解析

    近期興起的神經(jīng)輻射場(NeRF)與三維高斯?jié)姙R(3DGS)技術在視覺SLAM中展現(xiàn)出令人鼓舞的突破性成果。然而,當前主流方法多依賴RGBD傳感器,并且僅適用于室內環(huán)境。在大規(guī)模室外場景中的重建
    的頭像 發(fā)表于 05-27 14:13 ?1794次閱讀
    三維高斯?jié)姙R大規(guī)模視覺<b class='flag-5'>SLAM</b>系統(tǒng)解析

    【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】視覺實現(xiàn)的基礎算法的應用

    ,還能理解環(huán)境中的物體語義(如識別門、桌椅等)。 工程化挑戰(zhàn) 書中案例表明,理論算法與工程落地之間存在差距。例如,深度學習模型的實時性、SLAM在動態(tài)環(huán)境中的性,仍需開發(fā)者針對
    發(fā)表于 05-03 19:41

    一種新型激光雷達慣性視覺里程計系統(tǒng)介紹

    針對具有挑戰(zhàn)性的光照條件和惡劣環(huán)境,本文提出了LIR-LIVO,這是一種輕量級且穩(wěn)健的激光雷達-慣性-視覺里程計系統(tǒng)。通過采用諸如利用深度與激光雷達云關聯(lián)實現(xiàn)特征的均勻深度分布等先進技術,以及利用
    的頭像 發(fā)表于 04-28 11:18 ?1245次閱讀
    一種新型激光雷達慣性視覺里程計系統(tǒng)介紹

    【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】+ROS2應用案例

    方法,包括SLAM Toolbox的使用。 通過學習這一部分,我了解到SLAM的基本原理,包括特征提取、特征匹配、地圖構建和定位等關鍵步驟。書中還介紹了如何在ROS 2中使用
    發(fā)表于 04-27 11:42
    江门市| 广州市| 麻城市| 宝兴县| 静乐县| 平顺县| 育儿| 应用必备| 收藏| 海晏县| 乌海市| 阿拉尔市| 大英县| 长岛县| 新巴尔虎右旗| 天水市| 曲靖市| 肥西县| 临西县| 蕲春县| 临城县| 巴塘县| 鲁山县| 南宫市| 田阳县| 大同县| 武穴市| 出国| 巢湖市| 安塞县| 青海省| 浦县| 黄骅市| 黄平县| 湘西| 营山县| 南开区| 扶沟县| 陆川县| 民丰县| 山阴县|