巖石的探測(cè)和識(shí)別在地質(zhì)勘探中是非常重要的環(huán)節(jié)。那些曾經(jīng)冒險(xiǎn)探險(xiǎn)的地質(zhì)學(xué)家們不畏艱辛，深入山林探索未知的地區(qū)，收集巖石樣本進(jìn)行分析，為我們更好地認(rèn)識(shí)地球的內(nèi)部構(gòu)造作出了巨大的貢獻(xiàn)。然而傳統(tǒng)的檢測(cè)算法過分依賴于復(fù)雜的特征工程和地質(zhì)學(xué)專業(yè)知識(shí)，無法滿足現(xiàn)代檢測(cè)的要求。近年來，基于深度學(xué)習(xí)的算法在目標(biāo)檢測(cè)、圖像處理和識(shí)別等方面取得了重大突破，因此，基于深度學(xué)習(xí)理論的巖石分類檢測(cè)系統(tǒng)的研發(fā)是必要的。另一方面，使用傳統(tǒng)檢測(cè)方法也會(huì)導(dǎo)致檢測(cè)儀器不夠小巧和便捷，有較強(qiáng)的環(huán)境局限性，于是，來自湖北工程學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院的學(xué)生團(tuán)隊(duì)，在導(dǎo)師張?zhí)旆驳膸ьI(lǐng)下，決定設(shè)計(jì)一款適合野外作業(yè)的便攜式巖石分類檢測(cè)系統(tǒng)。

張?zhí)旆怖蠋熀退膶W(xué)生團(tuán)隊(duì)

首先，這個(gè)系統(tǒng)必須具備高度的便攜性和穩(wěn)定性，以適應(yīng)地質(zhì)領(lǐng)域的工作性質(zhì)，同時(shí)實(shí)現(xiàn)離線檢測(cè)功能，解決環(huán)境局限性問題，使野外作業(yè)人員在通訊信號(hào)差的地方依靠離線知識(shí)庫實(shí)現(xiàn)快速、準(zhǔn)確的檢測(cè)。同時(shí)，該系統(tǒng)還會(huì)具有自動(dòng)識(shí)別巖石種類的能力，讓非專業(yè)人員也可以使用，輔助專業(yè)人員可以更為準(zhǔn)確地做出判定。

有要求，就有挑戰(zhàn)

團(tuán)隊(duì)面臨的問題集中在：一，野外作業(yè)環(huán)境限制了攜帶設(shè)備的體積與重量，在電池供電的條件下更是限制了相關(guān)硬件的性能。需保證受限硬件條件下，兼顧巖石分類系統(tǒng)的性能與精度；二，在野外通訊條件受限的環(huán)境下，需要?jiǎng)討B(tài)更新便攜設(shè)備中的算法、模型，以提高野外作業(yè)的靈活性與適應(yīng)性。

“我們參加了幾次由NVIDIA 開發(fā)者社區(qū)舉辦的Sky Hackathon大賽后，發(fā)現(xiàn) NVIDIA 提供的Jetson Nano比賽平臺(tái)很符合我們的要求，而且NVIDIA TAO工具套件可以幫助我們較快地完成軟件上的開發(fā)?！睆?zhí)旆怖蠋煴硎尽?/p>

搭建原型機(jī)

團(tuán)隊(duì)很快搭建出了原型方案。此裝置擬實(shí)現(xiàn)的功能與所具特色：一是便攜，采用 10.1 寸（265×170）的可觸摸電容顯示屏，方便野外作業(yè)人員攜帶和操作，減少了外設(shè)和負(fù)重；二是離線檢測(cè)，以 Jetson Nano 高性能低功耗嵌入式設(shè)備為載體實(shí)現(xiàn)離線檢測(cè)；三是自動(dòng)識(shí)別巖石種類，在后方實(shí)驗(yàn)室訓(xùn)練完成的模型可由 NVIDIA TAO 工具套件動(dòng)態(tài)部署到 Jetson Nano 邊緣設(shè)備，使其能夠不斷更新自動(dòng)識(shí)別巖石的算法。

圖一 原型機(jī)實(shí)現(xiàn)功能的總體流程

為了滿足“小型-便攜”這一基本設(shè)計(jì)需求，團(tuán)隊(duì)成員經(jīng)過多次修改，最終確定了原型機(jī)的硬件設(shè)計(jì)，即將 NVIDIA Jetson Nano、顯示器驅(qū)動(dòng)板、電源和圖像傳感器進(jìn)行集成，利用 3D 打印機(jī)，制作出了原型產(chǎn)品。

圖二 原型機(jī)的正面

模型訓(xùn)練與部署

巖石分類檢測(cè)系統(tǒng)基于 EffinicentV2 模型，團(tuán)隊(duì)使用了 NVIDIA TAO 工具套件中的模型訓(xùn)練工具來訓(xùn)練 EfficientV2 模型，并使用模型轉(zhuǎn)換工具將訓(xùn)練好的模型轉(zhuǎn)換為TensorRT格式，以便于在 Jetson Nano 邊緣設(shè)備上部署和加速推理。此外，團(tuán)隊(duì)還使用了 NVIDIA TAO 工具套件中的數(shù)據(jù)增強(qiáng)工具來增強(qiáng)數(shù)據(jù)集，以提高模型的魯棒性和泛化能力。通過不斷調(diào)整參數(shù)和數(shù)據(jù)集，最后的推理評(píng)價(jià)為：總體正確率達(dá)到 94.36%。

模型訓(xùn)練完成，部署在配置微型攝像頭的 NVIDIA Jetson Nano 上，使用可觸摸屏幕與其連接。系統(tǒng)通過攝像頭獲取需要分析的圖像數(shù)據(jù)，獲取后將其輸送到系統(tǒng)內(nèi)部，用戶通過 UI 界面與巖石分類模型進(jìn)行交互，數(shù)據(jù)被傳輸給巖石分類模型，模型使用圖像處理與識(shí)別技術(shù)進(jìn)行識(shí)別與分析，最后以圖表形式顯示巖石分類結(jié)果。

圖三 原型機(jī)的系統(tǒng)啟動(dòng)展示

圖四 原型機(jī)的系統(tǒng)分析結(jié)果展示

“NVIDIA Jetson Nano 靈活的軟件和完整的框架支持，以及較高的內(nèi)存容量和統(tǒng)一的內(nèi)存子系統(tǒng)，使其能夠同時(shí)運(yùn)行各種不同的網(wǎng)絡(luò)，達(dá)到全高清分辨率，可以讓學(xué)生們?cè)诙虝r(shí)間內(nèi)嘗試各種 AI 模型，并且完成一個(gè) AI 原型產(chǎn)品，高效地鍛煉了學(xué)生們的 AI 場(chǎng)景落地能力?！睆?zhí)旆怖蠋熢u(píng)價(jià)說：“在 AI 技術(shù)不斷發(fā)展的時(shí)代背景下，能讓學(xué)生們迎頭趕上技術(shù)發(fā)展的大趨勢(shì)是很重要的！”

張?zhí)旆怖蠋熣f：“對(duì)于那些正在使用 NVIDIA Jetson 系列嵌入式 AI 產(chǎn)品進(jìn)行開發(fā)的開發(fā)者們，我想給出的建議是要善于利用 NVIDIA 提供的開發(fā)工具和 SDK，例如 NVIDIA TAO 工具套件，NVIDIADeepStream，NVIDIA NeMo等，以便根據(jù)不同的應(yīng)用領(lǐng)域，更加高效地進(jìn)行模型訓(xùn)練、推理和優(yōu)化。另外，還要密切關(guān)注新的 AI 技術(shù)和應(yīng)用趨勢(shì)，及時(shí)掌握最新的開發(fā)技能和經(jīng)驗(yàn)，不斷完善和優(yōu)化自己的 AI 應(yīng)用方案，為實(shí)現(xiàn)更高效、更智能的應(yīng)用奠定堅(jiān)實(shí)的基礎(chǔ)。希望這些建議對(duì) Jetson 嵌入式 AI 產(chǎn)品開發(fā)者有所幫助，能夠更好地發(fā)揮 Jetson 系列產(chǎn)品的潛力，開發(fā)出更為出色的 AI 應(yīng)用?！?/p>

*本文中圖片均由湖北工程學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院張?zhí)旆怖蠋焾F(tuán)隊(duì)提供，如果您有任何疑問或需要使用本文中圖片，請(qǐng)聯(lián)系該團(tuán)隊(duì)。