現(xiàn)代農(nóng)業(yè)機(jī)器人系統(tǒng)在果實(shí)采摘過(guò)程中常受限于傳感和操作能力，特別是果實(shí)顏色、大小和硬度的多樣性帶來(lái)了巨大挑戰(zhàn)?，F(xiàn)有的剛性抓手和單模態(tài)傳感方案極易導(dǎo)致果實(shí)損傷，造成嚴(yán)重的后期損失。

2026年3月23日，康奈爾大學(xué)Robert F. Shepherd等人開發(fā)了一款集成了視覺(jué)、觸覺(jué)和曲率傳感的多功能五指軟體抓手。該系統(tǒng)通過(guò)13 個(gè)嵌入式傳感器、車載電子設(shè)備和局部計(jì)算單元，實(shí)現(xiàn)了自適應(yīng)和無(wú)損采摘。其核心技術(shù)在于每根手指中嵌入的定制可拉伸光纖，通過(guò)光信號(hào)損失來(lái)監(jiān)測(cè)觸覺(jué)和彎曲狀態(tài)，而掌心則集成了微型攝像頭和距離傳感器。實(shí)驗(yàn)證明，該抓手能在兩秒內(nèi)完成動(dòng)作，舉起超過(guò)自身重量 16 倍的物體，并能精準(zhǔn)分類果實(shí)形狀和評(píng)估成熟度，為精準(zhǔn)農(nóng)業(yè)和通用機(jī)器人操作提供了高度集成的軟體傳感解決方案。

正文內(nèi)容

圖1 | 具備識(shí)別物體形狀、大小和硬度的多功能抓手概覽。a. 集成曲率傳感器（紅箭頭）、觸覺(jué)傳感器（藍(lán)箭頭）、攝像頭、飛行時(shí)間（ToF）傳感器和旋轉(zhuǎn)模塊（黑箭頭）的軟體機(jī)器人抓手 CAD 模型 。b. 抓手在不同抓取狀態(tài)下的照片。c-d. 抓手抓取草莓和綠色大型果實(shí)的演示 。e-h. 視覺(jué)分析過(guò)程。i. 觸覺(jué)測(cè)量的光強(qiáng)損失曲線。
圖1指出，雖然視覺(jué)檢測(cè)速度快但易受光照影響，而觸覺(jué)檢測(cè)雖能測(cè)量機(jī)械特性但速度較慢且易導(dǎo)致擠壓損傷。因此，將低成本攝像頭視覺(jué)與光纖觸覺(jué)傳感融合到五指徑向?qū)ΨQ抓手中。視覺(jué)系統(tǒng)利用 HSV 色空間中的色調(diào)（Hue）通道實(shí)現(xiàn)穩(wěn)健的顏色識(shí)別。這種多模態(tài)方法利用不同傳感器的優(yōu)勢(shì)互補(bǔ)，使其能適應(yīng)復(fù)雜的戶外環(huán)境和果實(shí)變異。

圖2 | 抓手運(yùn)動(dòng)學(xué)測(cè)量與制造概覽。a. 使用 Carbon M1 打印機(jī)制造的手指主體照片 。b. 軟質(zhì)和硬質(zhì)材料的典型應(yīng)力-應(yīng)變曲線。c. 手指彎曲角度隨內(nèi)部壓力增加的變化曲線 。d. 真實(shí)手指彎曲狀態(tài)與有限元模擬（FEA）的疊加對(duì)比。e. 抓手工作空間隨壓力增加的變化分析。f. 不同充氣水平下的抓手原型與 FEA 預(yù)測(cè)的對(duì)比。

圖2表明，抓手采用多材料 3D 打印技術(shù)制造，手指使用軟質(zhì)彈性體（SIL 30），而底座使用硬質(zhì)材料（RPU 70） 。實(shí)驗(yàn)顯示，每根手指在 70 kPa 壓力下可彎曲達(dá) 240°，這與有限元預(yù)測(cè)高度一致 。此外，抓手的工作空間可從 200 mm2 擴(kuò)展至 14,000 mm2，極大增強(qiáng)了其抓取不同尺寸果實(shí)的靈活性。

圖3 | 抓手靜態(tài)力測(cè)量概覽。a. 軟體手指的阻塞力隨壓力增加的變化及模擬驗(yàn)證 。b. 單根手指在不同阻塞狀態(tài)下的照片及對(duì)應(yīng)的 FEA 預(yù)測(cè) 。c. 水平拉力測(cè)量過(guò)程 。d. 使用不同直徑（2 cm 至 5 cm）的半球體測(cè)試?yán)εc物體尺寸的關(guān)系 。e. 展示抓手提起 100 g 到 1,000 g 載荷的能力。

圖3表明，手指的阻塞力在 100 kPa 下可達(dá) 1.26 N。通過(guò)水平拉力測(cè)試發(fā)現(xiàn)，物體尺寸越大、輸入壓力越高，抓手能產(chǎn)生的拉力也越大，最高可達(dá) 8.10 N。在垂直負(fù)載測(cè)試中，該抓手成功舉起了 1 kg 的重物，相當(dāng)于其自身重量的 16 倍，證明了其優(yōu)異的載荷比。

圖4 | 視覺(jué)傳感器分析。 a. 顏色、尺寸和形狀感知的實(shí)驗(yàn)裝置，包括高度可調(diào)平臺(tái) 。b. 顏色檢測(cè)算法輸出示例。c. 形狀和尺寸分類結(jié)果。d. 對(duì)不同物體的參數(shù)分析 。e. 平均絕對(duì)百分比誤差（MAPE）圖表。

圖4發(fā)現(xiàn)，HSV 空間中的色調(diào)通道對(duì)成熟度變化最為敏感，且對(duì)不同光照條件具有穩(wěn)健性。在形狀分類中，系統(tǒng)實(shí)現(xiàn)了約 100% 的準(zhǔn)確率。對(duì)于尺寸測(cè)量，隨著物體變大，測(cè)量誤差逐漸減小，對(duì)于立方體物體的周長(zhǎng)測(cè)量誤差甚至降至 1.8% 以下。

圖5 | 曲率傳感器設(shè)計(jì)與表征。a. 手指內(nèi)穿過(guò)的光纖及激光二極管、光敏三極管底座 。b. 光強(qiáng)損失隨壓力增加的變化曲線 。c. 手指在不同彎曲狀態(tài)下的照明展示（0°、94°、225°） 。d. 光波導(dǎo)輸出與彎曲角度的相關(guān)性曲線 。e. 集成曲率傳感器的抓手檢測(cè)物體滑移演示。

圖5表明，曲率傳感器（本體感覺(jué)傳感器）的主要功能是監(jiān)測(cè)手指的彎曲狀態(tài)，確保穩(wěn)定接觸而不損傷果實(shí) 。光纖在彎曲超過(guò)臨界角（約 75-80°）后，光強(qiáng)會(huì)發(fā)生劇烈下降 。此外，該傳感器還能用于載荷估算，實(shí)驗(yàn)顯示持有 600 g 物體時(shí)的光強(qiáng)損失比 200 g 時(shí)高出 50%，并能有效檢測(cè)到重量滑移事件。

圖6 | 觸覺(jué)傳感器設(shè)計(jì)與表征。a. U 形可穿戴觸覺(jué)傳感器設(shè)計(jì) 。b. 集成在手指末端的觸覺(jué)傳感器示意圖 。c. 使用力學(xué)測(cè)試機(jī)（Cell Scale）進(jìn)行表征的實(shí)驗(yàn)裝置，測(cè)試了不同硬度的材料 。d. 不同硬度材料（特軟、軟、硬）的力-位移曲線 。e. 對(duì)應(yīng)于材料硬度的傳感器響應(yīng)信號(hào) 。f. 五個(gè)不同傳感器的光信號(hào)損失與力之間的相關(guān)性 。g. 基于材料硬度重復(fù)性的定量分析。

圖6表明，觸覺(jué)傳感器被設(shè)計(jì)成模塊化的 U 形結(jié)構(gòu)，通過(guò)魔術(shù)貼附著在指尖 。該傳感器能清晰區(qū)分硬質(zhì)物體（1.7 GPa）和特軟物體（55 kPa）及真實(shí)草莓 。在 0.7 mm 的恒定位移下，擠壓硬質(zhì)物體產(chǎn)生的最大光損失可達(dá) -9 dB。

圖7 | 利用觸覺(jué)和視覺(jué)引導(dǎo)的軟體抓手進(jìn)行實(shí)時(shí)采摘和操作。a. 安裝在 6 自由度機(jī)械臂上的抓手 。b. 全集成軟體抓手細(xì)節(jié) 。c. 實(shí)時(shí)操作合成軟硬物體并測(cè)量其參數(shù) 。d. 抓取真實(shí)水果并實(shí)時(shí)測(cè)量形狀和顏色 。e-f. 對(duì)成熟和未成熟果實(shí)的實(shí)時(shí)視覺(jué)感測(cè) 。g. 各種物體（合成物體、牛油果、草莓）的實(shí)時(shí)觸覺(jué)測(cè)量匯總。

圖7的最終演示中，該系統(tǒng)被安裝在 MyCobot 320 機(jī)械臂上 。它不僅能成功抓取并搬運(yùn)超市購(gòu)買的牛油果和草莓，還能在溫室中直接采摘活植株上的草莓 。抓手通過(guò)旋轉(zhuǎn)模塊模擬“扭轉(zhuǎn)”而非“剪切”的方式分離果實(shí)，有效避免了對(duì)莖干的損傷。

總結(jié)與展望

本研究成功研發(fā)了一款集成多模態(tài)傳感的緊湊型軟體機(jī)器人抓手，能夠通過(guò)融合五種曲率傳感、五種觸覺(jué)傳感、一種壓力傳感和一種同位視覺(jué)傳感的數(shù)據(jù)，精準(zhǔn)識(shí)別物體的視覺(jué)和觸覺(jué)特性 。該抓手設(shè)計(jì)展現(xiàn)了多項(xiàng)優(yōu)勢(shì)，包括兩秒內(nèi)的敏捷響應(yīng)、1,600% 的載荷比以及極大的工作空間擴(kuò)展性，這使其在軟體機(jī)器人、精準(zhǔn)農(nóng)業(yè)及未來(lái)農(nóng)場(chǎng)領(lǐng)域具有極高價(jià)值 。系統(tǒng)集成的 13 個(gè)傳感器提供了包括顏色、大小、形狀、距離、觸碰、曲率、內(nèi)部壓力及載荷在內(nèi)的八種傳感模態(tài)，實(shí)現(xiàn)了可靠的實(shí)時(shí)測(cè)量。

文章信息：Mishra, A.K., Ramaswami, A., Shree, V. et al. Sensor fusion of touch & vision in soft manipulators for fruit picking. Nat Commun (2026). 文章鏈接：https://doi.org/10.1038/s41467-026-70588-9