導(dǎo)讀

PCB等電子產(chǎn)品的精密生產(chǎn)制造過程中，往往需要將缺陷問題100%高精度暴露。友思特 PCB 多類型缺陷檢測系統(tǒng)，借由Neuro-T深度學(xué)習(xí)模型自動排查全部微小缺陷，為工業(yè) PCB 生產(chǎn)制造提供了先進可靠的質(zhì)量保障。

在現(xiàn)代制造業(yè)中，尤其是在高精度要求的電子制造領(lǐng)域，諸如印刷電路板（PCB）生產(chǎn)的過程中，高效且準確地識別和分類多種類型的缺陷至關(guān)重要。

針對缺陷檢測需求，常見的解決方案有兩種：（1）基于目標正常圖像數(shù)據(jù)的模板匹配；（2）訓(xùn)練深度學(xué)習(xí)模型檢測目標缺陷。

第一種方式雖然在特定場景下有效，但面對復(fù)雜和多變的實際生產(chǎn)條件，這些方法往往受限于它們的靈活性和魯棒性。第二種方式不僅能夠處理傳統(tǒng)技術(shù)難以解決的復(fù)雜缺陷類型，還能通過不斷的學(xué)習(xí)優(yōu)化，提高檢測的準確性和效率，具有更強的魯棒性和泛化能力。

友思特技術(shù)團隊通過Neuro-T 的 Segmentation（實例分割）模型，搭建了PCB 多類型缺陷檢測系統(tǒng)，為工業(yè) PCB 的生產(chǎn)制造提供了可靠的質(zhì)量保障。

友思特Neuro-T支持的深度學(xué)習(xí)模型類型

友思特 Neuro-T 支持八種不同的深度學(xué)習(xí)模型，其中六類模型適用于缺陷檢測領(lǐng)域。具體而言：

有監(jiān)督學(xué)習(xí)模型

分類：簡單分類目標缺陷的有無，精度高

實例分割：準確識別并分割目標的缺陷區(qū)域，精度最高，適合占像素點少（低至10像素點）、形狀較簡單的缺陷

目標檢測：識別和定位目標的缺陷區(qū)域，精度高，適合占像素點稍多、形狀較復(fù)雜的缺陷

GAN：人工生成目標的缺陷圖像，彌補缺陷數(shù)據(jù)量不足的問題

無監(jiān)督學(xué)習(xí)模型

異常分類：分類目標缺陷的有無，精度高于分類模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場景

實例分割：準確識別并分割異常目標的缺陷區(qū)域，精度略低于實例分割模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場景

PCB的六種常見缺陷類型

①missing_hole（焊盤缺失）

②mouse_bite（線路缺口）

③open_circuit（斷路）

④Short（短路）

⑤Spur（毛刺）

⑥Spurious（偽銅）

PCB 多類型缺陷檢測系統(tǒng)

友思特 PCB 多類型缺陷檢測系統(tǒng)主要由Neuro-R、IDS相機 和 VST-2D 軟件組成。PCB缺陷檢測模型使用 Neuro-T 中的實例分割模型，通過對數(shù)據(jù)集進行標注、訓(xùn)練、微調(diào)實現(xiàn)，而后獨立于 Neuro-T 脫機運行，通過 Neuro-R 實現(xiàn)在主機上運行推理。VST-2D 軟件是友思特自研視覺軟件，對接 IDS 相機的實時圖像流，獲取 PCB 的實時圖像數(shù)據(jù)，結(jié)合 Neuro-R 調(diào)用 Neuro-T 訓(xùn)練的模型，實現(xiàn)缺陷區(qū)域的識別、缺陷類型確定以及定位分割并將結(jié)果呈現(xiàn)于界面。

系統(tǒng)組成圖

系統(tǒng)檢測效果圖

友思特 Neuro-T 實例分割模型訓(xùn)練 PCB 缺陷檢測模型具體操作步驟

1.1 新建項目

1.2 新建數(shù)據(jù)集

1.3 導(dǎo)入圖像數(shù)據(jù)

2.1 創(chuàng)建標簽集

2.2 選擇模型類型(Segmentation)

3.1 創(chuàng)建缺陷類別

3.2 選擇標注工具

3.3 開始數(shù)據(jù)標注

數(shù)據(jù)量較少的情況下，可以手動一一標注；數(shù)據(jù)量較多時，一一標注耗時耗力，可以使用友思特 Neuro-T 自動標注功能來完成標注工作

項目共693張圖像，標注139張，剩余使用自動標注功能完成

自動標注功能的具體步驟為：

標注部分數(shù)據(jù)

劃分訓(xùn)練集和測試集

訓(xùn)練標注模型

加載標注模型

選中圖像自動標注

標注完成的結(jié)果圖如下所示：

4.1 劃分訓(xùn)練集和測試集

4.2訓(xùn)練模型

4.3 查看模型結(jié)果

模型評估結(jié)果解讀：

IoU (Intersection over Union) 交并比，對于特定的一個實例，指模型預(yù)測區(qū)域與真實區(qū)域的交集比上它們的并集：

式中P為模型預(yù)測區(qū)域，R為真實區(qū)域，單位為像素點個數(shù)。

對于深度學(xué)習(xí)模型，IoU≥50%才算成功被檢測出來且效果較好。

準確率 (Accuracy)，衡量模型在所有類別上整體預(yù)測的準確程度：

精確率(Precision)，衡量模型將數(shù)據(jù)預(yù)測為缺陷的精準程度：

召回率(Recall)，衡量模型成功找到缺陷的能力：

精確率和召回率的調(diào)和平均值(F1 Score)，綜合考慮精確率和召回率兩個指標：

式中：

TP為正確判斷為A類缺陷（真實也是A類缺陷）的數(shù)量

TN為錯誤判斷為A類缺陷（真實為非A類缺陷）的數(shù)量

FP為正確判斷為非A類缺陷（真實為非A類缺陷）的數(shù)量

FN為錯誤判斷為非A類缺陷（真實為A類缺陷）的數(shù)量。

本應(yīng)用案例有六類缺陷，對每類缺陷的指標取均值。

模型檢測效果圖

黑色字樣+黃色框：原始標注結(jié)果

紫色字樣+陰影框：預(yù)測結(jié)果

友思特缺陷檢測系統(tǒng)套裝

Neuro-R

Neuro-R 可實現(xiàn)無縫整合訓(xùn)練軟件創(chuàng)建的模型至支持各種環(huán)境和編程語言的運行時 API，其獨特性在于——不僅僅是簡單地傳遞模型推斷結(jié)果，還可以利用各種 API 以創(chuàng)造性的方式從多個模型生成結(jié)果，Neuro-R 是友思特缺陷檢測系統(tǒng)套裝的重要組成部分。

Neuro-T

Neuro-T 使用簡單的圖形用戶界面，通過自動優(yōu)化深度學(xué)習(xí)模型結(jié)構(gòu)和訓(xùn)練參數(shù)來創(chuàng)建出性能最佳的模型，無需任何深度學(xué)習(xí)經(jīng)驗，即可運行自己的深度學(xué)習(xí)項目。在系統(tǒng)中，Neuro-T 是用于訓(xùn)練模型的核心工具。

2D 工業(yè)相機

友思特 2D 工業(yè)相機結(jié)合了支持USB3視覺標準的高質(zhì)量全局快門傳感器技術(shù)和具有成本效益的uEye XCP相機平臺，是流行的USB2接口的uEye LE相機系列的最佳、高性能和長期替代品。借助友思特自研視覺軟件 VST-2D，對接IDS相機的實時圖像流，即可獲取PCB的實時圖像數(shù)據(jù)。

審核編輯 黃宇