大家好，這是一個(gè)樹莓派和OpenCV的連載專題。

使用樹莓派與OpenCV實(shí)現(xiàn)姿態(tài)估計(jì)和面部特征點(diǎn)追蹤

使用樹莓派與OpenCV實(shí)現(xiàn)面部和運(yùn)動(dòng)追蹤的云臺(tái)系統(tǒng)

使用樹莓派和OpenCV實(shí)現(xiàn)手部識(shí)別與手勢(shì)控制

使用樹莓派和OpenCV實(shí)時(shí)掃描并存儲(chǔ)二維碼

使用樹莓派和OpenCV實(shí)現(xiàn)物體與動(dòng)物識(shí)別

使用樹莓派、攝像頭和OpenCV進(jìn)行速度檢測(cè)

用樹莓派 + OpenCV 打造人臉識(shí)別技術(shù)！

今天的內(nèi)容是：使用樹莓派和OpenCV實(shí)現(xiàn)手部識(shí)別與手勢(shì)控制

如果大家對(duì)這個(gè)專題感興趣，記得關(guān)注樹莓派開發(fā)者，這樣你將會(huì)第一時(shí)間收到我們的內(nèi)容更新通知。

考驗(yàn)?zāi)阌⒄Z聽力的時(shí)候到了，你可以選擇觀看視頻演示。

[更新——在OPEN-CV與新版樹莓派“Bullseye”操作系統(tǒng)完全兼容之前，我強(qiáng)烈建議現(xiàn)階段將先前的樹莓派“Buster”操作系統(tǒng)刷寫到Micro-SD卡上，以配合本指南使用——官方“Buster”鏡像下載鏈接在下方]

如何將舊的“Buster”樹莓派系統(tǒng)刷寫到Micro-SD卡上：

https://core-electronics.com.au/guides/raspberry-pi/flash-buster-os-pi/

官方“Buster”鏡像：

https://downloads.raspberrypi.org/raspios_armhf/images/raspios_armhf-2021-05-28/

是時(shí)候使用人工智能和計(jì)算機(jī)視覺技術(shù)，實(shí)現(xiàn)實(shí)時(shí)多手部識(shí)別、手指分割和手勢(shì)識(shí)別了。你是否曾希望自己的樹莓派4B能夠?qū)崟r(shí)識(shí)別你雙手手指的每個(gè)關(guān)節(jié)？或者用手勢(shì)發(fā)送指令？又或者進(jìn)行手部關(guān)鍵點(diǎn)檢測(cè)或手部姿態(tài)檢測(cè)？那么，本頁正是你需要的。

按照本指南操作，你將確切知道如何實(shí)現(xiàn)這些功能，從而在創(chuàng)客世界中搭建一個(gè)適合自己項(xiàng)目的類似系統(tǒng)（即使你是虛擬主播也沒問題）。本指南內(nèi)容如下：

所需材料

初始設(shè)置與安裝流程

手部跟蹤功能腳本

手指計(jì)數(shù)與手指上下識(shí)別腳本

后續(xù)方向（GPIO控制及其他應(yīng)用）

在樹莓派“Buster”操作系統(tǒng)上安裝Open-CV

腳本下載

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)從未如此觸手可及，本指南將對(duì)此進(jìn)行演示。本系統(tǒng)將使用Open-CV，特別是CVzone。這是一個(gè)強(qiáng)大的資源庫(kù)，有助于解決實(shí)時(shí)計(jì)算機(jī)視覺和圖像處理問題。下圖展示了在樹莓派“Buster”操作系統(tǒng)上運(yùn)行手部跟蹤軟件的情況，使用的是樹莓派4B、高質(zhì)量攝像頭模塊和鏡頭。

在本頁底部，你可以找到將Open-CV安裝到樹莓派上的流程。本系統(tǒng)將使用MediaPipe進(jìn)行實(shí)時(shí)手部識(shí)別，該工具在運(yùn)行時(shí)會(huì)使用TensorFlow Lite委托進(jìn)行硬件加速（本指南一應(yīng)俱全?。＿€有其他類型的手勢(shì)識(shí)別技術(shù)也可用于樹莓派4B。例如，你還可以使用Pytorch、Haar級(jí)聯(lián)或YOLO/YOLOv2軟件包進(jìn)行手部識(shí)別或手勢(shì)識(shí)別，但本指南中使用的MediaPipe數(shù)據(jù)集和系統(tǒng)要優(yōu)越得多。本指南中探索的所有腳本都將使用Python編程語言。

所需材料

以下是讓本系統(tǒng)快速運(yùn)行起來所需的組件列表。

樹莓派4B（樹莓派提供的額外計(jì)算能力對(duì)這項(xiàng)任務(wù)非常有幫助，但此設(shè)置也適用于樹莓派3B，只是速度會(huì)稍慢一些）

樹莓派高質(zhì)量攝像頭和攝像頭鏡頭（你也可以使用樹莓派官方攝像頭模塊V2）

Micro SD卡

電源

顯示器

HDMI線

鼠標(biāo)和鍵盤

初始設(shè)置與安裝流程

將樹莓派作為臺(tái)式電腦連接，接上顯示器、鼠標(biāo)和鍵盤。確保樹莓派攝像頭已正確安裝在插槽中，且排線方向正確，然后開始下面的Open-CV安裝流程。完成后，你將在全新版本的樹莓派“Buster”操作系統(tǒng)上安裝好Open-CV。然后打開樹莓派配置菜單（通過左上角的菜單找到，然后滾動(dòng)到偏好設(shè)置），在接口選項(xiàng)卡下啟用攝像頭。啟用后，重啟樹莓派以使更改生效。設(shè)置位置見下圖。

完成上述步驟后，下一步是使用屏幕左上角的黑色按鈕打開一個(gè)新的終端。下面展示了在樹莓派“Buster”桌面上打開終端的樣子，圖中有一個(gè)大箭頭指向點(diǎn)擊鼠標(biāo)打開終端的圖標(biāo)。

現(xiàn)在，我們將在終端窗口中逐行輸入以下命令，以安裝必要的軟件包。當(dāng)需要你繼續(xù)安裝這些軟件包時(shí)，請(qǐng)按鍵盤上的 | Y | 鍵。我們將在此安裝的最重要的軟件包是MediaPipe。它有專門適用于樹莓派4和樹莓派3的軟件包，你可以將兩者都安裝到系統(tǒng)中。這些命令將為我們提供MediaPipe軟件包。關(guān)于MediaPipe為手部識(shí)別提供的功能，請(qǐng)參見下文圖片，該軟件包能夠識(shí)別、定位雙手上的每個(gè)關(guān)節(jié)，并為每個(gè)關(guān)節(jié)提供一個(gè)唯一的編號(hào)。

sudopip3 install mediapipe-rpi3sudo pip3 install mediapipe-rpi4sudo pip3 install gttssudo apt install mpg321

故障排除補(bǔ)充：如果你遇到此兼容性問題 | RuntimeError: module compiled against API version 0xe but this version of numpy is 0xd |，請(qǐng)?jiān)诮K端中輸入以下命令進(jìn)行修復(fù)

sudo pip install numpy--upgrade--ignore-installedsudo pip3 install numpy--upgrade--ignore-installed

手部跟蹤功能腳本

完成上述步驟后，我們開始進(jìn)入正題。下面是我們將用于啟動(dòng)手部跟蹤系統(tǒng)的腳本。運(yùn)行該腳本時(shí)，它將通過計(jì)算機(jī)視覺識(shí)別面前的任何手部，然后使用機(jī)器學(xué)習(xí)在識(shí)別出的手部上方繪制手部框架。腳本有完整的注釋，因此你可以理解每個(gè)部分的作用和目的。在下面的下載部分中找到名為 | Simple-Hand-Tracker.py | 的腳本。復(fù)制、粘貼、保存并運(yùn)行下面的腳本，或在Thonny IDE中運(yùn)行下載的腳本。Thonny IDE只是我偏好的Python解釋器軟件，它默認(rèn)安裝在樹莓派操作系統(tǒng)中，你可以使用任何你喜歡的軟件。

#Import the necessary Packages for this software to runimportmediapipeimportcv2#Use MediaPipe to draw the hand framework over the top of hands it identifies in Real-TimedrawingModule = mediapipe.solutions.drawing_utilshandsModule = mediapipe.solutions.hands#Use CV2 Functionality to create a Video stream and add some valuescap = cv2.VideoCapture(0)fourcc = cv2.VideoWriter_fourcc('m','p','4','v')#Add confidence values and extra settings to MediaPipe hand tracking. As we are using a live video stream this is not a static#image mode, confidence values in regards to overall detection and tracking and we will only let two hands be tracked at the same time#More hands can be tracked at the same time if desired but will slow down the systemwithhandsModule.Hands(static_image_mode=False, min_detection_confidence=0.7, min_tracking_confidence=0.7, max_num_hands=2)ashands:#Create an infinite loop which will produce the live feed to our desktop and that will search for hands whileTrue: ret, frame = cap.read() #Unedit the below line if your live feed is produced upsidedown #flipped = cv2.flip(frame, flipCode = -1)
#Determines the frame size, 640 x 480 offers a nice balance between speed and accurate identification frame1 = cv2.resize(frame, (640,480))
#Produces the hand framework overlay ontop of the hand, you can choose the colour here too) results = hands.process(cv2.cvtColor(frame1, cv2.COLOR_BGR2RGB))
#In case the system sees multiple hands this if statment deals with that and produces another hand overlay ifresults.multi_hand_landmarks !=None: forhandLandmarksinresults.multi_hand_landmarks: drawingModule.draw_landmarks(frame1, handLandmarks, handsModule.HAND_CONNECTIONS)
#Below is Added Code to find and print to the shell the Location X-Y coordinates of Index Finger, Uncomment if desired #for point in handsModule.HandLandmark:
#normalizedLandmark = handLandmarks.landmark[point] #pixelCoordinatesLandmark= drawingModule._normalized_to_pixel_coordinates(normalizedLandmark.x, normalizedLandmark.y, 640, 480)
#Using the Finger Joint Identification Image we know that point 8 represents the tip of the Index Finger #if point == 8: #print(point) #print(pixelCoordinatesLandmark) #print(normalizedLandmark)
#Below shows the current frame to the desktop cv2.imshow("Frame", frame1); key = cv2.waitKey(1) &0xFF
#Below states that if the |q| is press on the keyboard it will stop the system ifkey ==ord("q"): break

因此，只要你運(yùn)行該腳本（在Thonny IDE中按大的綠色運(yùn)行按鈕），它就會(huì)打開一個(gè)新窗口并啟動(dòng)手部識(shí)別。此腳本可容納兩只手，但如果你愿意，可以修改腳本以容納更多手部。請(qǐng)參見下圖。

手指計(jì)數(shù)與手指上下識(shí)別腳本

接下來的自然步驟是在上述腳本中添加代碼，使其能夠知道我們何時(shí)有手指抬起/放下，并統(tǒng)計(jì)抬起/放下的手指總數(shù)。在本頁底部下載此腳本。解壓下載的腳本到桌面后，你將看到有完整注釋的腳本 | Are Fingers Up or Down.py | 和 | module.py |。運(yùn)行第一個(gè)主腳本時(shí)，請(qǐng)確保 | module.py | 在同一目錄中。此 | Are Fingers Up or Down.py | 腳本與上面的腳本非常相似，但還將提供手指總數(shù)（抬起和放下）以及每個(gè)手指是抬起還是放下的具體細(xì)節(jié)。此信息將打印到外殼中。請(qǐng)參見下圖，右鍵單擊并將其在新窗口中打開以查看全尺寸圖像（如果需要）。注意，已識(shí)別出食指和小指是抬起的。另外，有2根手指是抬起的，3根手指是放下的。

這非常有用，因?yàn)槲覀兛梢該?jù)此擴(kuò)展功能，使用抬起/放下的手指或手勢(shì)（如搖滾手勢(shì)）來控制GPIO引腳。就目前而言，此計(jì)數(shù)適用于單只手，但可以修改代碼以適用于多只手。

另外，作為一個(gè)彩蛋，我添加了一個(gè)小型文本轉(zhuǎn)語音功能。每當(dāng)你在腳本運(yùn)行時(shí)按鍵盤上的 | q | 鍵，一個(gè)悅耳的機(jī)器人女士聲音就會(huì)告訴你抬起和放下的手指數(shù)量。所有代碼都有完整注釋，以幫助理解。

后續(xù)方向（GPIO控制及其他應(yīng)用）

自然，接下來的步驟是使用此代碼控制GPIO引腳。我之前曾使用有趣的輸入（如面部識(shí)別、速度識(shí)別或NFC標(biāo)簽）進(jìn)行過伺服控制、LED燈控制和LED矩陣控制，但這次讓我們從控制一組伺服開始。本節(jié)中討論的所有腳本均可在本文底部下載。

包含的代碼 | Are Fingers Up Servo Control.py | 中，我特別標(biāo)注了修改之前腳本以添加此功能的位置。只需添加幾行代碼，你的樹莓派單板計(jì)算機(jī)就可以變成一個(gè)手勢(shì)激活系統(tǒng)。這非常令人興奮！在我的案例中，我將其連接到了一個(gè)機(jī)械手上，該機(jī)械手由5個(gè)伺服為每個(gè)指尖提供動(dòng)力。這些伺服都連接到一個(gè)直接安裝在樹莓派頂部的Adafruit 16通道伺服HAT上。這個(gè)HAT（硬件附加在頂部）是控制樹莓派多個(gè)伺服的最簡(jiǎn)單方法。當(dāng)我在樹莓派攝像頭前抬起手指并運(yùn)行代碼時(shí)，它會(huì)抬起機(jī)械手的手指。請(qǐng)參見下圖。此外，Garry創(chuàng)建了一個(gè)出色的仿生樂高手，他擴(kuò)展了此代碼并使用了樹莓派Build HAT。

在可下載的腳本中，你還可以找到 | Glowbit-Gesture-Control.py |。如果你然后像此指南一樣將一個(gè)Glowbit Matrix 4x4連接到樹莓派上，你將創(chuàng)建一個(gè)手勢(shì)控制燈光系統(tǒng)。請(qǐng)參見下面的操作。根據(jù)你向攝像頭展示的手指數(shù)量，矩陣將顯示不同的顏色。只需在上一個(gè)腳本中添加很少的額外代碼即可實(shí)現(xiàn)此功能，并且已添加完整注釋。

這種手勢(shì)控制不僅可以用于控制硬件，還可以用于控制軟件。舉個(gè)簡(jiǎn)單的例子，打開 | Computer-Gesture-Control.py |，我在其中編寫了通過手勢(shì)命令啟動(dòng)和暫停視頻、控制聲音以及關(guān)閉設(shè)備的功能。如果你放下1根手指，它將播放媒體。如果你放下2根手指，它將暫停媒體。然后，放下3根手指將打開聲音，放下4根手指將靜音。請(qǐng)參見下圖，VLC開始播放是通過相鄰的手勢(shì)啟動(dòng)的。

如果你繼續(xù)朝這個(gè)方向編碼，你可以輕松地根據(jù)提供的手勢(shì)控制YouTube視頻的播放、暫停、快進(jìn)和點(diǎn)贊。限制只取決于你的想象力！

在樹莓派“Buster”操作系統(tǒng)上安裝Open-CV

以下是讓樹莓派安裝Open-CV以實(shí)現(xiàn)上述手部識(shí)別的詳細(xì)流程。很快，我將創(chuàng)建一個(gè)腳本/單獨(dú)的教程來簡(jiǎn)化此流程。打開一臺(tái)運(yùn)行在Micro-SD卡上的全新樹莓派“Buster”操作系統(tǒng)的樹莓派4B，并將系統(tǒng)連接到互聯(lián)網(wǎng)。

通過按下左上角的終端按鈕打開終端。將每個(gè)命令復(fù)制并粘貼到樹莓派的終端中，按Enter鍵，并等待其完成后再執(zhí)行下一個(gè)命令。如果提示“你想繼續(xù)嗎？（y/n）”，請(qǐng)按Y鍵，然后按Enter鍵繼續(xù)。

sudo apt-getupdate&&sudo apt-getupgrade

在運(yùn)行下一組命令之前，我們必須先擴(kuò)展交換文件。為此，在終端中輸入以下行。

sudo nano /etc/dphys-swapfile

將 CONF_SWAPSIZE = 100 更改為 CONF_SWAPSIZE=2048。完成此操作后，按Ctrl-X、Y，然后按Enter鍵保存這些更改。此更改只是暫時(shí)的，完成此操作后你應(yīng)該將其改回。為了使這些更改生效，我們必須通過向終端輸入以下命令來重啟交換文件。然后，我們將像往常一樣繼續(xù)輸入終端命令。

sudo apt-get install build-essential cmake pkg-configsudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-devsudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-devsudo apt-get install libxvidcore-dev libx264-devsudo apt-get install libgtk2.0-dev libgtk-3-devsudo apt-get install libatlas-base-dev gfortransudo pip3 install numpywget -O opencv.zip https://github.com/opencv/opencv/archive/4.4.0.zipwget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.4.0.zipunzip opencv.zipunzip opencv_contrib.zipcd~/opencv-4.4.0/mkdirbuildcdbuildcmake -D CMAKE_BUILD_TYPE=RELEASE \ -D CMAKE_INSTALL_PREFIX=/usr/local \ -D INSTALL_PYTHON_EXAMPLES=ON \ -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-4.4.0/modules \ -D BUILD_EXAMPLES=ON ..make -j $(nproc)

此 | make | 命令將需要超過一個(gè)小時(shí)來安裝，并且不會(huì)有任何關(guān)于還需多長(zhǎng)時(shí)間的指示。它也可能會(huì)凍結(jié)顯示器。請(qǐng)耐心等待，它會(huì)正常工作的。一旦完成，你就完成了大部分工作。如果它在任何時(shí)候失敗，你會(huì)收到類似 | make: *** [Makefile all] Error 2 | 的消息，只需重新輸入并執(zhí)行上面的 | make -j $(nproc) | 行。不要害怕，它會(huì)記住已經(jīng)完成的所有工作，并從停止的地方繼續(xù)。一旦完成，我們將繼續(xù)輸入終端命令。

sudomake install && sudo ldconfigsudo reboot

腳本下載

以下是運(yùn)行上述示例所需的所有代碼。這些代碼都有完整注釋，因此你可以輕松理解并修改它們，以滿足你的需求。

https://core-electronics.com.au/media/kbase/527/Code-For-Hand-Identification-Media-Pipe-new.zip

原文地址：

https://core-electronics.com.au/guides/raspberry-pi/hand-identification-raspberry-pi/