斯坦福大學研究人員給AI模型看了100部好萊塢電影，讓AI看懂了什么是接吻，并從視頻片段中分割識別出接吻的鏡頭場景，而且把接吻和***場景區(qū)分開來。嗯，想開車的朋友可能要等等，但想看吻戲的朋友這回可以一次看個夠了。

和大多數(shù)沒有接過吻的人一樣，AI學接吻這件事最開始也是通過觀看愛情電影片段進行的。AI通過看電影來了解關(guān)于接吻的基本知識，尤其是看看那些好萊塢明星的嘴唇動作究竟是什么樣的。

研究人員對熟練掌握識別面部識別和目標識別的深度學習算法進行了訓練，識別由專業(yè)演員戲劇化的熱吻場景，這表明，AI系統(tǒng)已經(jīng)能夠更深入地了解最親密的人類“交流”活動。

電影《泰坦尼克號》中男女主角著名的“船頭接吻”鏡頭

這項研究來自Netflix的高級數(shù)據(jù)科學家Amir Ziai，他正在斯坦福大學攻讀AI專業(yè)研究生。Ziai從過去一個世紀的好萊塢電影數(shù)據(jù)庫中挑選了100部電影的代表性片段。然后手動將不同的電影片段標記為接吻/非接吻場景，并使用來自這些片段的靜止圖像幀和聲音片段來訓練深度學習算法，以檢測影片中親吻的場景和聲音。

尋找非交叉接吻動作分割片段的算法偽代碼

不過請不要誤會，目前還不清楚這個測吻的方法是否可以用于親吻之外的進一步***場景的識別。對此，Ziai 表示：“在我的訓練數(shù)據(jù)集中有意遠離了過度的***場景，以確保模型不會混淆接吻和***”。

Ziai目前的雇主Netflix沒有參與斯坦福大學的這項研究，該研究一發(fā)表在預印本服務(wù)器arXiv上。Ziai尚未研究該技術(shù)在Netflix上的能否獲得一些應用前景。但不難想象，這類視頻識別技術(shù)可能會讓Netflix或其他公司（如YouTube，F(xiàn)acebook，Instagram和TikTok）很感興趣，由此技術(shù)開發(fā)出的商業(yè)應用可以處理大量流媒體或存儲視頻。

2019年4月，谷歌宣布其Pixel智能手機已經(jīng)能夠接收Photobooth功能更新，可以在智能手機攝像頭拍攝的視頻中檢測到接吻時進行自動拍照。Ziai展示了與視頻有關(guān)的接吻檢測技術(shù)，未來的應用可以對視頻內(nèi)容進行自動分類，為用戶打造個性化的視頻推薦列表，甚至可能充當在線視頻審核的部分作用，對某些內(nèi)容的視頻進行篩選。

“這是一個很好的例子，說明現(xiàn)代計算機視覺技術(shù)如何能夠相當容易地開發(fā)特定的'感知和響應'軟件，提示定性/非結(jié)構(gòu)化的東西（如場景中的接吻），”O(jiān)penAI策略與轉(zhuǎn)播主管杰克·克拉克說，他的導入人工智能新聞通訊，最近突出了親吻檢測研究?！拔艺J為這是AI改變個人軟件開發(fā)方面，未來受關(guān)注潛力最高的領(lǐng)域之一?！?/p>

目前對親吻場景識別最成功的深度學習模型是ResNet-18，這是一種圖像分類算法，已經(jīng)基于ImageNet數(shù)據(jù)庫中的超過一百萬張圖像進行了預訓練。為了能夠正確識別接吻的聲音，使用名為VGGish的深度學習模型，利用每個接吻場景的一秒鐘片段的后960毫秒的音頻進行了訓練。

使用這種雙管齊下的訓練方式，AI模型處理接吻的圖像和音頻的方式，讓整個模型獲得了高達的0.95的F1分數(shù) - 這一分數(shù)用于衡量算法（對于誤報和假陰性的）精度的加權(quán)平均值。

但是，面對一些電影場景中視頻編輯過多，以及和攝像機角度問題時，模型可能會無能為力。拍攝演員接吻的遠景鏡頭有時會騙過算法，因為這種情況下，大部分相機鏡框內(nèi)都是風景背景?？旃?jié)奏的視頻剪輯和不包括兩個演員的鏡頭也證明是具有挑戰(zhàn)性的。

要弄清究竟是AI模型究竟是根據(jù)哪些特定數(shù)據(jù)模式進行預測是比較困難的事情。人類嘗試理解AI邏輯的一種方法是使用顯著性圖來突出顯示在分析過程中受到AI最多關(guān)注的數(shù)據(jù)。在好萊塢電影中的親吻場景中，深度學習模型似乎更加關(guān)注與演員面部相關(guān)的圖像像素。

Ziai說，一些“有限的實驗”也表明，AI模型更依賴視覺特征，而不是音頻特征來識別接吻場景。實驗表明，利用更加“精心調(diào)整的數(shù)據(jù)集”會更有利于接吻探測系統(tǒng)的性能發(fā)揮，并且可能利用更多的背景信息，而不僅僅是靠靜止圖像來識別接吻場景。

電影《幽靈》（1990）中的接吻場景

目前還不清楚AI模型在全部100部好萊塢電影中的識別表現(xiàn)如何，如《安娜·卡列尼娜》（1935），《幽靈》（1990）和《皇家賭場》（2006）將在更大的電影數(shù)據(jù)集中發(fā)揮作用。但是，在訓練數(shù)據(jù)集超過80個視頻后，該模型僅僅出現(xiàn)了“邊際化的性能提升”，Ziai說。好萊塢電影數(shù)據(jù)集和一些計算資源由斯坦福大學計算機科學助理教授Kayvon Fatahalian實驗室提供。

另一個問題是，這種接吻AI識別模型是否能夠在檢測社交媒體上常見的視頻中的接吻場景時表現(xiàn)出相當?shù)木取＿@一挑戰(zhàn)可能需要對更大的視頻數(shù)據(jù)集進行額外的訓練。盡管如此，一些初步測試仍然表明，這種方式有望誕生更廣泛的AI接吻檢測應用。

“這項研究的嘗試是使用多樣化的數(shù)據(jù)集，讓模型不會過度適應任何特定類型的電影，”Ziai說?！坝腥さ氖牵坪踉谖野l(fā)現(xiàn)的一些YouTube視頻上的性能表現(xiàn)相當不錯?！?/p>