5月25日-26日，由中國人工智能學會主辦，南京市麒麟科技創(chuàng)新園管理委員會與京東云共同承辦的2019全球人工智能技術(shù)大會（2019 GAITC）在南京紫金山莊成功舉行。

在第一天的主論壇上，英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球 CTO戴金權(quán)發(fā)表了主題為《Analytics Zoo: 統(tǒng)一的大數(shù)據(jù)分析+AI 平臺》的精彩演講。

戴金權(quán)

英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球 CTO

以下是戴總的演講實錄：

在英特爾如何構(gòu)建統(tǒng)一的大數(shù)據(jù)分析+AI 平臺（我們稱為開源項目），幫助客戶更高效地開發(fā)大數(shù)據(jù)、大規(guī)模深度學習的應用。英特爾致力于提供端到端，從設(shè)備端到邊緣，再到數(shù)據(jù)中心云端完整的計算架構(gòu)，比如在數(shù)據(jù)中心，今天英特爾志強服務(wù)器是 AI 應用分析的基礎(chǔ)架構(gòu)，月提供了多種像神經(jīng)網(wǎng)絡(luò)處理器等豐富的硬件架構(gòu)。同樣在軟件上，我們也是致力于提供全站的解決方案，從最底層的核心算子開源項目可以幫助用戶更高效開發(fā)他們的計算庫；再到上層各種機器學習或者深度學習的框架，比如對開源的 Analytics Zoo，深度學習做了大量的優(yōu)化工作；再到最上層，也提供了一些開源工具包，目的是幫助應用開發(fā)人員更高效地開發(fā)基于深度學習的應用。

今天在這里著重分享的是基于大數(shù)據(jù)分析處理的框架上開發(fā)并且開源的兩個項目，一個是 BIGDL，是我們兩年半以前開源的一個深度學習的框架；在這個基礎(chǔ)上，去年又開源了 Analytics Zoo，構(gòu)建一個端到端的大數(shù)據(jù)分析 + 深度學習的平臺。為什么在英特爾開發(fā)，并且開源基于大數(shù)據(jù)平臺上的大數(shù)據(jù)分析 +AI 的平臺工具？

下圖中黑色的小框代表機器學習或者深度學習的模型，它很關(guān)鍵，從某種意義上決定了硬件有怎樣的功能，做到怎樣的事情。但是會發(fā)現(xiàn)，當想把這樣一個深度學習、機器學習模型應用到實際場景，從實驗室搬到現(xiàn)實工業(yè)級機器學習中，構(gòu)建這樣的端到端應用是非常復雜的，要有大量的其他模塊，比如怎樣收集數(shù)據(jù)、處理數(shù)據(jù)和驗證數(shù)據(jù)，包括資源管理、集群監(jiān)控等。整個端到端的流水線是由一個非常多的模塊組成的，一個端到端大數(shù)據(jù)處理分析再加上深度學習、機器學習的流水線。

下圖是我們在兩年前和京東的一個合作。京東帶來的幾億張圖片，存儲在一個大規(guī)模分布式大數(shù)據(jù)集群里，我們做的事情是要對這些圖片——識別物品。比如，這張圖片上是一只鳥，然后提取特征。從深度學習、機器學習來說，不是特別復雜的應用，做物品識別、提取持證就可以了。但是事實上發(fā)現(xiàn)，在對大規(guī)模的圖片讀取數(shù)據(jù)，對圖片進行分布式處理，再進行模型推理；當識別物品時，對物品進行抽取，再進行處理，再提取特征等，把整個端到端流水線在大規(guī)模的圖片里是跑不好的。當要把這些機器學習、深度學習等技術(shù)應用到實際應用中，會有一個比較大的斷層，今天很多的科學家做了非常多的深度學習、機器學習的有效工作，但是如何將新技術(shù)、新創(chuàng)新應用到現(xiàn)實環(huán)境中，特別是在一些非常大規(guī)模、大數(shù)據(jù)生產(chǎn)系統(tǒng)中，從軟硬件架構(gòu)上有非常大的一個斷層。這就是為什么我們會去開源，像BIGDL，特別是 Analytics Zoo 平臺，能夠?qū)⒉煌哪K不管是用 TensorFlow 還是用Keras，將這些不同模塊的程序能夠無縫運行在端到端流水線上，大大提升開發(fā)效率。

總之，我們開發(fā)并且開源的目的是讓大家更加方便開發(fā)大數(shù)據(jù)、大規(guī)模深度學習的應用。通常很多用戶開始開發(fā)應用時，可能在一個筆記本上構(gòu)建一個簡單原形，當你覺得原形看還不錯時，希望可以跑歷史數(shù)據(jù)，對過去幾個月或者幾年的數(shù)據(jù)進行一些驗證，為端到端的流水線構(gòu)造原形。在實驗上覺得效果還不錯，就希望部署到生產(chǎn)系統(tǒng)中，可能進行上線。同時也是大規(guī)模、大數(shù)據(jù)處理的流水線，可以讓你的程序運行在一個大標準集群里，直接利用現(xiàn)有的大數(shù)據(jù)集群、大數(shù)據(jù)計算資源運行你的程序，從而能夠提高你進行開發(fā)并且部署深度學習應用的效率。

有關(guān) Analytics Zoo 一些技術(shù)細節(jié)的構(gòu)成?？偟膩碚f，構(gòu)建在很多不同底層計算的庫和框架上，在上面構(gòu)建一些豐富的流水線支持；再上面也提供了一些解決方案，包括預定模型。

下面來看一下具體的例子。有人和我說不要放太多代碼在里面，用 Spark 構(gòu)建一個 RDD，對大規(guī)模數(shù)據(jù)進行分布式處理。對各種各樣的數(shù)據(jù)源，不管是數(shù)據(jù)倉庫的方式，還是讀寫數(shù)據(jù)庫，或者是讀寫各種各樣的分布式文件系統(tǒng)，可以直接使用 Spark Dataframe。下面的圖片是說，如能夠使用剛才訓練的模型，就可以使用我們的模型推理進行大規(guī)模分布式應用，在自己 Keras 等框架內(nèi)都很容易將我們深度學習模型集成在這些流水式處理或者在線處理中，而且在這個背后也可以透明地使用像 Analytics Zoo 的工具，對模型進行壓縮加速，包括至強深度學習加速指令對它進行加速；同時可以跑在大規(guī)模集群上進行分布式推理。

我們真正的用戶是怎么具體使用的？解決他們什么問題？下圖是我們和美的的合作，他們希望通過計算機視覺將其生產(chǎn)線生產(chǎn)出來的產(chǎn)品自動識別瑕疵、沒有貼標簽等。

工業(yè)機器人接上攝像機，對流水線出來的產(chǎn)品進行拍照，拿到照片后進行識別，產(chǎn)品上是不是有缺陷。比如，下圖中可以看到空調(diào)上少了一個螺絲。上圖中，粉紅色是對大規(guī)模圖片進行處理；黃色是 SSDLite這樣的一個模型，使用 Analytics Zoo API和 Spark 數(shù)據(jù)可以整合起來，在 Spark 上進行訓練。

下面這個例子是我們和微軟中國團隊的合作，他們希望給大家提供客戶。比如，他們有一個微信公眾號，在他們的微信公眾號上可以提問題，如怎么聯(lián)不上我的虛擬機、怎么重啟我的虛擬機、怎么開發(fā)票等。原來他們的做法是，在特定領(lǐng)域完成特定任務(wù)的對話。上午的報告中有很多專家提到，在垂直領(lǐng)域定義模版。他們有很多定義好的流程，可以隨著流程走?，F(xiàn)在很多人不隨著流程走，隨便問一些問題，怎么開不了發(fā)票？因為內(nèi)部有大量知識庫和準備好的問答，通過關(guān)鍵詞的匹配可以幫你去搜索，搜索出一些文章，希望滿足你的問題。這里，希望我們幫他做一些問答匹配，把相關(guān)的回答反饋給用戶，用戶看到這些問題后，可能解決了他的問題或者沒有；如果沒有解決，就要轉(zhuǎn)人工處理。轉(zhuǎn)人工處理是非常昂貴的事情，不同的問題要轉(zhuǎn)到不同的后臺，所以要有對意圖進行分類的模塊，將問題做一些分類，到底是財務(wù)的問題，還是網(wǎng)絡(luò)的問題，還是虛擬機的問題。

Office Depot，賣辦公用品的一個電商，做一些產(chǎn)品的推薦，當把一個物品加入到購物車后，根據(jù)你的行為推薦一些相關(guān)的物品。這是一個跑在云上的應用，使用 Spark 和 Analytics Zoo 上進行訓練，使用 mleap 就可以直接將 pipeline 模型保存下來，訓練出來的模型直接部署在 AWS S3，通過 BigDL 把它部署在一個 DNN 進行在線推理。

萬事達，希望給大家推送一些促銷信息，到哪里去購物，我給你一個立減等類似的優(yōu)惠，希望把這些推送到相關(guān)的客戶，客戶收到這些信息后會買東西。但是有一個特別的問題，我們會根據(jù)用戶過去購買行為進行分析，將用戶過去的購買行為、交易的數(shù)據(jù)是放在數(shù)據(jù)庫里的，怎樣能夠在Apache Hadoop 現(xiàn)有集群上運行這些新的深度學習應用？這時就可以使用 Analytics Zoo 深度學習框架，可以在現(xiàn)有大數(shù)據(jù)分析集群上，和其他的業(yè)務(wù)共享同一個集群，來運行這些新的深度學習應用。

CENR，歐洲的盒子研究中心，他們每天都在進行每秒大約 4 000 萬原子對撞，產(chǎn)生 1 TB 數(shù)據(jù)，他們希望把這些數(shù)據(jù)存下來；希望有一個過濾機制，將有用的事件保留、存儲下來。這樣做可能每秒只存不超過 10 GB 的數(shù)據(jù)，這些數(shù)據(jù)可以用于以后的分析。他們希望過濾的越準確越好，因此分為三種事件，構(gòu)建了一個深度學習模型，通過深度學習進行學習分類，將這些數(shù)據(jù)精確分析，用于以后的工作中。你可以很方便地在 Analytics Zoo 在單機上進行驗證，直接運行在一個分布式環(huán)境里進行訓練，最后訓練出結(jié)果。因為每秒都會產(chǎn)生 1 TB 數(shù)據(jù)，所以需要一個在線的、類似于像流式處理的平臺，這里他們用了 Spark DataFrame 進行在線預測，對原子對撞事件進行分類。

怎么應用 Analytics Zoo ？比如在阿里云上面部署 EMR，使用 Analytics Zoo。

最后總結(jié)一下。我們之所以構(gòu)建Analytics Zoo 這樣的統(tǒng)計大數(shù)據(jù)分析 +AI平臺，就是希望能夠讓用戶在現(xiàn)實的生產(chǎn)環(huán)境中可以更方便構(gòu)架深度學習的應用，將各種不同的模塊、不同的框架下統(tǒng)一到一個端到端流水線上，大大提高客戶開發(fā)部署大數(shù)據(jù)分析和深度學習的能力。