前言

眾所周知，C/C++ 語言具備很強可移植性，作為高級的底層語言能兼容各式各樣的系統(tǒng)環(huán)境或應(yīng)用。因此很多企業(yè)更偏向于將算法用 C/C++ 實現(xiàn)，從而減少不同業(yè)務(wù)平臺下的算法維護成本。所以，我們對 TensorFlow Lite 的 C++ 接口有很強的現(xiàn)實需求。然而，關(guān)于 TensorFlow Lite C++ 接口的詳細教程和案例不太常見，但它實際上并不復(fù)雜。因而，我參考 MediaPipe 整理一個案例項目分享到社區(qū)，希望能幫助有需要的同學(xué)。

編譯構(gòu)建

我們創(chuàng)建一個 C++ 項目后，一般會先考慮編譯環(huán)境的搭建問題。

Bazel 是一個類似 Make、Maven 和 Gradle 的構(gòu)建與測試工具。它的高級構(gòu)建語言具有很好的可讀性。Bazel 支持多語言跨平臺的構(gòu)建項目。它還支持大量用戶協(xié)作開發(fā)涵蓋多個代碼倉庫的大型代碼庫。它具有構(gòu)建語言可讀性強、構(gòu)建高速可靠、跨平臺兼容、大規(guī)模構(gòu)建和擴展構(gòu)建等優(yōu)點。因此，我們這個項目采用 Bazel 作為構(gòu)建工具，方便 TensorFlow Lite 與 OpenCV 等第三方庫的代碼版本管理。首先，我們一起了解一下如何用 Bazel 構(gòu)建 C++ 項目。

設(shè)置構(gòu)建環(huán)境

在構(gòu)建項目之前，我們需要設(shè)置項目的構(gòu)建環(huán)境 (Workspace)。構(gòu)建環(huán)境表示一個目錄包含所有我們的代碼源文件與 Bazel 的構(gòu)建結(jié)果輸出文件。其中有些文件會引導(dǎo) Bazel 如何進行項目編譯：

WORKSPACE，它一般被放在項目的根目錄底下，負責導(dǎo)入第三方庫的代碼控制與管理。

BUILD，通常一個項目有很多個，它們負責告訴 Bazel 如何編譯項目的各個不同模塊。通常，構(gòu)建環(huán)境下的每個模塊包 (Package) 目錄下都會有一個 BUILD。

下面是我們案例項目的目錄結(jié)構(gòu)：

image-classifier ├── LICENSE ├── README.md ├── WORKSPACE ├── image_classifier │ ├── BUILD │ ├── apps │ │ ├── desktop │ │ │ ├── BUILD │ │ │ └── main.cc │ └── cc │ ├── BUILD │ ├── classifier_float_mobilenet.cc │ ├── classifier_float_mobilenet.h │ ├── image_classifier.cc │ ├── image_classifier.h │ ├── image_classify_service.cc │ ├── image_classify_service.h │ └── utils.h └── third_party ├── BUILD ├── com_google_absl_f863b622fe13612433fdf43f76547d5edda0c93001.diff ├── opencv_linux.BUILD ├── opencv_macos.BUILD └── org_tensorflow_compatibility_fixes.diff

我們將項目劃分成兩個模塊，第三方庫 third_party 和圖像分類模塊 image_classifier，其中 image_classifier 又分成 apps 應(yīng)用模塊和 cc 代碼實現(xiàn)模塊。每模塊的具體設(shè)計后文詳細介紹，我們先看看構(gòu)建環(huán)境的細節(jié)配置。

workspace(name = "image_classifier") load("@bazel_tools//tools/build_defs/repo:http.bzl", "http_archive") skylib_version = "0.9.0" http_archive( name = "bazel_skylib", type = "tar.gz", url = "https://github.com/bazelbuild/bazel-skylib/releases/download/{}/bazel_skylib-{}.tar.gz".format (skylib_version, skylib_version), sha256 = "1dde365491125a3db70731e25658dfdd3bc5dbdfd11b840b3e987ecf043c7ca0", ) load("@bazel_skylib//lib:versions.bzl", "versions") versions.check(minimum_bazel_version = "2.0.0") # ABSL cpp library lts_2020_02_25 http_archive( name = "com_google_absl", urls = [ "https://github.com/abseil/abseil-cpp/archive/20200225.tar.gz", ], # Remove after https://github.com/abseil/abseil-cpp/issues/326 is solved. patches = [ "@//third_party:com_google_absl_f863b622fe13612433fdf43f76547d5edda0c93001.diff" ], patch_args = [ "-p1", ], strip_prefix = "abseil-cpp-20200225", sha256 = "728a813291bdec2aa46eab8356ace9f75ac2ed9dfe2df5ab603c4e6c09f1c353" ) new_local_repository( name = "linux_opencv", path = "/usr", build_file="@//third_party:opencv_linux.BUILD" ) new_local_repository( name = "macos_opencv", build_file = "@//third_party:opencv_macos.BUILD", path = "/usr", ) # Needed by TensorFlow http_archive( name = "io_bazel_rules_closure", sha256 = "e0a111000aeed2051f29fcc7a3f83be3ad8c6c93c186e64beb1ad313f0c7f9f9", strip_prefix = "rules_closure-cf1e44edb908e9616030cc83d085989b8e6cd6df", urls = [ "http://mirror.tensorflow.org/github.com/bazelbuild/rules_closure/archive/cf1e44edb908e9616030cc83d085989b8e6cd6df.tar.gz", "https://github.com/bazelbuild/rules_closure/archive/cf1e44edb908e9616030cc83d085989b8e6cd6df.tar.gz", # 2019-04-04 ], ) #Tensorflow repo should always go after the other external dependencies. # 2020-08-30 _TENSORFLOW_GIT_COMMIT = "57b009e31e59bd1a7ae85ef8c0232ed86c9b71db" _TENSORFLOW_SHA256= "de7f5f06204e057383028c7e53f3b352cdf85b3a40981b1a770c9a415a792c0e" http_archive( name = "org_tensorflow", urls = [ "https://github.com/tensorflow/tensorflow/archive/%s.tar.gz" % _TENSORFLOW_GIT_COMMIT, ], patches = [ "@//third_party:org_tensorflow_compatibility_fixes.diff", ], patch_args = [ "-p1", ], strip_prefix = "tensorflow-%s" % _TENSORFLOW_GIT_COMMIT, sha256 = _TENSORFLOW_SHA256, ) load("@org_tensorflow//tensorflow:workspace.bzl", "tf_workspace") tf_workspace(tf_repo_name = "org_tensorflow")

上面是 image-classifier 的 WORKSPACE 配置，他導(dǎo)入 versions 對象檢查 Bazel 版本，加載 http_archive 函數(shù)管理 org_tensorflow、opencv、abseil 等類似的第三方庫。其中 abseil 庫很值得推薦，它是集成不少 C++14/17 新特性的工具庫，類似于 Boost 卻體積特別輕巧方便。我們經(jīng)常會在 Google 開源代碼中看見它們的身影，如 absl::make_unique，absl::StrJoin 等等，因此我把這個項目引入到代碼里方便一些字符串和智能指針的處理。

接著，我們看看不同目錄下的 BUILD 文件是如何配置的。

image_classifier/apps/desktop/BUILD

cc_binary( name = "image_classifier.exe", srcs = ["main.cc"], deps = [ "@//third_party:opencv", "http://image_classifier/cc:image_classifier", ], )

我們看到 image_classifier/apps/desktop/BUILD 正在描述一個可執(zhí)行文件的編譯依賴關(guān)系。其中，cc_binary 就表示編譯的輸出結(jié)果是二進制可執(zhí)行文件，name 表示這個輸出文件的名字，srcs 是可執(zhí)行文件編譯時依賴的一些源文件，deps 是指編譯鏈接過程中依賴的其他模塊目錄。我們很容易觀察出，這個目錄的 BUILD 其實描述的是一個桌面應(yīng)用的主函數(shù)編譯過程，畢竟 srcs 依賴了一個 apps/desktop/main.cc(碼農(nóng)們的命名習(xí)慣)。另外，還可以看到 deps 的依賴表里面的 "@//third_party:opencv" 比 "http://image_classifier/cc:image_classifier" 多了一個 @ 符號，它表示外部第三方庫的依賴。而 "http://image_classifier/cc:image_classifier" 表示我們從目錄 image_classifier/cc 引用 image_classifier 模塊。

image_classifier 模塊的 BUILD 描述如下：

image_classifier/cc/BUILD

cc_library( name = "image_classifier", srcs = glob(["*.cc"]), hdrs = glob(["*.h"]), visibility = ["http://visibility:public"], deps = [ "@com_google_absl//absl/memory", "@org_tensorflow//tensorflow/lite:builtin_op_data", "@org_tensorflow//tensorflow/lite/kernels:builtin_ops", "@org_tensorflow//tensorflow/lite:framework", "@//third_party:opencv", ], )

image_classifier/cc/BUILD 正在描述一個 C++ 庫文件的編譯依賴關(guān)系。很容易注意到，這個 BUILD 文件與前面都寫區(qū)別。首先，我用 cc_library 函數(shù)告訴 Bazel 這個目錄的編譯輸出的結(jié)果是一個庫文件。其次，我用 glob 函數(shù)實現(xiàn)對 image_classifier/cc/目錄下所有 .cc 和 .h 文件進行依賴，hdrs 表示需要依賴包含的頭文件。然后，我通過 visiblity 屬性對外部模塊公開 API 的細節(jié)，方便 apps/desktop 等其他模塊的調(diào)用，具體細節(jié)可以參考 Bazel 的編譯規(guī)則說明。最后，不難發(fā)現(xiàn)我的 deps 引用了 TensorFlow Lite 的關(guān)鍵模塊，因為 TensorFlow Lite 在我的案例項目中屬于外部第三方庫，所以關(guān)鍵模塊的路徑前面有一個 @ 符號。

Bazel 的編譯規(guī)則說明

https://docs.bazel.build/versions/3.6.0/be/c-cpp.html

構(gòu)建環(huán)境搭建完成后，我們就可以運行 Bazel 進行項目的編譯構(gòu)建。

$ bazel build -c opt --experimental_repo_remote_exec //image_classifier/apps/desktop:image_classifier.exe

其中 -c opt表示 C 的編譯優(yōu)化，--experimental_repo_remote_exec僅為處理第三方庫的編譯問題。最后，以 MacOS 為例，我們可以執(zhí)行這個二進制可執(zhí)行文件。

$ ./bazel-bin/image_classifier/apps/desktop/image_classifier.exe

如果有同學(xué)在構(gòu)建過程中遇到問題，請到 Issue 反饋你構(gòu)建的情況。

代碼結(jié)構(gòu)

我們結(jié)合目錄結(jié)構(gòu)和構(gòu)建文件配置，分析源碼可以得到下面的代碼結(jié)構(gòu)示意圖。

這是案例項目的代碼結(jié)構(gòu)設(shè)計，在企業(yè)開發(fā)中我們總是希望自己的算法代碼無須修改即可跨平臺復(fù)用，減少維護成本，但算法的實現(xiàn)卻總會不斷地被優(yōu)化。因此，我設(shè)計一個 ImageClassifyService 作為業(yè)務(wù)算法代理提供服務(wù)，不同平臺的 APP 開發(fā)者根據(jù)需求平臺的情況在接口適配層調(diào)用這個代理為應(yīng)用提供接口。比如，Android 平臺的開發(fā)者可以在 JNI 層調(diào)用 C++ 類 ImageClassifyService 的 RecognizeImage 接口封裝圖像分類識別的功能給 Java 層使用。一般這種情況，我會把 ImageClassifyService 設(shè)計成單例方便管理，畢竟移動端資源緊張，不會同時運行兩個分類服務(wù)。哪怕出現(xiàn)墨菲定律的情況，我們也應(yīng)該修改 ImageClassifyService，讓他提供兩個適合同時分類服務(wù)的接口。但是，這對于一個入門教程案例來說過于復(fù)雜，所以我沒在案例代碼做類似的實現(xiàn)。

然后，ImageClassifyService 有一個 ImageClassifier 抽象成員負責完成具體的分類任務(wù)。前面說過，具體的圖像分類實現(xiàn)會經(jīng)常被修改優(yōu)化，甚至?xí)?A/B 測試。因此，我沿用 TFLite Android 官方案例的設(shè)計模式，讓 ImageClassifier 組合不同的實現(xiàn)，如 ClassifierFloatMobileNet，ClassifierEfficientNet 等。

TFLite Android 官方案例
https://github.com/tensorflow/examples/tree/master/lite/examples/image_classification/android

模型分析

因為我們正在開發(fā)的 C++ 項目與深度學(xué)習(xí)有關(guān)，所以我們很難避免模型在不同推理框架的轉(zhuǎn)換問題。然而，本教程主要目的是 TensorFlow Lite C++ 部署流程說明，因此我不在本文詳細描述模型的轉(zhuǎn)換方法，有需要的讀者可以參考官方文檔。我的案例模型是從 TFLite Android 官方示例程序拷貝的，部署前我習(xí)慣于對準備使用的模型進行觀察分析，以便關(guān)注到一些模型的輸入預(yù)處理和輸出后處理的注意事項。TFLite 的模型分析工具有 visualize 和 minimal，其中 visualize 是官方主推的分析工具，能圖示模型的推理流程。而 minimal 作為 TFLite 的Examples也能顯示 TFLite 模型的詳情信息，但是無模型圖示。

官方文檔
https://tensorflow.google.cn/lite/convert?hl=zh_cn

TFLite Android 官方示例程序
https://github.com/tensorflow/examples/tree/master/lite/examples/image_classification/android

Examples
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/examples/minimal

Interpreter has 103 tensors and 31 nodes Inputs: 87 Outputs: 86 Tensor 0 MobilenetV1/Conv2d_0/weights kTfLiteFloat32 kTfLiteMmapRo 3456 bytes ( 0.0 MB) 32 3 3 3 Tensor 1 MobilenetV1/Conv2d_10_depthwise/depthwise_weights kTfLiteFloat32 kTfLiteMmapRo 18432 bytes ( 0.0 MB) 1 3 3 512 Tensor 2 MobilenetV1/Conv2d_10_pointwise/weights kTfLiteFloat32 kTfLiteMmapRo 1048576 bytes ( 1.0 MB) 512 1 1 512 ... Tensor 84 MobilenetV1/MobilenetV1/Conv2d_9_pointwise/Conv2D_bias kTfLiteFloat32 kTfLiteMmapRo 2048 bytes ( 0.0 MB) 512 Tensor 85 MobilenetV1/MobilenetV1/Conv2d_9_pointwise/Relu6 kTfLiteFloat32 kTfLiteArenaRw 401408 bytes ( 0.4 MB) 1 14 14 512 Tensor 86 MobilenetV1/Predictions/Reshape_1 kTfLiteFloat32 kTfLiteArenaRw 4004 bytes ( 0.0 MB) 1 1001 Tensor 87 input kTfLiteFloat32 kTfLiteArenaRw 602112 bytes ( 0.6 MB) 1 224 224 3 Tensor 88 (null) kTfLiteFloat32 kTfLiteArenaRwPersistent 3456 bytes ( 0.0 MB) 27 32 Tensor 89 (null) kTfLiteFloat32 kTfLiteArenaRwPersistent 8192 bytes ( 0.0 MB) 32 64 ... Tensor 102 (null) kTfLiteFloat32 kTfLiteArenaRwPersistent 4100096 bytes ( 3.9 MB) 1024 1001

上面的 MobileNetV1 模型，我們可以看到它有 102 個張量 (tensor)，其中 15 個中間特征映射 (Feature Map) 張量沒有節(jié)點名字 (Node Name) 而不可見。我們分析模型的輸入輸出張量，Tensor 87 和 Tensor 86。這個 MobileNetV1 的張量索引 (Tensor Index) 比較獨特，它的輸入張量索引為 87 與輸出索引的 86 鄰近，張量索引其實只是 TensorFlow Lite 對模型參數(shù)和中間特征映射的內(nèi)存進行編號標記，方便在 AllocateTensors 安排模型執(zhí)行順序時找到對應(yīng)的張量。另外，我們還能看到這兩個輸入輸出內(nèi)存的 Memory 類型都是 kTfLiteArenaRw，它表示內(nèi)存可讀寫。有的模型參數(shù)的 Memory 類型是 kTfLiteMmapRo 是只讀內(nèi)存，一般我們代碼無法訪問。還有的是 kTfLiteDynamic 類型，它會根據(jù)輸入情況動態(tài)調(diào)整內(nèi)存大小，我只在 ResizeOp 遇到過這種類型。有時 ResizeOp 的輸出張量大小 (Size) 是固定 kTfLiteMmapRo 的，動態(tài)修改 ResizeOp 的輸入大小會導(dǎo)致 AllocateTensors 分配內(nèi)存不對的情況。關(guān)于這個 ResizeOp Dynamic Shape 的問題，我們將在后文詳細討論?，F(xiàn)在，我們基本清楚 MobileNetV1 的 tflite 模型細節(jié)，下面我們看看如何利用這些模型細節(jié)進行推理實現(xiàn)圖像分類算法。

算法實現(xiàn)

在了解模型細節(jié)信息后，我們就可以按照下面的基本流程實現(xiàn)算法的部署。

// minimal.cc 官方案例實現(xiàn) // Load model std::unique_ptr model = tflite::BuildFromFile(filename); TFLITE_MINIMAL_CHECK(model != nullptr); // Build the interpreter with the InterpreterBuilder. // Note: all Interpreters should be built with the InterpreterBuilder, // which allocates memory for the Intrepter and does various set up // tasks so that the Interpreter can read the provided model. tflite::BuiltinOpResolver resolver; tflite::InterpreterBuilder builder(*model, resolver); std::unique_ptr interpreter; builder(&interpreter); TFLITE_MINIMAL_CHECK(interpreter != nullptr); // Allocate tensor buffers. TFLITE_MINIMAL_CHECK(interpreter->AllocateTensors() == kTfLiteOk); printf("=== Pre-invoke Interpreter State === "); // This line can print the details of tflite model from interpreter. tflite::PrintInterpreterState(interpreter.get()); // Fill input buffers // TODO(user): Insert code to fill input tensors. // Note: The buffer of the input tensor with index `i` of type T can // be accessed with `T* input = interpreter->typed_input_tensor(i);` // Run inference TFLITE_MINIMAL_CHECK(interpreter->Invoke() == kTfLiteOk); printf(" === Post-invoke Interpreter State === "); tflite::PrintInterpreterState(interpreter.get()); // Read output buffers // TODO(user): Insert getting data out code. // Note: The buffer of the output tensor with index `i` of type T can // be accessed with `T* output = interpreter->typed_output_tensor(i);`

大致分為 5 個步驟： 1. 從文件加載模型并建立模型解釋器 (Interpreter)，BuiltinOpResolver 表示用 TFLite 內(nèi)部算子 (Ops) 解析模型，如果有自定義算子 (Custom Ops) 的情況，我們會在這個階段進行算子注冊。自定義算子是屬于高階技能，這份入門級教程不做過多詳細介紹，有興趣的同學(xué)可以參考官方文檔。將 BuiltinOpResolver 和 FlatBufferModel 組合構(gòu)造出一個解釋器建造者 (Interpreter Builder)，利用這個建造者初始化模型解釋器。這時，解釋器里面已經(jīng)擁有模型的具體細節(jié)信息，并知道該用何種實現(xiàn)運行這個模型。

官方文檔
https://tensorflow.google.cn/lite/guide/ops_custom?hl=zh_cn

2. 分配張量推理運行內(nèi)存 (Allocate tensor buffers)，因為大多情況下深度學(xué)習(xí)模型的運行內(nèi)存消耗都比較固定，所以提前計算分配有利于減少動態(tài)內(nèi)存分配的資源消耗。然而，有時候我們會遇到類似人臉識別、文本識別等后級網(wǎng)絡(luò)模型的輸入圖像的數(shù)量并不確定的情況，畢竟檢測器能從圖像定位多少個目標與場景有關(guān)，場景包含目標的個數(shù)是隨機的。這時，我們可以利用 ResizeInputTensor 設(shè)置輸入 batch size。代碼片段如下：

// kInputIndex 是輸入張量索引，kNum 是輸入圖片張數(shù)，即 batch size。 interpreter_->ResizeInputTensor(kInputIndex, {kNum, kInputHeight, kInputWidth, kInputChannels}); // 按照新的輸入張量的大小重新分配內(nèi)存。 interpreter_->AllocateTensors(); // 循環(huán)填充輸入張量的內(nèi)存，其中 kInputIndex 是輸入張量索引。 float* input_buffer = interpreter_-> typed_tensor(kInputIndex); const int kInputBytes = sizeof(float)*kInputWidth*kInputHeight*kInputChannels; cv::Size input_buffer_size(kInputWidth, kInputHeight); int buffer_index = 0; for(auto& image : images) { cv::Mat input_image; // 輸入預(yù)處理操作。 cv::resize(image, input_image, input_buffer_size); cv::cvtColor(input_image, input_image, cv::COLOR_BGR2GRAY); input_image.convertTo(input_image, CV_32F, 2.f/255, -0.5); // 填充輸入張量的內(nèi)存，batch size > 1 時，注意 // input_buffer 的數(shù)據(jù)類型需要強制轉(zhuǎn)換。因為 buffer_index 是按 byte 為單位進行地址偏移的。 memcpy((uchar*)(input_buffer)+ buffer_index, input_image.data, kInputBytes); buffer_index += kInputBytes; }

3. 將輸入數(shù)據(jù)填入輸入張量。一般我們會在這步做一些數(shù)據(jù)預(yù)處理操作比如白化、數(shù)據(jù)類型轉(zhuǎn)換等。如果是多圖片同時預(yù)測的情況，可以參考上面的代碼片段。

4. 運行深度學(xué)習(xí)網(wǎng)絡(luò)模型推斷過程，這時候只用簡單調(diào)用 Interpreter::Invoke 接口，檢查是否有返回錯誤即可。

5. 如果模型推斷過程沒有發(fā)生錯誤，那么網(wǎng)絡(luò)模型的推斷結(jié)果就會被放到 Interpreter 的輸出張量上。我們只需要讀取并按照業(yè)務(wù)邏輯進行后處理解析，就能得到期望的業(yè)務(wù)結(jié)果。

值得注意的是，ResizeInputTensor，AllocateTensors，Invoke都是有返回值可以檢查的，我建議盡量不要直接用默認的 assert 斷言處理。因為我在 MacOS 用 Bazel 構(gòu)建時，發(fā)現(xiàn) assert(interpreter_->AllocateTensors())竟然沒有執(zhí)行，這可能是 Bazel 構(gòu)建程序時會默認屏蔽 assert 斷言，具體情況請感興趣的同學(xué)自行研究，所以我教程案例中寫了一個 CHECK 宏函數(shù)處理這個問題。

另外，我們還需要注意 Interpreter::typed_tensor 與 Interpreter::typed_input_tensor的細微差別，他們的輸入?yún)?shù)雖然都是索引 (Index)，但是 typed_tensor 的參數(shù)是張量索引，而 typed_input_tensor是輸入張量的序號，比如 MobileNetV1模型的輸入張量索引是 87 但序號是 0，假如我不小心錯寫成 float* input_buffer = interpreter_ -> typed_input_tensor( interpreter_ -> inputs()[0] )，此時我們往 input_buffer 進行內(nèi)存拷貝，就會出現(xiàn)內(nèi)存寫入錯誤的問題。因為，我們正在寫的這個內(nèi)存屬性可能已經(jīng)不是可讀寫的了。同理，typed_output_tensor 也需要關(guān)注類似的問題。

最后，我們討論一下關(guān)于 ResizeOp 的問題。前文提到， AllocateTensor 有時無法正確推理 ResizeOp 的輸出結(jié)果大小 (Size)，從而導(dǎo)致內(nèi)存錯誤的情況。發(fā)生該問題的主要原因是，模型轉(zhuǎn)換器 (TFLite Converter) 一般會認為 ResizeOp 的輸出大小 (Size) 是常量，并在轉(zhuǎn)換過程對其常量化，導(dǎo)致縮放算子輸出大小固定 (Fixed ResizeOp Output Size) 的情況。對于這個問題，我們討論下面兩種解決思路。

思路一

首先，我們考慮修改模型轉(zhuǎn)換部分的 Python 代碼，用 tf.shape 獲取輸入張量的大小，從而動態(tài)控制 ResizeOp 的縮放比例，實現(xiàn)對其輸出結(jié)果大小的修改。代碼片段大致如下：

import tensorflow.compat.v1 as tf import numpy as np tf.disable_v2_behavior() input_t = tf.placeholder(dtype=tf.float32, shape=[1, None, None, 3]) shape = tf.shape(input_t) h = shape[1] // 2 w = shape[2] // 2 out_t = tf.compat.v1.image.resize_bilinear(input_t, [h, w]) with tf.Session() as sess: converter = tf.lite.TFLiteConverter(sess.graph_def, [input_t], [out_t]) tfl_model = converter.convert() interpreter = tf.lite.Interpreter(model_content=tfl_model) input_index = (interpreter.get_input_details()[0]['index']) interpreter.resize_tensor_input(input_index, tensor_size=[1, 300, 300, 3]) try: interpreter.allocate_tensors() except ValueError: assert False random_input = np.array(np.random.random([1, 300, 300, 3]), dtype=np.float32) interpreter.set_tensor(input_index, random_input) interpreter.invoke() output_index = (interpreter.get_output_details()[0]['index']) result = interpreter.get_tensor(output_index) print(result.shape)

從上面的代碼片段，我們只要修改 resize_tensor_input 的 tensor_size，result.shape 就是它的 0.5 倍。

思路二

另外，我們還可以考慮在模型轉(zhuǎn)換時配置適合的輸入大小，然后在預(yù)處理做一些 Crop-Padding-Resize 的操作，最后對模型的輸出結(jié)果按照 Reisze 的比例進行解析得到我們期望的結(jié)果。具體的操作流程與原理如下圖所示：

深度學(xué)習(xí)模型在訓(xùn)練階段其實也是通過預(yù)處理固定輸入大小的，因此推理階段使用原有的輸入大小其實并不會引入太多的誤差。

TensorFlow Lite 現(xiàn)在也開始逐漸支持 Dynamic Shape ，同時也有一些修改 tflite::Interpreter 的模型信息的 Hack 技巧，這里我不一一介紹了，有興趣可以關(guān)注我知乎的其他文章。

知乎
https://www.zhihu.com/people/hu-xu-hua-4

效果展現(xiàn)

可以看到我的教程案例效果與官方教程的效果基本一致。

未來的工作

有些同學(xué)可能發(fā)現(xiàn)我并沒有把代碼類圖結(jié)構(gòu)中的 Raspberry Pi 和 Android 部分進行實現(xiàn)。實際上，我只完成了 TFLite C++ API 應(yīng)用的主干流程。因此，我仍需努力完成 Raspberry Pi 的編譯支持與 Android 的應(yīng)用層案例實現(xiàn)。而且，Tensorflow Lite 團隊最近又推出了能減少開發(fā)工作量的新特性——Tensorflow Lite Library TaskAPI，現(xiàn)在這一新特性在 tflite-support 的項目里面與 Android TFLite metadata 代碼生成器放在一起。

tflite-support
https://github.com/tensorflow/tflite-support

所以，我希望未來能在這個教程案例項目集成類似 TFLite-support 的新特性幫助大家節(jié)省工作量。另外，這個案例代碼只有 TFLite 算子的標準 C++ 實現(xiàn)，并未涉及 GPU 與 SIMD 等指令集優(yōu)化的 TFLite Delegate API 應(yīng)用。盡管這些算子指令優(yōu)化受限于移動設(shè)備的訪存帶寬影響，未必達到顯著優(yōu)化效果，但我相信隨著硬件設(shè)備與軟件框架的更新迭代，這些問題終將被一一解決。

這個教程案例
http://github.com/SunAriesCN/image-classifier

TFLite Delegate API
https://tensorflow.google.cn/lite/performance/delegates

這個開源的教程案例項目現(xiàn)在可能并不完美，畢竟我的個人的時間和能力都相當有限。然而，我期望這個項目最終能幫助各位開發(fā)者在人工智能時代展現(xiàn)出自身優(yōu)勢，應(yīng)用開發(fā)者做有趣好玩的智能應(yīng)用，架構(gòu)性能優(yōu)化師能讓用戶體驗流暢的智能交互，算法研發(fā)人員能帶來各種奇妙的黑科技等等。

責任編輯：lq