作者 /Lu Wang (Senior Staff Software Engineer)、Chintan Parikh (Senior Product Manager)、Jingjiang Li (Staff Software Engineer)、Terry Heo (Senior Software Engineer)

自 2024 年LiteRT問世以來，我們一直致力于將機器學習技術棧從其 TensorFlow Lite (TFLite) 基礎之上演進為一個現(xiàn)代化的端側 AI (On-Device AI) 框架。雖然 TFLite 為傳統(tǒng)端側機器學習設定了標準，但我們的使命是讓開發(fā)者能夠像過去集成傳統(tǒng)端側機器學習一樣，無縫地在設備端部署當今最前沿的 AI (如大語言模型)。

LiteRT https://developers.googleblog.com/en/tensorflow-lite-is-now-litert/

在 2025 Google I/O 大會上，我們曾初步展示了這一演進成果: 一個專為先進硬件加速設計的高性能運行時 (Runtime)?，F(xiàn)在，我們很高興地宣布，這些先進的加速能力已正式并入 LiteRT 生產級技術棧，供所有開發(fā)者使用。

這一演進成果 https://developers.googleblog.com/en/litert-maximum-performance-simplified/

這一里程碑鞏固了 LiteRT 在 AI 時代作為端側通用推理框架的地位，相比 TFLite 實現(xiàn)了重大飛躍，其優(yōu)勢體現(xiàn)在:

更快:提供比 TFLite 快 1.4 倍的 GPU 性能，并引入了全新的、最先進的 NPU 加速支持。

更簡單:為跨邊緣平臺的 GPU 和 NPU 加速提供統(tǒng)一、簡化的工作流程。

更強大:支持熱門的開放模型 (例如 Gemma)，以實現(xiàn)卓越的跨平臺生成式 AI (GenAI) 部署能力。

更靈活:通過無縫模型轉換提供一流的 PyTorch/JAX 支持。

在交付上述所有創(chuàng)新成果的同時，我們仍延續(xù)了自 TFLite 以來您所信賴的可靠與跨平臺部署體驗。

歡迎您繼續(xù)閱讀，了解 LiteRT 如何幫助您構建下一代端側 AI。

高性能跨平臺 GPU 加速

除了在 2025 Google I/O 大會上宣布初步支持 Android GPU 加速之外，我們很高興地宣布在Android、iOS、macOS、Windows、Linux和 Web上提供全面、綜合的 GPU 支持。這一擴展為開發(fā)者提供了一個可靠、高性能的加速選項，其擴展能力顯著超越了傳統(tǒng)的 CPU 推理。

* Python 上的 Windows WebGPU 即將推出

LiteRT 通過ML Drift(我們的下一代 GPU 引擎) 引入對OpenCL、OpenGL、Metal和WebGPU的強大支持，最大限度地擴大了覆蓋范圍，使您能夠跨移動、桌面和 Web 高效部署模型。在 Android 上，LiteRT 進一步優(yōu)化了這一點: 在可用時自動優(yōu)先使用 OpenCL 以實現(xiàn)峰值性能，同時保留 OpenGL 支持以實現(xiàn)更廣泛的覆蓋。

在 ML Drift 的支持下，LiteRT GPU 在效率上實現(xiàn)了顯著飛躍，提供了比傳統(tǒng)的 TFLite GPU 代理平均快 1.4 倍的性能提升，顯著減少了各種模型的延遲。更多基準測試結果請參閱我們之前的文章。

之前的文章 https://developers.googleblog.com/en/litert-maximum-performance-simplified/#:~:text=MLDrift%3A%20Best%20GPU%20Acceleration%20Yet

為了實現(xiàn)高性能 AI 應用，我們還引入了關鍵的技術升級來優(yōu)化端到端延遲，特別是異步執(zhí)行和零拷貝 (zero-copy) 緩沖區(qū)互操作性。這些功能顯著減少了不必要的 CPU 開銷并提高了整體性能，滿足了背景分割(Segmentation)和語音識別 (ASR) 等實時用例的嚴格要求。正如我們的分割示例應用所展示的那樣，實際上，這些優(yōu)化可以帶來高達2 倍的性能提升。歡迎參閱我們的技術深度解析以了解更多詳細內容。

分割示例應用 https://github.com/google-ai-edge/litert-samples/tree/main/compiled_model_api/image_segmentation/c%2B%2B_segmentation

技術深度解析 https://developers.googleblog.com/en/litert-maximum-performance-simplified/#:~:text=Advanced%20Inference%20for%20Performance%20Optimization

以下示例演示了如何在 C++ 中使用新的CompiledModelAPI 輕松利用 GPU 加速:

// 1. Create a compiled model targeting GPU in C++.
autocompiled_model = CompiledModel::Create(env,"mymodel.tflite",
kLiteRtHwAcceleratorGpu);


// 2. Create an input TensorBuffer that wraps the OpenGL buffer (i.e. from
image pre-processing) with zero-copy.
autoinput_buffer = TensorBuffer::CreateFromGlBuffer(env, tensor_type,
opengl_buffer);
std::vector input_buffers{input_buffer};
autooutput_buffers = compiled_model.CreateOutputBuffers();


// 3. Execute the model.
compiled_model.Run(inputs, outputs);


// 4. Access model output, i.e. AHardwareBuffer.
autoahwb = output_buffer[0]->GetAhwb();

有關LiteRT 跨平臺開發(fā)和GPU 加速的更多說明，請訪問 LiteRT 官方網站。

LiteRT 跨平臺開發(fā)

https://ai.google.dev/edge/litert/overview#integrate-model

GPU 加速

https://ai.google.dev/edge/litert/next/gpu

簡化 NPU 集成，釋放峰值性能

雖然 CPU 和 GPU 為 AI 任務提供了廣泛的通用性，但 NPU 卻是實現(xiàn)現(xiàn)代應用所需的流暢、響應迅速和高速 AI 體驗的關鍵。然而，數(shù)百種 NPU SoC 變體之間的碎片化常常迫使開發(fā)者不得不應對由不同編譯器和運行時組成的 "迷宮"。此外，由于傳統(tǒng)的機器學習基礎設施歷來缺乏與專用 NPU SDK 的深度集成，導致部署工作流程復雜多變且難以在生產環(huán)境中有效管理。

LiteRT 通過提供統(tǒng)一、簡化的 NPU 部署工作流程來應對這些挑戰(zhàn)，該工作流程抽象了底層的、供應商專用的 SDK，并處理了眾多 SoC 變體之間的碎片化。我們已將其簡化為一個簡單的三步流程，助您輕松實現(xiàn)模型的 NPU 加速部署:

針對目標 SoC 進行 AOT 編譯(可選): 使用 LiteRT Python 庫為目標 SoC 預編譯您的.tflite模型。

通過 Google Play for On-device AI (PODAI) 部署 (Android 專用): 借助 PODAI 服務，自動將模型文件及運行時環(huán)境分發(fā)至兼容設備。

使用 LiteRT 運行時進行推理: LiteRT 處理 NPU 委托 (delegation)，并在需要時提供對 GPU 或 CPU 的穩(wěn)健回退機制。

有關完整的詳細指南，包括 Colab 和示例應用，請查閱我們的LiteRT NPU 文檔。

LiteRT NPU 文檔

https://ai.google.dev/edge/litert/next/npu

為了提供適合您特定部署需求的靈活集成選項，LiteRT 提供提前編譯 (AOT)和端側即時編譯 (JIT)。這使您可以根據(jù)應用的獨特需求選擇最佳策略:

AOT 編譯: 最適用于已知目標 SoC 的復雜模型。它最大限度地降低了啟動時的初始化耗時和內存占用，以實現(xiàn) "即時啟動" 的體驗。

JIT 編譯: 最適合在各種平臺上分發(fā)小規(guī)模模型。它不需要準備，盡管首次運行的初始化成本較高。

我們正在與業(yè)界領先的芯片制造商緊密合作，為開發(fā)者帶來高性能 NPU 加速。我們與聯(lián)發(fā)科 (MediaTek)和高通 (Qualcomm)的首批生產就緒型集成方案現(xiàn)已推出。請閱讀我們的技術深度解析，了解我們如何實現(xiàn)業(yè)界領先的 NPU 性能，其速度比CPU 快 100 倍，比GPU 快 10 倍:

聯(lián)發(fā)科 NPU 和 LiteRT: 賦能下一代端側 AI

https://developers.googleblog.com/mediatek-npu-and-litert-powering-the-next-generation-of-on-device-ai/

通過 LiteRT 釋放高通 NPU 的峰值性能

https://developers.googleblog.com/unlocking-peak-performance-on-qualcomm-npu-with-litert/

△左圖: 一個實時、端側的中文助手，具有視覺和音頻多模態(tài)功能，由 Gemma 3n 2B 提供支持。運行在搭載聯(lián)發(fā)科天璣 9500 NPU 的 vivo 300 Pro 上。

△右圖: 使用 FastVLM 視覺模態(tài)進行場景理解，運行在搭載小米 17 Pro Max 的 Snapdragon 8 Elite Gen 5 上。

乘勢而上，我們正積極將 LiteRT 的 NPU 支持拓展至更廣泛的硬件生態(tài)。敬請期待后續(xù)公告！

卓越的跨平臺 GenAI 支持

開放模型提供了無與倫比的靈活性和定制化能力，但部署它們仍然是一個充滿挑戰(zhàn)的過程。處理模型底層轉換、推理和基準測試的復雜性通常需要大量的工程開銷。為了彌合這一差距并使開發(fā)者能夠高效地構建自定義體驗，我們提供了以下集成技術棧:

LiteRT Torch Generative API: 一個 Python 模塊，旨在實現(xiàn)基于 transformer 的 PyTorch 模型的創(chuàng)作和轉換，使其適配 LiteRT/LiteRT-LM 格式。它提供了優(yōu)化的構建模塊，可確保在邊緣設備上實現(xiàn)高性能執(zhí)行。

LiteRT-LM: 一個構建在 LiteRT 之上的專用編排層 (orchestration layer)，用于管理大語言模型 (LLM) 特有的復雜性。它是為 Google 產品 (包括 Chrome 和 Pixel Watch) 提供 Gemini Nano 部署支持的經過實戰(zhàn)考驗的基礎設施。

LiteRT 轉換器與運行時: 這一基礎引擎提供了高效的模型轉換、運行時執(zhí)行和優(yōu)化，為跨 CPU、GPU 和 NPU 的高級硬件加速賦能，在邊緣平臺上提供最先進的性能。

LiteRT Torch Generative API https://github.com/google-ai-edge/litert-torch/tree/main/litert_torch/generative

LiteRT-LM https://github.com/google-ai-edge/LiteRT-LM

為 Google 產品 (包括 Chrome 和 Pixel Watch) 提供 Gemini Nano 部署支持 https://developers.googleblog.com/on-device-genai-in-chrome-chromebook-plus-and-pixel-watch-with-litert-lm/

LiteRT 轉換器與運行時 https://github.com/google-ai-edge/LiteRT

上述這些組件共同為運行熱門開放模型提供了具有領先性能的生產級路徑。為了證明這一點，我們在 Samsung Galaxy S25 Ultra 上對Gemma 3 1B進行了基準測試，并將 LiteRT 與Llama.cpp進行了比較。

Gemma 3 1B https://huggingface.co/litert-community/Gemma3-1B-IT

Llama.cpp https://github.com/ggml-org/llama.cpp

LiteRT 展現(xiàn)出明顯的性能優(yōu)勢，對于解碼階段 (內存密集型)，它在CPU上比 llama.cpp 快 3 倍，在GPU 上快 7 倍；對于預填充階段 (計算密集型)，它在GPU 上快 19 倍。此外，LiteRT 的 NPU 加速在預填充階段比 GPU 額外提升了 2 倍性能，從而充分釋放了計算硬件的潛力。要詳細了解這些基準測試背后的工程技術，請閱讀我們對LiteRT 幕后優(yōu)化的深入探討。

LiteRT 幕后優(yōu)化

https://developers.googleblog.com/gemma-3-on-mobile-and-web-with-google-ai-edge/#:~:text=current%20activity%20level.-,Under%20the%20hood,-The%20performance%20results

LiteRT 支持廣泛且持續(xù)增長的主流開放權重模型，這些模型經過精心優(yōu)化和預轉換，可立即部署，包括:

Gemma 模型系列: Gemma 3 (270M、1B)、Gemma 3n、EmbeddingGemma 和 FunctionGemma。

Qwen、Phi、FastVLM等。

△AI Edge Gallery 應用演示，由 LiteRT 提供支持: TinyGarden (左) 和 Mobile Actions (右)，使用FunctionGemma構建。

這些模型可在LiteRT Hugging Face 社區(qū)獲取，并通過Android和iOS上的Google AI Edge Gallery 應用進行交互式探索。

LiteRT Hugging Face 社區(qū) https://huggingface.co/litert-community

Android https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery

iOS https://testflight.apple.com/join/nAtSQKTF

Google AI Edge Gallery 應用 https://github.com/google-ai-edge/gallery

更多開發(fā)細節(jié)，請參閱我們的LiteRT GenAI 文檔。

LiteRT GenAI 文檔

https://ai.google.dev/edge/litert/genai/overview

廣泛的機器學習框架支持

部署不應受限于您所選用的訓練框架。LiteRT 提供來自業(yè)界最主流機器學習框架的無縫模型轉換:PyTorch、TensorFlow 和 JAX。

PyTorch 支持: 借助AI Edge Torch 庫，您可以將 PyTorch 模型通過一個簡化的步驟直接轉換為.tflite格式。這確保了基于 PyTorch 的架構可以立即充分利用 LiteRT 的高級硬件加速，省去了對復雜中間轉換的需求。

TensorFlow 和 JAX: LiteRT 持續(xù)為 TensorFlow 生態(tài)系統(tǒng)提供強大、一流的支持，并通過jax2tf橋接工具為 JAX 模型提供可靠的轉換路徑。這確保了來自 Google 任何核心機器學習庫的最先進研究都可以高效地部署到數(shù)十億設備上。

AI Edge Torch 庫

https://github.com/google-ai-edge/ai-edge-torch

通過整合這些路徑，無論您的開發(fā)環(huán)境如何，LiteRT 都能支持從研究到生產的快速實現(xiàn)。您可以在首選框架中構建模型，并依賴 LiteRT 在 CPU、GPU 和 NPU 后端上實現(xiàn)卓越的性能交付。

要開始使用，請?zhí)剿鰽I Edge Torch Colab并親自嘗試轉換過程，或在此技術深度解析中深入了解我們 PyTorch 集成的技術細節(jié)。

AI Edge Torch Colab https://ai.google.dev/edge/litert/conversion/pytorch/overview

技術深度解析 https://developers.googleblog.com/en/ai-edge-torch-high-performance-inference-of-pytorch-models-on-mobile-devices/

值得信賴的可靠性和兼容性

盡管 LiteRT 的能力已顯著擴展，但我們對長期可靠性和跨平臺一致性的承諾保持不變。LiteRT 繼續(xù)建立在久經考驗的.tflite模型格式之上，這是一種行業(yè)標準的單文件格式，可確保您現(xiàn)有的模型在 Android、iOS、macOS、Linux、Windows、Web 和 IOT 上保持可移植性和兼容性。

為了向開發(fā)者提供持續(xù)的體驗，LiteRT 為現(xiàn)有的和下一代推理路徑提供了強大的支持:

Interpreter API: 您現(xiàn)有的生產模型將繼續(xù)可靠運行，保持您所依賴的廣泛設備覆蓋范圍和堅如磐石的穩(wěn)定性。

新的 CompiledModel API: 此現(xiàn)代化接口專為下一代 AI 設計，提供了無縫路徑來釋放GPU和 NPU 加速的全部潛力，以滿足日益演進的新 AI 需求。有關選擇 CompiledModel API 的更多原因，請參閱文檔。

文檔

https://ai.google.dev/edge/litert/inference#why-compiled-model

未來計劃

準備好構建端側 AI 的未來了嗎？歡迎您查看相關資料，輕松上手:

探索LiteRT 文檔以獲取全面的開發(fā)指南。

查看LiteRT GitHub和LiteRT 示例 Github以獲取示例代碼和實現(xiàn)細節(jié)。

訪問LiteRT Hugging Face 社區(qū)以獲取 Gemma 等即用型開放模型，并在Android和iOS上試用Google AI Edge Gallery 應用來體驗實際運行中的 AI。

LiteRT 文檔 https://ai.google.dev/edge/litert

LiteRT GitHub https://github.com/google-ai-edge/litert

LiteRT 示例 Github https://github.com/google-ai-edge/litert-samples

LiteRT Hugging Face 社區(qū) https://huggingface.co/litert-community

Android https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery

iOS https://testflight.apple.com/join/nAtSQKTF

Google AI Edge Gallery 應用 https://github.com/google-ai-edge/gallery

歡迎您通過GitHub 頻道與我們進行交流，讓我們了解您的反饋和功能請求。我們迫不及待地想看到您用 LiteRT 創(chuàng)造出的精彩內容！也歡迎您持續(xù)關注 "谷歌開發(fā)者" 微信公眾號，及時了解更多開發(fā)技術和產品更新等資訊動態(tài)。

GitHub 頻道

https://github.com/google-ai-edge/LiteRT/issues

致謝

感謝團隊成員和所有合作者為本次發(fā)布中取得的進步所做的貢獻: Advait Jain, Andrew Zhang, Andrei Kulik, Akshat Sharma, Arian Arfaian, Byungchul Kim, Changming Sun, Chunlei Niu, Chun-nien Chan, Cormac Brick, David Massoud, Dillon Sharlet, Fengwu Yao, Gerardo Carranza, Jingjiang Li, Jing Jin, Grant Jensen, Jae Yoo, Juhyun Lee, Jun Jiang, Kris Tonthat, Lin Chen, Lu Wang, Luke Boyer, Marissa Ikonomidis, Matt Kreileder, Matthias Grundmann, Majid Dadashi, Marko Risti?, Matthew Soulanille, Na Li, Ping Yu, Quentin Khan, Raman Sarokin, Ram Iyengar, Rishika Sinha, Sachin Kotwani, Shuangfeng Li, Steven Toribio, Suleman Shahid, Teng-Hui Zhu, Terry (Woncheol) Heo, Vitalii Dziuba, Volodymyr Kysenko, Weiyi Wang, Yu-Hui Chen, Pradeep Kuppala 和 gTech 團隊。