作者 / Google AI Edge 團隊

前不久，Google DeepMind 推出了 Gemma 4，這是一系列業(yè)界領先的開放模型，重塑了端側 AI 的可能性。Gemma 4 已通過 Apache 2.0 許可發(fā)布，為開發(fā)者提供了強大的端側 AI 開發(fā)工具包。借助 Gemma 4，您將不再局限于簡單的聊天機器人，而是可以構建直接在本地設備上運行的智能體和自主 AI 應用場景。Gemma 4 支持多步規(guī)劃、自主行動、離線代碼生成，甚至音視頻處理，且無需專門的微調(diào)。同時，該模型原生支持 140 多種語言，旨在服務全球開發(fā)者與用戶。

我們很高興地宣布，Gemma 4 強大的端側能力現(xiàn)已正式開放體驗!您可以通過全新的 AICore 開發(fā)者預覽版訪問 Android 內(nèi)置的 Gemma 4 模型，或借助 Google AI Edge 在移動端、桌面端和邊緣設備上構建具有智能體能力的應用內(nèi)體驗。在本篇文章中，我們將向您展示如何通過 Google AI Edge Gallery 和 LiteRT-LM 快速上手 Google AI Edge。

在 Google AI Edge Gallery 中探索 Gemma 4 的 Agent Skills

Google AI Edge Gallery 已在 iOS 和 Android 上線，讓您可以構建并測試完全在端側運行的 AI 體驗。我們非常高興地宣布推出 "Agent Skills"，這是首批完全在端側運行多步自主智能體工作流的應用之一。在 Gemma 4 的驅動下，Agent Skills 可以:

擴充知識庫: Gemma 4 可以通過調(diào)用各種 "Skills"，訪問其初始訓練數(shù)據(jù)之外的信息，從而實現(xiàn)智能體增強型體驗。例如，您可以構建一個查詢維基百科的技能，讓智能體能夠查詢并解答各類百科常識。

生成豐富的交互式內(nèi)容: 將段落或視頻轉化為用于學習的精簡摘要或學習閃卡，或將數(shù)據(jù)轉化為交互式的可視化視圖或圖表。例如，您可以創(chuàng)建一個 Skill，根據(jù)用戶的語音輸入，自動總結并展示每日睡眠時長和情緒趨勢。

拓展 Gemma 4 的核心能力: 將 Gemma 4 與其他模型 (如文本轉語音、圖像生成或音樂合成模型) 進行集成。例如，您可以利用 Skills，為照片配上與氛圍完美契合的音樂。

打造全面的端到端體驗: 用戶無需在多個應用之間切換，只需通過與 Gemma 4 對話，即可管理復雜的工作流并構建自己的應用。為了直觀展示這一能力，我們構建了一個可以描述并播放動物叫聲的可運行應用。

想要親身體驗 Gemma 4 E2B 和 E4B 模型的實際表現(xiàn)，請立即探索 Google AI Edge Gallery 應用。在應用內(nèi)，借助我們提供的指南，您可以輕松地開始實驗并創(chuàng)建您的專屬 Skills。我們迫不及待地想看到您構建的作品，歡迎在 GitHub Discussion 中分享您的 Skills!

借助 LiteRT-LM 實現(xiàn) Gemma 4 的跨設備部署

對于希望在應用內(nèi)或更廣泛的設備上部署 Gemma 4 的開發(fā)者，LiteRT-LM 提供了卓越的性能，能夠覆蓋各類硬件生態(tài)。LiteRT-LM 在 LiteRT 的基礎上增加了生成式 AI 專用庫，而 LiteRT 已憑借其高性能庫 XNNPack 和 ML Drift 深受數(shù)百萬 Android 和端側開發(fā)者的信賴。LiteRT-LM 構建于此技術棧之上，并通過以下新特性增強了模型性能:

極小的內(nèi)存占用: 得益于 LiteRT 對 2-bit 和 4-bit 權重的支持，以及內(nèi)存映射 (mmap) 的逐層嵌入技術，在某些設備上運行 Gemma 4 E2B 的內(nèi)存占用僅需不到 1.5 GB。

約束解碼: 每次都能獲得結構化、可預測的輸出，確保您的 AI 驅動型應用和工具調(diào)用腳本在生產(chǎn)環(huán)境中保持穩(wěn)定。

動態(tài)上下文: 能夠靈活地在 CPU 和 GPU 上處理單一模型并支持動態(tài)上下文長度，讓您可以充分利用 Gemma 4 的 128K 上下文窗口。

為了支持智能體用例所需的超長上下文，LiteRT-LM 利用前沿的 GPU 優(yōu)化技術，在不到 3 秒的時間內(nèi)即可處理跨越 2 個不同 Skills 的 4,000 個輸入 token。

LiteRT-LM 還將較小規(guī)格的 Gemma 4 模型帶到了物聯(lián)網(wǎng)和邊緣設備，并在多種平臺上展現(xiàn)出引人注目的性能。其中包括 Raspberry Pi 5，在 CPU 上運行時，其預填充 (prefill) 速度達到 133 token/秒，解碼 (decode) 速度為 7.6 token/秒;而 Qualcomm Dragonwing IQ8 上的 NPU 加速則將性能提升至更令人驚嘆的 3,700 預填充 token/秒和 31 解碼 token/秒。

全平臺運行

Gemma 4 現(xiàn)已發(fā)布，并實現(xiàn)了前所未有的廣泛平臺支持:

移動端: 支持 Android 和 iOS 的 CPU/GPU 運行。開發(fā)者還可以通過 Android AICore 在系統(tǒng)層面訪問并部署 Android 內(nèi)置且經(jīng)過優(yōu)化的 Gemma 4 模型。

桌面端與 Web 端: 在 Windows、Linux 和 macOS (通過 Metal) 上擁有流暢性能，并支持由 WebGPU 驅動的原生瀏覽器執(zhí)行。

物聯(lián)網(wǎng)與機器人技術: 我們將 Gemma 4 帶到了 Raspberry Pi 5，以及賦能 Arduino VENTUNO Q 的 Qualcomm Dragonwing IQ8 處理器等端側。

我們還推出了全新的 Python 包和 CLI 工具，讓您在控制臺中體驗 Gemma 變得前所未有的簡單，并為物聯(lián)網(wǎng)設備上基于 Gemma 的 Python 流水線提供支持。litert-lm CLI 已在 Linux、macOS 和 Raspberry Pi 上可用，開發(fā)者無需編寫任何代碼即可嘗試最新的 Gemma 4 模型能力。該 CLI 現(xiàn)已支持工具調(diào)用，為 Google AI Edge Gallery 中的 Agent Skills 提供支持。LiteRT-LM 的 Python bindings 提供了從 Python 深度定制設備端大模型流水線的靈活性。借助我們的指南，在終端中開始使用 LiteRT-LM 非常簡單。

端側智能體體驗的時代已經(jīng)到來，我們希望您已準備好在端側開啟構建之旅。無論您在何種設備上進行開發(fā)，請通過 Google AI Edge Gallery 中的 Agent Skills 示例以及 LiteRT-LM 入門指南開啟您的旅程。我們迫不及待地想看到您的作品!