一、什么是 “Wukong”？

涂鴉全新推出的 “Wukong”AI 硬件開發(fā)框架，是為實現 AI 硬件領域的商業(yè)化而專門開發(fā)設計的創(chuàng)新平臺。它基于 TuyaOS 所構建，繼承了諸多優(yōu)勢，如跨平臺兼容性、模塊化設計、低代碼開發(fā)、組件化結構，以及卓越的互聯互通和安全合規(guī)性。同時，該框架在文字、音頻、圖像處理等功能上都進行了顯著增強。

"Wukong" AI 硬件開發(fā)框架支持多種大模型，可通過涂鴉云接入 deepseek、豆包、通義千問、Kimi、元寶等國內模型，海外則兼容 ChatGPT、Claude、Gemini 等先進大模型。這種多樣化的支持，使得該框架能夠靈活地應用于各種應用場景中，為開發(fā)者提供強大的工具箱。

通過大模型智能體與開發(fā)框架的結合，"Wukong" AI 開發(fā)框架實現了文字和語音對話、圖片生成、視頻生成等多種 AI 功能。這使其在消費電子、玩具、家電等 AI 硬件方向上展現出廣泛的應用潛力。無論是為智能家居設備賦能，還是為互動玩具增添新穎功能，該框架都為開發(fā)者提供了高效、靈活的解決方案，推動 AI 硬件產品的創(chuàng)新與發(fā)展。

目前"Wukong" AI 開發(fā)框架 1.0 版本已經發(fā)布，開發(fā)者基于該框架開發(fā)的 AI 玩具已經實現量產，并受到了品牌消費者的廣泛認可。開發(fā)者如果想要開發(fā)自己的 AI 硬件產品，通過 Tuya Wind IDE 即可下載 "Wukong" AI 開發(fā)框架，接下來一起看下具體操作步驟。

二、如何獲取該 AI 硬件開發(fā)框架？

1、復制下方鏈接安裝 Tuya Wind IDE 插件，并了解 TuyaOS 開發(fā)流程：

https://developer.tuya.com/cn/docs/iot-device-dev/tuyaos-wind-ide?id=Kbfy6kfuuqqu3

2、啟動 Tuya Wind IDE，進入“資源中心”，按照下圖選擇，申請開發(fā)框架權限，填寫涂鴉商務郵箱（界面會有郵箱地址提示），即可發(fā)起申請。

3、審批通過之后，進入主頁，點擊“創(chuàng)建開發(fā)框架”，按照下圖選擇，即可創(chuàng)建開發(fā)框架。

4、一鍵編譯 demo

基于 demo開發(fā)自己的 AI 語音產品（目前，“Wukong” 1.0 版本僅支持語音類接入，后續(xù)將更新更多個性化AI 語音玩法）

三、如何快速開發(fā)？

1、初始化代碼

OPERATE_RET __soc_device_init(VOID_T){ OPERATE_RET rt = OPRT_OK;
// ....... // .......
TY_AI_TOY_PARA_T para = TY_AI_PROC_PARA_AIBOX_HOLD; /* Network button initialization */ app_key_init(para.reset_key_pin); /* AI toy initialization */ TUYA_CALL_ERR_RETURN(ty_ai_toy_init(?)); TUYA_CALL_ERR_RETURN(ty_ai_toy_start());
return 0;}

<向右滑動查看更多>

2、引腳和模式配置

開發(fā) AI 玩具需要配置幾個引腳，以實現系統(tǒng)重置、喚醒、揚聲器開關等功能。Demo 示例程序通過 TY_AI_TOY_PARA_T 結構體進行參數設置，并預制了 5 個基本參數供快速啟動，開發(fā)者可按需選擇或根據自己的需求進行修改：

●TY_AI_PROC_PARA_DEF

●TY_AI_PROC_PARA_DEF2

●TY_AI_PROC_PARA_CUSTOM

●TY_AI_PROC_PARA_AIBOX

●TY_AI_PROC_PARA_AIBOX_HOLD（默認配置）

觸發(fā)方式分短按連續(xù)對話和長按對話，目前 demo 只針對長按觸發(fā)進行過優(yōu)化。

3、系統(tǒng)重置引腳初始化接口

初始化重置引腳，實現長按引腳 5s 之后設備即可重置，并重新進入配網模式。

/*** @brief init reset key* @param[in] pin_id: key pin number*/
VOID_Tapp_key_init(TUYA_GPIO_NUM_Epin_id);

<向右滑動查看更多>

4、初始化接口

初始化 AI 玩具功能。

/*** @brief init ai toy demo** @param[in/out] para: init parameters* @return OPERATE_RET: OPRT_OK on success, others on failed*/OPERATE_RETty_ai_toy_init(TY_AI_TOY_PARA_T*para);

<向右滑動查看更多>

5、啟動接口

啟動AI玩具功能。

/*** @brief start ai toy demo** @return OPERATE_RET: OPRT_OK on success, others on failed*/OPERATE_RETty_ai_toy_start(void);

<向右滑動查看更多>

6、其它說明

demo 代碼還包括了電量檢測代碼，如果對應的開發(fā)板沒有電池檢測，可以在代碼中注釋調用 tuya_ai_toy_battery_init 和 tuya_ai_toy_battery_uninit 兩個接口。

高階迭代：Coming soon

"Wukong" AI 開發(fā)框架 2.0 版本將在 2025年 Q1 發(fā)布，屆時將支持文字、語音、文件、圖片、視頻等進階性的 AI 處理能力；同時支持開發(fā)者直接連接第三方 AI 大模型，以開發(fā)更靈活、更高智能的 AI 硬件產品。