作者：京東零售 高繼航

1 前言

2024年，京東零售技術(shù)自研的京點點AIGC內(nèi)容生成平臺（以下簡稱“京點點”）已覆蓋電商運營涉及的20+核心場景，AI能力單日調(diào)用超1000萬次。“京點點”致力于電商場景下商品內(nèi)容、營銷素材的智能化、自動化生產(chǎn)和運營，已幫助京東35萬+第三方商家一鍵AI生成店鋪運營所需的商品圖片、運營與營銷文案，提升內(nèi)容制作效率和效果，降低商家內(nèi)容制作成本。

“京點點”融合了電商內(nèi)容生成、可控生成技術(shù)和多智能體協(xié)作等多種技術(shù)的融合創(chuàng)新，代表了AI技術(shù)在電商領(lǐng)域應(yīng)用的最新突破，實現(xiàn)了高效、可控、智能的多模態(tài)內(nèi)容生成和優(yōu)化，榮獲“infoQ 2024中國技術(shù)力量年度榜單-2024 年度 AI 最佳實踐案例/方案”獎項。本文將對京點點實現(xiàn)高效、可控、智能的多模態(tài)內(nèi)容生成和優(yōu)化的創(chuàng)新實踐進行介紹。

2 背景介紹

2.1業(yè)務(wù)場景

“京點點” https://ai.jd.com/是一款專為電商人打造的AI設(shè)計工具，平臺基于大模型+AI能力改變傳統(tǒng)的零售、電商內(nèi)容生產(chǎn)模式，覆蓋AI圖片設(shè)計、AI文案寫作，無需專業(yè)人員，小白點一點就能生產(chǎn)專業(yè)的電商內(nèi)容素材。

“京點點”已上線了三大AIGC能力：一是AI商品圖生成，用戶上傳商品普通拍攝圖或白底圖，系統(tǒng)可自動摳圖并結(jié)合電商數(shù)據(jù)推薦合適的場景模板，生成高質(zhì)量商品場景圖，還能AI添加商品核心賣點文案、營銷利益點等變?yōu)樯唐分鲌D、商品詳情圖、商品營銷圖等素材；二是AI營銷文案生成，用戶輸入京東商品SKU編號或名稱，系統(tǒng)能從相關(guān)商品中提取賣點信息，按用戶需求的文章風(fēng)格生成營銷文案；三是面向所有設(shè)計師的風(fēng)格模型訓(xùn)練平臺，可根據(jù)設(shè)計師的風(fēng)格傾向需求，對商品場景圖、營銷設(shè)計元素、營銷海報圖等進行云端自助lora訓(xùn)練，實現(xiàn)精準(zhǔn)控制和快速出圖。

目前，“京點點”面向京東商家、集團員工、京東生態(tài)伙伴進行全量開放，同時能力接入到京東各個核心B端產(chǎn)品中，包括智能摳圖、智能文案、商品場景圖/模特圖生成、AI搭配購等功能，提升商家內(nèi)容制作效率和效果，降低商家內(nèi)容制作成本。

2.2技術(shù)挑戰(zhàn)

在“京點點”打造與業(yè)務(wù)實際應(yīng)用過程中，AI內(nèi)容生成技術(shù)面臨著以下幾個方面的技術(shù)問題：

（1）數(shù)據(jù)處理難度大

電商行業(yè)涉及海量的商品信息和用戶數(shù)據(jù)，如何有效地收集、整理和分析這些數(shù)據(jù)，以訓(xùn)練出準(zhǔn)確的文生圖基底模型，是一個巨大的挑戰(zhàn)。海量的零售圖片數(shù)據(jù)需要進行高效處理和分析，這不僅需要強大的計算能力，還需要先進的數(shù)據(jù)處理技術(shù)和算法，以確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性。

（2）圖像生成精準(zhǔn)控制困難

在電商領(lǐng)域，商品圖像的質(zhì)量和效果直接影響消費者的購買決策。因此，如何精確控制圖像的輪廓、風(fēng)格、視角和布局，同時確保商品的一致性，是一個亟待解決的問題。傳統(tǒng)的圖像生成技術(shù)往往難以實現(xiàn)對圖像的精細控制，導(dǎo)致生成的圖像無法滿足電商企業(yè)的個性化需求。

（3）營銷文案生成的準(zhǔn)確性和風(fēng)格問題

營銷文案是電商內(nèi)容的重要組成部分，它不僅需要準(zhǔn)確地傳達商品的信息和特點，還需要具備吸引消費者的語言風(fēng)格。然而，大模型幻覺問題導(dǎo)致營銷文案的準(zhǔn)確性和語言風(fēng)格難以滿足實際需求，這使得電商用戶在營銷推廣方面面臨著一定的困難。

（4）模型優(yōu)化與適應(yīng)性

電商市場變化迅速，消費者的需求和喜好也在不斷變化。因此，如何根據(jù)用戶反饋和市場趨勢不斷優(yōu)化生成模型，使其更好地適應(yīng)電商業(yè)務(wù)的實際需求，是一個持續(xù)的挑戰(zhàn)。傳統(tǒng)的模型往往缺乏靈活性和適應(yīng)性，難以快速響應(yīng)市場的變化。

3 技術(shù)實踐

3.1 技術(shù)創(chuàng)新和實踐

為了解決上述問題，“京點點”進行了一系列的技術(shù)創(chuàng)新和實踐，致力于為電商行業(yè)提供高質(zhì)量、高效率的內(nèi)容生成解決方案。

（1）先進的文生圖基底

?海量數(shù)據(jù)訓(xùn)練：“京點點”通過使用海量的零售圖片數(shù)據(jù)訓(xùn)練京東的文生圖基底模型。這些數(shù)據(jù)涵蓋了各種商品類型、風(fēng)格和場景，使模型能夠?qū)ι唐泛弯N售有更深入的理解。為了提高數(shù)據(jù)處理效率，平臺自研了高效海量數(shù)據(jù)處理平臺，能夠快速生產(chǎn)和迭代基底訓(xùn)練數(shù)據(jù)。

?先進技術(shù)框架：基底模型采用了 DiT 框架和 Flow Matching 技術(shù)，實現(xiàn)了快速進化。DiT 框架是一種基于深度學(xué)習(xí)的圖像生成框架，它能夠有效地捕捉圖像的特征和結(jié)構(gòu)，生成更加真實、自然的圖像。Flow Matching 技術(shù)則是一種用于圖像生成的概率模型，它能夠提高生成圖像的多樣性和準(zhǔn)確性。通過這些先進技術(shù)的應(yīng)用，“京點點”能夠在商品主圖、商品詳情、營銷、廣告等場景中生成更加真實、合理的圖片資產(chǎn)，為電商企業(yè)提供更具吸引力的視覺內(nèi)容。

（2）Zero-Shot 可控生成框架

?圖像特征一致性注入：自主研發(fā)的 ReferenceNet 能夠?qū)崿F(xiàn)對圖像特征一致性的零樣本注入。這意味著在不需要大量標(biāo)注數(shù)據(jù)的情況下，平臺可以以極低的成本確保商品的一致性。通過 ReferenceNet，平臺能夠提取商品的關(guān)鍵特征，并將其應(yīng)用于圖像生成過程中，從而保證生成的圖像能夠準(zhǔn)確地反映商品的特點和屬性。

?精確圖像控制：自研的 ControlNet 可以對圖像的輪廓、風(fēng)格和布局進行精確控制。與傳統(tǒng)的圖像控制技術(shù)不同，京點點 的 ControlNet 解決了業(yè)內(nèi) ControlNet 對基礎(chǔ)模型的負面影響，在良好控制下不會降低基礎(chǔ)模型的生成效果。這使得平臺能夠根據(jù)商品的特征和風(fēng)格需求，生成高度真實且富有創(chuàng)意的圖像，為商品展示提供更加生動、吸引人的視覺效果。

（3）多技術(shù)融合創(chuàng)新

?多模態(tài)商品理解模型：在營銷文案生成方面，“京點點”自研了多模態(tài)商品理解模型。該模型能夠綜合分析商品的圖像、文字描述、用戶評價等多模態(tài)信息，構(gòu)建商品的 FAB（Feature, Advantage, Benefit）知識庫。這個知識庫涵蓋了商品的規(guī)格參數(shù)、優(yōu)勢、用戶使用場景等多維度信息，為營銷文案的生成提供了豐富的素材和依據(jù)。

?RAG 方案與知識融合：平臺使用 RAG（Retrieval-Augmented Generation）方案結(jié)合商品知識與大語言模型能力，撰寫事實準(zhǔn)確且語言風(fēng)格接地氣的營銷文案。RAG 方案通過在生成過程中引入相關(guān)的知識和信息，有效地改善了大模型幻覺問題，提升了營銷文案的寫作效果。生成的營銷文案不僅能夠準(zhǔn)確地傳達商品的信息和特點，還能夠以生動、有趣的語言風(fēng)格吸引消費者的注意力，提高商品的銷售轉(zhuǎn)化率。

（4）強化學(xué)習(xí)與優(yōu)化

?用戶反饋與數(shù)據(jù)驅(qū)動優(yōu)化：“京點點”引入了強化學(xué)習(xí)機制，根據(jù)用戶反饋和京東商品數(shù)據(jù)，不斷優(yōu)化生成模型的參數(shù)和策略。通過收集用戶的行為數(shù)據(jù)、評價數(shù)據(jù)和購買數(shù)據(jù)等，平臺能夠深入了解用戶的需求和喜好，從而針對性地調(diào)整生成模型的參數(shù)和策略，使生成的內(nèi)容更加符合用戶的期望。

?緊密結(jié)合電商業(yè)務(wù)：平臺與實際電商業(yè)務(wù)緊密結(jié)合，實時調(diào)整生成策略。根據(jù)市場趨勢、商品銷售情況和用戶需求的變化，平臺能夠及時調(diào)整內(nèi)容生成的方向和重點，為電商用戶提供更加具有針對性和時效性的內(nèi)容。例如，在促銷活動期間，平臺可以生成更多與促銷相關(guān)的營銷文案和圖片，以提高活動的效果和影響力。

3.2 技術(shù)實踐效果

“京點點”面向京東商家、集團員工、京東生態(tài)伙伴進行全量開放，同時能力接入到京東各個核心B端產(chǎn)品中，包括智能摳圖、智能文案、商品場景圖/模特圖生成、AI搭配購等功能。幫助用戶在商品圖、商品營銷文案等內(nèi)容制作的效率提升高達95%以上，從原來的天級降低到秒級。成本由原來單張商品圖50-2000元降低99%以上。

以AI生圖為例：

在圖片生產(chǎn)人力與時間、生產(chǎn)成本、生產(chǎn)效果等方面，“京點點”AI生圖相較傳統(tǒng)人工生產(chǎn)有顯著優(yōu)勢。如在家裝 2D 場景圖場景和時尚穿搭試衣場景中：

AI生圖相比傳統(tǒng)人工作圖具有顯著優(yōu)勢。從人力與時間方面看，傳統(tǒng)人工制作家裝 2D 場景圖和時尚穿搭試衣圖均為 10 張/人/天，而京點點AI生圖分別可達 5000 張/0.1 人/天，內(nèi)容制作的效率提升高達95%以上。在成本上，傳統(tǒng)人工制作家裝場景圖 500 元/張，時尚場景圖 2000 元/張，而京點點AI生圖的內(nèi)容制作成本降低超過99%。此外，京點點 AI生圖無需物理空間和專業(yè)設(shè)計師，實習(xí)生即可完成符合業(yè)務(wù)質(zhì)量需求的圖片，這進一步減少了對內(nèi)容生產(chǎn)專業(yè)資源的依賴，為家裝和時尚領(lǐng)域帶來了新的可能性。

3.3技術(shù)與資源投入性價比

除了要達到最佳的生成質(zhì)量，還需要盡可能減少資源投入，實現(xiàn)業(yè)務(wù)應(yīng)用的最佳投入產(chǎn)出?！熬c點”創(chuàng)新性地采用了大模型加速方案和大小模型聯(lián)合推理技術(shù)算法，針對電商領(lǐng)域的特定需求，顯著提升了資源利用效率，相較于傳統(tǒng)的單一大模型方案，在內(nèi)容生成質(zhì)量效果一致的情況下，資源投入度減少高達90%。以下是對兩種技術(shù)方案的詳細對比分析：

3.4技術(shù)實踐突破原因

“京點點”能夠取得這些技術(shù)實踐突破，主要得益于以下幾個方面：

（1）業(yè)務(wù)引領(lǐng)用戶為先：“京點點”始終以業(yè)務(wù)發(fā)展為引領(lǐng)，和京東家部、京東時尚、京東大商超、京麥、京準(zhǔn)通等兄弟業(yè)務(wù)部門緊密合作，圍繞電商行業(yè)的需求和趨勢，不斷探索新的技術(shù)應(yīng)用和業(yè)務(wù)模式。通過精準(zhǔn)的行業(yè)洞察和業(yè)務(wù)規(guī)劃，“京點點”AI生成能力實現(xiàn)業(yè)務(wù)的快速增長。

（2）專業(yè)的技術(shù)團隊：“京點點”擁有一批專業(yè)的算法、技術(shù)人才，他們具備豐富的人工智能和電商領(lǐng)域的經(jīng)驗。這些技術(shù)人才不斷探索和創(chuàng)新，深入研究電商行業(yè)的需求和痛點，致力于解決技術(shù)難題，推動平臺的技術(shù)發(fā)展和應(yīng)用。

（3）平臺數(shù)據(jù)優(yōu)勢：依托京東豐富的電商數(shù)據(jù)資源，“京點點”能夠為模型訓(xùn)練提供大量的高質(zhì)量數(shù)據(jù)。這些數(shù)據(jù)涵蓋了商品信息、用戶行為、市場趨勢等多個方面，為模型的準(zhǔn)確性和泛化能力提供了有力的支持。通過對這些數(shù)據(jù)的深入分析和挖掘，平臺能夠更好地理解用戶需求和市場動態(tài)，從而為電商用戶提供更加精準(zhǔn)和有效的內(nèi)容生成服務(wù)。

（4）持續(xù)投入和研發(fā)：公司對“京點點”的研發(fā)給予了高度重視，不斷投入資源進行技術(shù)改進和優(yōu)化。這種持續(xù)的投入和研發(fā)使得平臺能夠始終保持領(lǐng)先的技術(shù)水平，不斷推出新的功能和服務(wù)，滿足電商行業(yè)不斷變化的需求。

4、未來展望

通過“京點點”探索電商領(lǐng)域中 AI 技術(shù)與內(nèi)容生產(chǎn)協(xié)同的前沿應(yīng)用，解決了行業(yè)中電商內(nèi)容生成效率低下、內(nèi)容生產(chǎn)成本高、內(nèi)容生產(chǎn)質(zhì)量參差不齊的問題，提供了寶貴的實踐經(jīng)驗和可復(fù)制的模式。未來我們也將在以下幾方面繼續(xù)投入資源打造提升：

（1）生成式技術(shù)優(yōu)化與升級，用戶一鍵出“好”圖

“京點點”將繼續(xù)致力于生成式技術(shù)的優(yōu)化與升級，通過模型改進、效率提升、多模態(tài)融合、多智能體協(xié)同等技術(shù)優(yōu)化，提升AI生成內(nèi)容結(jié)果的質(zhì)量、效率，從而生成更加高質(zhì)量、符合用戶需求的內(nèi)容。從用戶一鍵出圖到一鍵出“好”圖的提升。

（2）融入業(yè)務(wù)數(shù)據(jù)的AI生成，工具到經(jīng)營助手進化

當(dāng)“京點點”生成內(nèi)容的質(zhì)量達到基礎(chǔ)要求后，通過融入業(yè)務(wù)客觀的數(shù)據(jù)反饋，如商品主圖分析關(guān)注、點擊、轉(zhuǎn)化效果好的內(nèi)容所具有的特征，以此反哺大模型，使其能夠進行持續(xù)的自學(xué)習(xí)和訓(xùn)練進化。這樣一來，京點點生成的內(nèi)容就能更好地適應(yīng)市場需求的變化，能夠及時幫助用戶調(diào)整自己經(jīng)營策略，提高市場反應(yīng)速度，激發(fā)創(chuàng)新活力，從而推動用戶經(jīng)營提升。

（3）加強與業(yè)務(wù)的深度融合，拓展更多AI+應(yīng)用場景

“京點點”團隊更加緊密地與業(yè)務(wù)團隊合作，深入了解業(yè)務(wù)需求，不斷優(yōu)化內(nèi)容生成策略，以提高商品的銷售效果和用戶體驗。除了現(xiàn)有業(yè)務(wù)領(lǐng)域家裝2D搭配場景圖、時尚AI穿搭、京麥商家AI提效等聯(lián)合共建AI+業(yè)務(wù)場景外，我們將探索將AI+應(yīng)用于更多的業(yè)務(wù)領(lǐng)域，為更多業(yè)務(wù)領(lǐng)域提供高效、智能的內(nèi)容創(chuàng)作解決方案。

（4）打造更多普適性與可復(fù)制性的AI生成技術(shù)解決方案

“京點點”采用了電商場景的文生圖基底、Zero-Shot 可控生成框架、多智能體協(xié)同、強化學(xué)習(xí)與優(yōu)化深度整合的技術(shù)路線，有效克服了通用大模型在特定產(chǎn)業(yè)應(yīng)用中的能力瓶頸，包括專業(yè)領(lǐng)域知識精準(zhǔn)度不足、復(fù)雜任務(wù)處理能力有限，以及單一模型難以實現(xiàn)高效多模態(tài)協(xié)同等問題。通過模塊化設(shè)計、可插拔的智能體架構(gòu)以及靈活的領(lǐng)域知識注入機制，確保了系統(tǒng)在不同電商場景中的高度適應(yīng)性和可擴展性，將來將打造更多普適性與可復(fù)制性AI生成技術(shù)解決方案，如AI生成視頻、AI生成音頻等，為其它行業(yè)、京東其它產(chǎn)品在面對類似挑戰(zhàn)時提供了系統(tǒng)化的解決方案和可借鑒的技術(shù)框架。

審核編輯 黃宇