5 月 26 日消息，微軟近期推出其小語言 AI 模型新成員“Phi-3-vision”，以卓越的“視覺”處理能力著稱，能夠深度解析圖文信息并在移動(dòng)設(shè)備上穩(wěn)定運(yùn)行。

據(jù)悉，Phi-3-vision 作為微軟 Phi-3 家族的首款多模態(tài)模型，繼承自 Phi-3-mini 的文本理解能力，兼具輕巧便攜特性，適用于移動(dòng)平臺(tái)/嵌入式終端；模型參數(shù)規(guī)模達(dá) 42 億，遠(yuǎn)超 Phi-3-mini（3.8B），略遜于 Phi-3-small（7B），上下文長(zhǎng)度為 128k token，訓(xùn)練時(shí)間跨度為 2024 年 2 月至 4 月。

值得關(guān)注的是，Phi-3-vision 模型的核心優(yōu)勢(shì)在于其強(qiáng)大的“圖文識(shí)別”功能，能夠準(zhǔn)確理解現(xiàn)實(shí)世界圖像的內(nèi)涵，迅速識(shí)別并提取圖片中的文字信息。

微軟強(qiáng)調(diào)，Phi-3-vision 尤其適用于辦公場(chǎng)景，開發(fā)者針對(duì)圖表和方塊圖（Block diagram）識(shí)別進(jìn)行了專門優(yōu)化，使其能夠根據(jù)用戶輸入信息進(jìn)行推理，并生成一系列決策建議，為企業(yè)提供戰(zhàn)略參考，被譽(yù)為“媲美大型模型”的效果。

在模型訓(xùn)練環(huán)節(jié)，微軟表示 Phi-3-vision 采用了“多元化圖片與文字?jǐn)?shù)據(jù)”進(jìn)行訓(xùn)練，涵蓋了一系列“精選的公共內(nèi)容”，如“教科書級(jí)”教育素材、代碼、圖文標(biāo)注數(shù)據(jù)、現(xiàn)實(shí)世界知識(shí)、圖表圖片、聊天記錄等，以保證模型輸入內(nèi)容的豐富性。此外，微軟承諾所用訓(xùn)練數(shù)據(jù)“可追溯”且不含任何個(gè)人信息，充分保障用戶隱私。

在性能對(duì)比方面，微軟提供了 Phi-3-vision 與字節(jié)跳動(dòng) Llama3-Llava-Next（8B）、微軟研究院與威斯康星大學(xué)、哥倫比亞大學(xué)聯(lián)合研發(fā)的 LlaVA-1.6（7B）以及阿里巴巴通義千問 QWEN-VL-Chat 模型等競(jìng)品的對(duì)比圖表，展示了 Phi-3-vision 在多項(xiàng)測(cè)試中的優(yōu)秀表現(xiàn)。