AMD發(fā)布首款小語言AI模型Llama-135m
近日，AMD在Huggingface平臺上正式推出了自家首款“小語言模型”——AMD-Llama-135m。這款模型以其獨特的推測解碼功能，吸引了業(yè)界的廣泛關注。
AMD-Llama-135m模型擁有6700億個token，并采用了Apache 2.0開源許可，為用戶提供了更多的靈活性和自由度。據(jù)AMD介紹，該模型主打“推測解碼”能力，這一功能的基本原理是通過使用一個小型草稿模型來生成一組候選token，然后由更大的目標模型對這些候選token進行驗證。這種方法不僅能夠確保生成的token的準確性和可靠性，而且允許每次前向傳遞生成多個token，從而顯著提高了效率。
與傳統(tǒng)的AI模型相比，AMD-Llama-135m在RAM占用方面也有了顯著的優(yōu)化。由于采用了推測解碼技術，該模型能夠在不影響性能的前提下，減少RAM的占用，實現(xiàn)了更加高效的計算和存儲資源利用。
AMD-Llama-135m的發(fā)布，標志著AMD在AI領域邁出了重要的一步。未來，AMD將繼續(xù)致力于AI技術的研發(fā)和創(chuàng)新，為全球用戶提供更加智能、高效和可靠的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
amd
+關注
關注
25文章
5703瀏覽量
140368 -
AI
+關注
關注
91文章
40908瀏覽量
302487 -
模型
+關注
關注
1文章
3810瀏覽量
52249
發(fā)布評論請先 登錄
相關推薦
熱點推薦
谷東智能助力老板電器發(fā)布全球首款AI烹飪眼鏡
2026 年 3 月 13 日，杭州老板電器股份有限公司在 AWE2026上正式發(fā)布全球首款 AI 烹飪眼鏡，搭載其自研的烹飪智能體和食神大模型
中興通訊全球首款AI+Wi-Fi 8室內(nèi)CPE重磅發(fā)布
2026世界移動通信大會（MWC26巴塞羅那）現(xiàn)場，中興通訊終端業(yè)務攜全場景AI終端亮相，全面展示AI技術與終端生態(tài)深度融合的創(chuàng)新成果。此次展會發(fā)布了全球首
大模型 ai coding 比較
序
我主要用途是 ai coding，從各種渠道獲取到了很多 不同的大模型排序 最多的是 opus 4.6 > k2.5 > glm5 >
發(fā)表于 02-19 13:43
國內(nèi)首款AI助盲眼鏡發(fā)布，1700萬視障人士的新眼睛
在國際殘疾人日（12 月 3 日）這一天，杭州瞳行科技公司正式發(fā)布國內(nèi)首款 AI 助盲眼鏡。該眼鏡由眼鏡主體、手機、遙控指環(huán)、盲杖四部分組成，目前已正式面市。
【CIE全國RISC-V創(chuàng)新應用大賽】基于 K1 AI CPU 的大模型部署落地
的 落地方案 ：
1. 系統(tǒng)部署方案書 (System Proposal)
方案要點
部署工具 ：使用官方提供的 spacemit-llama.cpp (v0.0.4) 二進制包。
模型策略 ：采用
發(fā)表于 11-27 14:43
AMD Vitis AI 5.1測試版現(xiàn)已開放下載
AMD Vitis AI 5.1全新發(fā)布——新增了對 AMD Versal AI Edge 系列神經(jīng)網(wǎng)絡處理單元（ NPU ）的支持。Vit
AMD Vitis AI 5.1測試版發(fā)布
AMD Vitis AI 5.1全新發(fā)布——新增了對 AMD Versal AI Edge 系列神經(jīng)網(wǎng)絡處理單元 (NPU) 的支持。Vit
偉創(chuàng)力重磅發(fā)布全球首款面向千兆瓦級數(shù)據(jù)中心的AI基礎設施平臺
偉創(chuàng)力重磅發(fā)布全球首款面向千兆瓦級數(shù)據(jù)中心的AI基礎設施平臺，平臺集成了電源和冷卻產(chǎn)品、計算能力和服務，專為AI和高性能計算而設計，幫助數(shù)據(jù)
RT-Thread首款AI硬件搶先曝光!——RA8P1 Titan Board
。RA8P1系列是瑞薩電子首款搭載高性能ArmCortex-M85(CM85)及Helium矢量擴展，并集成Ethos-U55NPU的32位AI加速微控制器(MCU)。該
皓麗全球首款四攝AI會議平板：AI全視之眼 + AI智會大模型雙加持
2025年，智能會議設備市場迎來里程碑式突破——連續(xù)多年蟬聯(lián)電商銷量冠軍的皓麗（Horion）正式推出全球首款四攝AI會議平板，以“AI全視之眼+A
深蘭科技發(fā)布全球首款兒童心理健康AI陪伴玩偶產(chǎn)品
近日，深蘭科技在上海舉辦“AI機器人場景應用渠道合作峰會”，會議上重磅發(fā)布了全球首款兒童心理健康AI陪伴玩偶產(chǎn)品，標志著深蘭科技叩響C端消費
使用 NPU 插件對量化的 Llama 3.1 8b 模型進行推理時出現(xiàn)“從 __Int64 轉換為無符號 int 的錯誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
探索在Arm平臺運行的Llama 4 Scout模型
人工智能 (AI) 正在加速發(fā)展，也越來越智能化。當今的開源大語言模型不僅功能強大，而且在設計時充分考慮了實際部署的需求，因而具有輕量化和經(jīng)濟高效的特點，可大規(guī)模部署到數(shù)十億臺設備上。簡而言之，對于開發(fā)者可能想到的各種情形，當今
評論