大型語(yǔ)言模型能識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成文本及其他內(nèi)容。

AI 應(yīng)用在大型語(yǔ)言模型的幫助下，可用于解決總結(jié)文章、編寫(xiě)故事和參與長(zhǎng)對(duì)話等多種繁重工作。

大型語(yǔ)言模型（LLM）是一種深度學(xué)習(xí)算法，可以通過(guò)大規(guī)模數(shù)據(jù)集訓(xùn)練來(lái)學(xué)習(xí)識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成文本及其他內(nèi)容。

大型語(yǔ)言模型是 Transformer 模型最成功的應(yīng)用之一。它們不僅將人類的語(yǔ)言教給 AI，還可以幫助 AI 理解蛋白質(zhì)、編寫(xiě)軟件代碼等等。

除了加速翻譯軟件、聊天機(jī)器人、AI 助手等自然語(yǔ)言處理應(yīng)用之外，大型語(yǔ)言模型還在醫(yī)療、軟件開(kāi)發(fā)等許多其他領(lǐng)域被使用。

大型語(yǔ)言模型的用途有哪些？

語(yǔ)言不僅僅是人類間的交流。

計(jì)算機(jī)的語(yǔ)言是代碼、生物學(xué)的語(yǔ)言是蛋白質(zhì)和分子序列……大型語(yǔ)言模型可用于此類語(yǔ)言或跨越多類型交流方式的場(chǎng)景。

這些模型擴(kuò)大了 AI 在各行各業(yè)中的影響，并有望推動(dòng)新一輪的研究、創(chuàng)造和生產(chǎn)浪潮。因?yàn)樗鼈兛梢詭椭扇蚣謫?wèn)題的復(fù)雜解決方案。這些模型擴(kuò)大了 AI 在各行各業(yè)中的影響，并有望推動(dòng)新一輪的研究、創(chuàng)造和生產(chǎn)浪潮。因?yàn)樗鼈兛梢詭椭扇蚣謫?wèn)題的復(fù)雜解決方案。

例如，使用大型語(yǔ)言模型的 AI 系統(tǒng)可以學(xué)習(xí)分子和蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)庫(kù)，然后運(yùn)用這些知識(shí)提出可行的化合物方案，幫助科學(xué)家開(kāi)發(fā)出突破性的疫苗或療法。

大型語(yǔ)言模型還能幫助重構(gòu)搜索引擎、指導(dǎo)聊天機(jī)器人以及歌曲、詩(shī)歌、故事和營(yíng)銷材料的編寫(xiě)工具等等。

大型語(yǔ)言模型如何運(yùn)作？

大型語(yǔ)言模型從海量數(shù)據(jù)中學(xué)習(xí)。顧名思義，大型語(yǔ)言模型的核心就是訓(xùn)練它的數(shù)據(jù)集的大小。但對(duì)“大型”的定義正在隨著 AI 的發(fā)展而不斷擴(kuò)大。

目前，用于訓(xùn)練大型語(yǔ)言模型的數(shù)據(jù)集通常大到包含互聯(lián)網(wǎng)長(zhǎng)時(shí)間跨度內(nèi)的幾乎所有內(nèi)容。

當(dāng)一個(gè)模型獲得了一個(gè)數(shù)據(jù)集但沒(méi)有收到關(guān)于該如何處理它的明確指示時(shí)，這些海量文本就會(huì)通過(guò)無(wú)監(jiān)督學(xué)習(xí)被輸入到 AI 算法中。大型語(yǔ)言模型通過(guò)這種方法來(lái)學(xué)習(xí)單詞、單詞之間的關(guān)系以及其背后的概念。例如它可以學(xué)會(huì)根據(jù)上下文來(lái)區(qū)分“bark”這個(gè)詞的不同含義。

就像掌握了一門(mén)語(yǔ)言的人可以猜測(cè)一個(gè)句子或段落接下來(lái)可能出現(xiàn)的內(nèi)容，甚至可以自己想出新的詞匯或概念一樣，大型語(yǔ)言模型可以使用其掌握的知識(shí)來(lái)預(yù)測(cè)和生成內(nèi)容。

大型語(yǔ)言模型也可以為特定用例進(jìn)行定制，包括通過(guò)微調(diào)或提示調(diào)整（prompt-tuning）等技術(shù)。Prompt-tuning 向模型提供小塊數(shù)據(jù)，來(lái)集中訓(xùn)練其勝任特定應(yīng)用。

憑借并行處理序列的計(jì)算效率，Transformer 模型架構(gòu)正在成為規(guī)模最大、性能最強(qiáng)的大型語(yǔ)言模型背后的構(gòu)建塊。

大型語(yǔ)言模型的主要用途

大型語(yǔ)言模型正在為搜索引擎、自然語(yǔ)言處理、醫(yī)療、機(jī)器人、代碼生成等領(lǐng)域開(kāi)辟新的可能性。

當(dāng)下熱門(mén)的 ChatGPT 人工智能聊天機(jī)器人就是大型語(yǔ)言模型的應(yīng)用之一，它可以用于無(wú)數(shù)自然語(yǔ)言處理任務(wù)。

大型語(yǔ)言模型的應(yīng)用范圍近乎無(wú)限，包括：

• 零售商和其他服務(wù)商可以使用大型語(yǔ)言模型通過(guò)動(dòng)態(tài)聊天機(jī)器人、AI 助手等方式提供更好的客戶體驗(yàn)。

• 搜索引擎可以使用大型語(yǔ)言模型提供更加直接且貼近人類的答案。

• 生命科學(xué)研究者可以訓(xùn)練大型語(yǔ)言模型理解蛋白質(zhì)、分子、DNA 和 RNA。

• 開(kāi)發(fā)者可以使用大型語(yǔ)言模型編寫(xiě)軟件和教機(jī)器人完成體力活。

• 營(yíng)銷人員可以訓(xùn)練大型語(yǔ)言模型，將客戶的要求與反饋歸類或根據(jù)產(chǎn)品描述將產(chǎn)品分類。

• 金融顧問(wèn)可以使用大型語(yǔ)言模型總結(jié)財(cái)報(bào)會(huì)議并創(chuàng)建重要會(huì)議的記錄。信用卡公司可以使用大型語(yǔ)言模型進(jìn)行異常檢測(cè)和欺詐分析以保護(hù)消費(fèi)者。

• 法務(wù)團(tuán)隊(duì)可以使用大型語(yǔ)言模型輔助進(jìn)行法律釋義和文件起草。

為了在生產(chǎn)中高效運(yùn)行這些大型模型，需要具備大量資源、技術(shù)專長(zhǎng)等。因此，企業(yè)開(kāi)始轉(zhuǎn)向 NVIDIA Triton Inference Server。這款軟件可以幫助實(shí)現(xiàn)模型部署的標(biāo)準(zhǔn)化并為生產(chǎn)提供快速、可擴(kuò)展的 AI。

在哪里可以獲得大型語(yǔ)言模型

2020 年 6 月，OpenAI 發(fā)布了 GPT-3 服務(wù)。該服務(wù)由一個(gè)具有 1750 億參數(shù)的模型驅(qū)動(dòng)，可以根據(jù)簡(jiǎn)短的書(shū)面提示生成文本和代碼。

2021 年，NVIDIA 和 Microsoft 開(kāi)發(fā)了 Megatron-Turing Natural Language Generation 530B。作為世界最大的閱讀理解和自然語(yǔ)言推理模型之一，它能夠輕松完成總結(jié)歸納和內(nèi)容生成等任務(wù)。

HuggingFace 在去年發(fā)布了 BLOOM。這個(gè)開(kāi)放式大型語(yǔ)言模型能夠生成 46 種自然語(yǔ)言和十幾種編程語(yǔ)言文本。

另一個(gè)大型語(yǔ)言模型 Codex 能幫助軟件工程師和其他開(kāi)發(fā)者將文本轉(zhuǎn)換成代碼。

NVIDIA 提供了一些工具來(lái)簡(jiǎn)化大型語(yǔ)言模型的構(gòu)建和部署：

• NVIDIA NeMo LLM服務(wù)，可提供一條快速路徑，以便自定義和使用在多個(gè)框架上訓(xùn)練的大型語(yǔ)言模型。開(kāi)發(fā)者可以在私有云和公有云上使用 NeMo LLM 部署企業(yè) AI 應(yīng)用。

• NVIDIA AI 平臺(tái)內(nèi)置的NVIDIA NeMo Megatron是一個(gè)能夠簡(jiǎn)單、高效、經(jīng)濟(jì)地訓(xùn)練和部署大型語(yǔ)言模型的框架。NeMo Megatron 專為開(kāi)發(fā)企業(yè)級(jí)應(yīng)用而設(shè)計(jì)，它所提供的端到端工作流程可用于自動(dòng)化分布式數(shù)據(jù)處理、訓(xùn)練 GPT-3 和 T5 等大規(guī)模自定義模型以及將這些模型部署到大規(guī)模推理中。

• NVIDIA BioNeMo是一個(gè)用于蛋白質(zhì)組學(xué)、小分子、DNA 和 RNA 大型語(yǔ)言模型的特定領(lǐng)域代管服務(wù)和框架。是一款基于 NVIDIA NeMo Megatron 構(gòu)建的 AI 賦能藥物研發(fā)云服務(wù)和框架，用于在超級(jí)計(jì)算規(guī)模下訓(xùn)練和部署大型生物分子 Transformer AI 模型。

大型語(yǔ)言模型所面臨的挑戰(zhàn)

擴(kuò)展和維護(hù)大型語(yǔ)言模型是一件困難且昂貴的事。

要建立一個(gè)基礎(chǔ)大型語(yǔ)言模型通常需要花費(fèi)數(shù)百萬(wàn)美元進(jìn)行數(shù)月時(shí)間的訓(xùn)練。

而且由于大型語(yǔ)言模型訓(xùn)練的巨大數(shù)據(jù)需求，開(kāi)發(fā)者和企業(yè)會(huì)發(fā)現(xiàn)想要獲得足夠多的數(shù)據(jù)集十分困難。

大型語(yǔ)言模型的規(guī)模使得想要部署它們需要具備一定的技術(shù)專長(zhǎng)，包括對(duì)深度學(xué)習(xí)、Transformer 模型以及分布式軟件和硬件的深入了解。

許多技術(shù)領(lǐng)導(dǎo)者正在努力推進(jìn)開(kāi)發(fā)工作，努力建立能夠擴(kuò)大大型語(yǔ)言模型接入范圍的資源來(lái)幫助個(gè)人和各規(guī)模企業(yè)都能從中受益。

點(diǎn)擊閱讀原文，進(jìn)一步了解大型語(yǔ)言模型。

掃描下方海報(bào)二維碼，即可免費(fèi)注冊(cè) GTC23，在 3 月 24 日 聽(tīng) OpenAI 聯(lián)合創(chuàng)始人與 NVIDIA 創(chuàng)始人的爐邊談話，將由 NVIDIA 專家主持，配中文講解和實(shí)時(shí)答疑，一起看 AI 的現(xiàn)狀和未來(lái)！