在一項新的研究中，研究人員發(fā)現(xiàn)了 LLM 中某種偏見的根本原因，為更準(zhǔn)確、更可靠的 AI 系統(tǒng)鋪平了道路。

研究表明，大型語言模型（LLM）往往傾向于過分強調(diào)文檔或?qū)υ掗_頭和結(jié)尾的信息，而相對忽略中間部分。這種“位置偏差”意味著，若律師使用LLM支持的虛擬助手檢索30頁宣誓書中的某個短語，該短語位于第一頁或最后一頁時被找到的可能性會大得多。

麻省理工學(xué)院的研究人員揭示了這種現(xiàn)象背后的機制。他們構(gòu)建了一個理論框架，用以探究信息在構(gòu)成LLM基礎(chǔ)的機器學(xué)習(xí)架構(gòu)中的流動方式。研究發(fā)現(xiàn)，某些控制模型處理輸入數(shù)據(jù)方式的設(shè)計選擇可能會引發(fā)位置偏差。實驗表明，模型架構(gòu)，特別是那些影響信息在模型內(nèi)詞元間傳播方式的部分，可能會導(dǎo)致或加劇位置偏差，而訓(xùn)練數(shù)據(jù)同樣可能是造成該問題的一個因素。

除了查明位置偏差的根源外，他們的框架還可用于在未來模型設(shè)計中診斷和糾正這一問題。這有望使聊天機器人在長時間對話中更好地保持主題連貫性，讓醫(yī)療AI系統(tǒng)在處理大量患者數(shù)據(jù)時推理更加公平，也能使代碼助手更均衡地關(guān)注程序的所有部分。

“這些模型如同黑匣子，因此作為LLM用戶，您或許不會意識到位置偏差可能導(dǎo)致模型表現(xiàn)不一致。您可能僅按照任意順序向模型提供文檔，并期望其正常運行。然而，通過深入理解這些黑匣子模型的潛在機制，我們能夠針對性地解決其局限性，從而改進模型性能。”麻省理工學(xué)院數(shù)據(jù)、系統(tǒng)和社會研究所（IDSS）和信息與決策系統(tǒng)實驗室（LIDS）的研究生、該研究論文的第一作者Xinyi Wu說道。

1、分析注意力

Claude、Llama 和 GPT - 4 等 LLM（大型語言模型）由一種名為 transformer 的神經(jīng)網(wǎng)絡(luò)架構(gòu)提供支持。Transformer 架構(gòu)主要用于處理順序數(shù)據(jù)，它能夠?qū)⒕渥臃纸鉃榉Q為詞元的多個小塊，隨后通過學(xué)習(xí)這些詞元之間的關(guān)系來預(yù)測下一個單詞。由于其配備了注意力機制，這些模型在這一任務(wù)上表現(xiàn)得十分出色。注意力機制由互連的數(shù)據(jù)處理節(jié)點層構(gòu)成，它允許詞元有選擇地關(guān)注或聚焦于相關(guān)的詞元，從而更好地理解上下文。

然而，問題在于，若每個詞元都要處理 30 頁文檔中的所有其他詞元，那么計算成本將會迅速攀升，變得難以承受。鑒于此，工程師在構(gòu)建 transformer 模型時，通常會運用注意力掩蔽技術(shù)來限定一個詞元可以關(guān)注的詞元范圍。

以因果掩碼為例，它僅允許一個詞元關(guān)注其前面的詞元。除此之外，工程師還會采用位置編碼技術(shù)，以此幫助模型準(zhǔn)確把握句子中每個詞元所處的位置，進而提升模型的性能。

研究人員構(gòu)建了一個基于圖的理論框架，借此深入探究這些建模選擇（包括注意力掩碼和位置編碼）對位置偏差所產(chǎn)生的影響。研究分析發(fā)現(xiàn)，因果掩碼致使模型對輸入內(nèi)容的開頭部分存在天然的偏愛，即便數(shù)據(jù)本身并無此傾向。即使前面的詞元對于句子的整體含義作用不大，因果掩碼仍會使 transformer 模型更加關(guān)注句子的開頭部分。而且，隨著模型規(guī)模的擴大以及注意力層數(shù)的增加，這種位置偏差還會進一步加劇，因為輸入的早期部分在模型的推理過程中被更為頻繁地使用。

不過，位置編碼在這方面也發(fā)揮了一定的 “積極作用”，它能夠?qū)⒁粋€詞元與附近的詞元更緊密地聯(lián)系起來，從而在一定程度上緩解位置偏差問題，遺憾的是，這種緩解效果在多層模型中往往會遭到稀釋。

隨著模型的不斷增長，注意力機制的額外層級所引入的偏差會被逐漸放大，原因在于輸入的早期部分在模型的推理過程中被更為頻繁地使用。此外，位置編碼技術(shù)通過將單詞與其附近的單詞緊密關(guān)聯(lián)，能夠?qū)⒛Ｐ偷淖⒁饬χ匦乱龑?dǎo)至正確的位置，進而減輕位置偏差，但這一效果在擁有眾多注意力層的模型中可能會被削弱。需要指出的是，這些設(shè)計選擇僅僅是導(dǎo)致位置偏差的原因之一，部分位置偏差或許還源自模型用于學(xué)習(xí)如何確定序列中單詞優(yōu)先級的訓(xùn)練數(shù)據(jù)。

“假如你知道你的數(shù)據(jù)在某種程度上存在偏差，那么除了對建模選擇進行調(diào)整之外，你還應(yīng)當(dāng)對模型進行微調(diào)?！盬u 表示。

2、實驗驗證：U形模式下的“迷失在中間”

在建立理論框架后，研究人員展開了實驗。實驗中，他們系統(tǒng)性地改變正確答案在文本序列中的位置，以完成信息檢索任務(wù)。

實驗揭示了一種 “迷失在中間” 現(xiàn)象，即檢索精度呈現(xiàn)出 U 形模式。當(dāng)正確答案位于序列開頭時，模型性能最佳；越接近序列中間，性能下降得越顯著；而當(dāng)正確答案接近序列末尾時，性能又會有所回升。

總體而言，他們的研究指出，采用不同的掩碼技術(shù)、減少注意力機制的額外層級或有針對性地運用位置編碼，能夠降低位置偏差，進而提升模型的準(zhǔn)確性。

通過理論分析和實驗探究，研究人員展現(xiàn)了模型設(shè)計選擇帶來的影響，凸顯了在高風(fēng)險應(yīng)用里把握模型有效性的重要性，并且他們打算繼續(xù)深入研究位置編碼及相關(guān)策略，進一步挖掘位置偏差的利用潛力。斯坦福大學(xué)教授 Amin Saberi 對團隊在理解 Transformer 注意力機制上取得的成果予以高度評價，認(rèn)為該項工作不僅數(shù)學(xué)推導(dǎo)清晰嚴(yán)謹(jǐn)，而且對實際問題有著深刻洞察。

3、如何減少LLM在處理信息時的位置偏差？

• 改變注意力掩蔽技術(shù)

調(diào)整因果掩碼等注意力掩蔽方式，避免模型對開頭信息的過度偏重。或者采用其他先進的注意力掩蔽策略，讓模型在關(guān)注前后文時更加均衡。

優(yōu)化位置編碼策略

改進位置編碼方法，使其能更有效地將單詞與附近單詞聯(lián)系起來，幫助模型準(zhǔn)確把握每個位置信息的重要性，從而減輕位置偏差。

• 調(diào)整模型架構(gòu)

從注意力機制中刪除不必要的層，或者重新設(shè)計模型架構(gòu)，減少因?qū)訑?shù)過多導(dǎo)致的位置偏差放大效應(yīng)。

微調(diào)模型

如果知道訓(xùn)練數(shù)據(jù)存在偏差，除了調(diào)整建模選擇外，對模型進行針對性的微調(diào)，以糾正數(shù)據(jù)中可能引起的位置偏差。

平衡訓(xùn)練數(shù)據(jù)

確保訓(xùn)練數(shù)據(jù)的分布和結(jié)構(gòu)合理，避免因數(shù)據(jù)本身的偏差導(dǎo)致模型學(xué)習(xí)到不均衡的位置信息權(quán)重。

• 數(shù)據(jù)增強

通過數(shù)據(jù)增強技術(shù)，增加訓(xùn)練數(shù)據(jù)樣式的多樣性，讓模型接觸到更多不同位置信息重要的樣本，從而提高模型對位置信息處理的魯棒性。

• 針對性的損失函數(shù)調(diào)整

在訓(xùn)練過程中，使用能夠平衡不同位置信息重要性的損失函數(shù)，讓模型在學(xué)習(xí)時更加關(guān)注中間位置的信息，減輕位置偏差。

本文轉(zhuǎn)自：善思開悟科技
內(nèi)容經(jīng)過翻譯、整理，核心觀點來自https://news.mit.edu/2025/unpacking-large-language-model-bias-0617，作者Adam Zewe