如果你還沒有聽說過 ChatGPT，那么你的消息就太閉塞了。這款“病毒式”聊天機器人被用于文本生成等自然語言處理任務，它正在各地的新聞中走紅。

ChatGPT 是一種使用深度學習生成文本的自回歸語言模型。它在各個領域都能提供詳細的答案，讓用戶驚嘆不已，這些答案非常令人信服，以至于很難判斷它們是否是人類寫的。ChatGPT 建立在 OpenAI 的 GPT-3（最新版本 GPT-4 已于 3 月 14 日推出）大型語言模型（LLMs）之上，于 2022 年 11 月 30 日推出。它是最大的 LLMs 之一，可以寫出有說服力的文章和詩歌，生成可用的代碼，并從文本描述中生成圖表，而且所有這些都是在有限的、甚至沒有監督的情況下進行的。ChatGPT 給出的答案非常好，是無處不在的谷歌搜索引擎的潛在競爭對手。

大型語言模型確實非常之大，它們是在大量的文本數據上進行訓練的，這些文本數據可以達到 PB 級，并具有數十億個參數。由此產生的多層神經網絡通常大小為幾個 TB。圍繞 ChatGPT 和其他大型語言模型的炒作和媒體關注是可以理解的，它們確實是人類聰明才智非凡發展的體現。這些大型模型有時會以意外的行為讓這些模型的開發人員感到驚訝。例如，GPT-3 的答案通過在“提示”的開頭使用某些“神奇”的短語來得到改進，比如“讓我們一步一步地思考”。這些意外行為表明他們的模型非常復雜，同時缺乏可解釋性，甚至讓開發者開始思考這些模型是否已具有感知能力。

(資料圖)

大型語言模型的“幽靈”

在所有這些對大型語言模型的積極言論和炒作的同時，負責任的人工智能領域研究者也發出了一個較小的、強有力的警告。值得注意的是，在 2021 年，研究“盡責人工智能”（Responsible AI）的杰出研究員蒂米特·格布魯（Timit Gebru）發表了一篇論文，警告了許多與大型語言模型相關的道德問題，最終導致她被谷歌解雇。這些警告涵蓋了廣泛的問題：缺乏可解釋性、抄襲、隱私、偏見、模型穩健性及其對環境的影響。讓我們深入探討一下這些主題。

1. 信任和缺乏可解釋性

深度學習模型，特別是 LLM，已經變得非常龐大和不透明，甚至模型開發人員也經常無法理解為什么其模型會做出某些預測。這種可解釋性的缺乏是一個重要的問題，特別是在用戶想知道模型為什么、以及如何生成特定輸出的情況下。

我們的首席執行官克里希納·蓋德（Krishna Gade）使用 ChatGPT 讓 AI 以約翰·濟慈的風格創作了一首詩，坦率地說，我認為結果相當不錯。

蓋德正確地指出，圍繞著“模型如何得出這個輸出結果”的透明度是缺乏的。對于 LLMs 制作的作品來說，輸出所使用的數據來源缺乏透明度，這意味著 ChatGPT 提供的答案不可能被正確引用，因此用戶不可能驗證或信任其輸出。這已經導致 ChatGPT 所創建的答案在 Stack Overflow 等論壇上是被禁止使用的。

當使用 OpenAI 的嵌入模型（Embedding Model），或者在模型用于高風險決策的情況下，透明度和對模型如何得到輸出的理解變得尤為重要。例如，如果有人要使用 ChatGPT 來獲得急救說明，那么用戶需要知道答案是可靠的、準確的，并且來自值得信賴的來源。雖然存在各種事后解釋模型選擇的方法，但在部署模型時，這些解釋經常被忽略。

在假新聞和錯誤信息泛濫的時代，這種缺乏透明度和可信度的后果尤其令人不安，LLM 可能會被精心調整，以傳播錯誤信息，從而威脅人類社會。雖然 Open AI 正在研究各種方法來識別其模型的輸出，但這些“盡責人工智能”解決方案速度不夠快，而且可能也還不夠。

2. 抄襲

我們很難追溯一篇精心制作的 ChatGPT 文章的起源，這就導致了抄襲問題。但這真的是個問題嗎？筆者并不這么認為。在 ChatGPT 出現之前，學生們已經可以使用代寫服務了，而且一直有一小部分學生會作弊。但是，對于 ChatGPT 會把孩子們都變成無腦抄襲的作弊者的擔憂，一直是許多教育工作者最關心的問題，并導致一些學區禁止使用 ChatGPT。

關于抄襲可能性的討論，會使人們忽視與 LLM 相關的更大、更重要的道德問題。鑒于這個話題已經有很多人在討論了，所以我不能不提一下。

3. 隱私問題

如果大型語言模型處理了敏感數據，那么它將面臨數據隱私泄露的風險。大型語言模型的訓練集來自一系列數據，有時包括個人身份信息，比如姓名、電子郵件、電話號碼、地址、醫療信息等等，因此，這些內容都可能出現在模型的輸出結果中。雖然這對于任何用敏感數據訓練的模型來說都是一個問題，但考慮到LLM的訓練集數量之大，這個問題可能會影響很多人。

4. 偏見

如前所述，這些模型是在龐大的數據庫上進行訓練的。當數據訓練集過大時，就會變得非常難以審計，因此本身就有風險。該數據包含社會和歷史偏見，因此，如果沒有采取保障措施，在此基礎上訓練的任何模型都可能重現這些偏差。許多流行的語言模式被發現含有偏見，這可能導致偏見思想的進一步傳播，并使對某些群體的傷害持續下去。GPT-3 顯示出常見的性別刻板印象，比如將女性與家庭和外貌聯系在一起，并將她們描述為不如男性角色強大。可悲的是，它還將穆斯林與暴力聯系在一起，對含有“穆斯林”一詞的提示的回復中，有三分之二的內容提到了暴力。很可能還有更多有偏見的聯想存在，并且還沒有被發現。

網絡上充斥著帶有偏見和歧視性的不良言論，雖然 ChatGPT 有一個過濾器來試圖避免這類不良語言，但它可能不是萬無一失的。OpenAI 付錢給人工標簽師，讓他們標記出最具辱罵性和最令人不安的言論。但公司卻因此面臨著批評，因為他們每天只付 2 美元給打標簽的工人，而工人們認為自己遭受了深刻的心理傷害。

5.模型的穩健性和安全性

由于大型語言模型經過預訓練，并隨后針對特定任務進行了微調，因此它們會產生許多問題和安全風險。值得注意的是，大型語言模型缺乏提供不確定性估計的能力。在不知道模型的置信度（或不確定性）的情況下，我們很難決定什么時候信任模型的輸出，什么時候對它持保留態度。這會影響模型在對新任務進行微調時輸出良好表現的能力，也會影響其避免過度擬合的能力。可解釋的不確定性估計有可能提高模型預測的穩健性。

由于 LLM 的母模型在微調步驟之前具有通用性，所以模型安全性是一個迫在眉睫的問題。模型可能會成為單點故障和攻擊的主要目標，從而影響從原始模型派生的任何應用程序。此外，由于缺乏監督式訓練，LLM 很容易受到數據毒害，這可能導致針對特定公司、團體或個人的仇恨言論的注入。

LLM 的訓練語料庫是通過抓取互聯網上的各種語言和主題來源創建的，然而它們只是對最有可能訪問和頻繁使用互聯網的人的反映。因此，人工智能生成的語言是同質化的，通常反映的是最富有的人群和國家的做法。當 LLM 被應用于不在訓練數據中的語言（如各類小語種）時，則更有可能失敗，因此需要進行更多的研究來解決圍繞正態分布外數據的問題。

6. 環境影響和可持續性

斯特魯貝爾及其合作者在 2019 年的一篇論文中概述了 LLM 訓練生命周期的巨大碳足跡。訓練一個具有 2.13 億個參數的基于神經架構搜索的模型，估計產生的碳排放量是普通汽車壽命周期的 5 倍以上。記住，GPT-3 有 1750 億個參數，而 GPT-4 據傳有 100 萬億個參數。

現在該做什么？

任何新技術都會帶來優點和缺點。我已經概述了與 LLM 相關的許多問題，但我想強調的是，我也對這些模型為每個人帶來的新可能性和希望感到興奮。社會有責任采取適當的保障措施，明智地使用這項新技術。任何用于公共領域或進入公共領域的模型，都需要被監控、被解釋和定期審計模型偏差。

關鍵詞：