如果你還沒(méi)有聽(tīng)說(shuō)過(guò) ChatGPT，那么你的消息就太閉塞了。這款“病毒式”聊天機(jī)器人被用于文本生成等自然語(yǔ)言處理任務(wù)，它正在各地的新聞中走紅。

ChatGPT 是一種使用深度學(xué)習(xí)生成文本的自回歸語(yǔ)言模型。它在各個(gè)領(lǐng)域都能提供詳細(xì)的答案，讓用戶(hù)驚嘆不已，這些答案非常令人信服，以至于很難判斷它們是否是人類(lèi)寫(xiě)的。ChatGPT 建立在 OpenAI 的 GPT-3（最新版本 GPT-4 已于 3 月 14 日推出）大型語(yǔ)言模型（LLMs）之上，于 2022 年 11 月 30 日推出。它是最大的 LLMs 之一，可以寫(xiě)出有說(shuō)服力的文章和詩(shī)歌，生成可用的代碼，并從文本描述中生成圖表，而且所有這些都是在有限的、甚至沒(méi)有監(jiān)督的情況下進(jìn)行的。ChatGPT 給出的答案非常好，是無(wú)處不在的谷歌搜索引擎的潛在競(jìng)爭(zhēng)對(duì)手。

大型語(yǔ)言模型確實(shí)非常之大，它們是在大量的文本數(shù)據(jù)上進(jìn)行訓(xùn)練的，這些文本數(shù)據(jù)可以達(dá)到 PB 級(jí)，并具有數(shù)十億個(gè)參數(shù)。由此產(chǎn)生的多層神經(jīng)網(wǎng)絡(luò)通常大小為幾個(gè) TB。圍繞 ChatGPT 和其他大型語(yǔ)言模型的炒作和媒體關(guān)注是可以理解的，它們確實(shí)是人類(lèi)聰明才智非凡發(fā)展的體現(xiàn)。這些大型模型有時(shí)會(huì)以意外的行為讓這些模型的開(kāi)發(fā)人員感到驚訝。例如，GPT-3 的答案通過(guò)在“提示”的開(kāi)頭使用某些“神奇”的短語(yǔ)來(lái)得到改進(jìn)，比如“讓我們一步一步地思考”。這些意外行為表明他們的模型非常復(fù)雜，同時(shí)缺乏可解釋性，甚至讓開(kāi)發(fā)者開(kāi)始思考這些模型是否已具有感知能力。

(資料圖)

大型語(yǔ)言模型的“幽靈”

在所有這些對(duì)大型語(yǔ)言模型的積極言論和炒作的同時(shí)，負(fù)責(zé)任的人工智能領(lǐng)域研究者也發(fā)出了一個(gè)較小的、強(qiáng)有力的警告。值得注意的是，在 2021 年，研究“盡責(zé)人工智能”（Responsible AI）的杰出研究員蒂米特·格布魯（Timit Gebru）發(fā)表了一篇論文，警告了許多與大型語(yǔ)言模型相關(guān)的道德問(wèn)題，最終導(dǎo)致她被谷歌解雇。這些警告涵蓋了廣泛的問(wèn)題：缺乏可解釋性、抄襲、隱私、偏見(jiàn)、模型穩(wěn)健性及其對(duì)環(huán)境的影響。讓我們深入探討一下這些主題。

1. 信任和缺乏可解釋性

深度學(xué)習(xí)模型，特別是 LLM，已經(jīng)變得非常龐大和不透明，甚至模型開(kāi)發(fā)人員也經(jīng)常無(wú)法理解為什么其模型會(huì)做出某些預(yù)測(cè)。這種可解釋性的缺乏是一個(gè)重要的問(wèn)題，特別是在用戶(hù)想知道模型為什么、以及如何生成特定輸出的情況下。

我們的首席執(zhí)行官克里希納·蓋德（Krishna Gade）使用 ChatGPT 讓 AI 以約翰·濟(jì)慈的風(fēng)格創(chuàng)作了一首詩(shī)，坦率地說(shuō)，我認(rèn)為結(jié)果相當(dāng)不錯(cuò)。

蓋德正確地指出，圍繞著“模型如何得出這個(gè)輸出結(jié)果”的透明度是缺乏的。對(duì)于 LLMs 制作的作品來(lái)說(shuō)，輸出所使用的數(shù)據(jù)來(lái)源缺乏透明度，這意味著 ChatGPT 提供的答案不可能被正確引用，因此用戶(hù)不可能驗(yàn)證或信任其輸出。這已經(jīng)導(dǎo)致 ChatGPT 所創(chuàng)建的答案在 Stack Overflow 等論壇上是被禁止使用的。

當(dāng)使用 OpenAI 的嵌入模型（Embedding Model），或者在模型用于高風(fēng)險(xiǎn)決策的情況下，透明度和對(duì)模型如何得到輸出的理解變得尤為重要。例如，如果有人要使用 ChatGPT 來(lái)獲得急救說(shuō)明，那么用戶(hù)需要知道答案是可靠的、準(zhǔn)確的，并且來(lái)自值得信賴(lài)的來(lái)源。雖然存在各種事后解釋模型選擇的方法，但在部署模型時(shí)，這些解釋經(jīng)常被忽略。

在假新聞和錯(cuò)誤信息泛濫的時(shí)代，這種缺乏透明度和可信度的后果尤其令人不安，LLM 可能會(huì)被精心調(diào)整，以傳播錯(cuò)誤信息，從而威脅人類(lèi)社會(huì)。雖然 Open AI 正在研究各種方法來(lái)識(shí)別其模型的輸出，但這些“盡責(zé)人工智能”解決方案速度不夠快，而且可能也還不夠。

2. 抄襲

我們很難追溯一篇精心制作的 ChatGPT 文章的起源，這就導(dǎo)致了抄襲問(wèn)題。但這真的是個(gè)問(wèn)題嗎？筆者并不這么認(rèn)為。在 ChatGPT 出現(xiàn)之前，學(xué)生們已經(jīng)可以使用代寫(xiě)服務(wù)了，而且一直有一小部分學(xué)生會(huì)作弊。但是，對(duì)于 ChatGPT 會(huì)把孩子們都變成無(wú)腦抄襲的作弊者的擔(dān)憂，一直是許多教育工作者最關(guān)心的問(wèn)題，并導(dǎo)致一些學(xué)區(qū)禁止使用 ChatGPT。

關(guān)于抄襲可能性的討論，會(huì)使人們忽視與 LLM 相關(guān)的更大、更重要的道德問(wèn)題。鑒于這個(gè)話題已經(jīng)有很多人在討論了，所以我不能不提一下。

3. 隱私問(wèn)題

如果大型語(yǔ)言模型處理了敏感數(shù)據(jù)，那么它將面臨數(shù)據(jù)隱私泄露的風(fēng)險(xiǎn)。大型語(yǔ)言模型的訓(xùn)練集來(lái)自一系列數(shù)據(jù)，有時(shí)包括個(gè)人身份信息，比如姓名、電子郵件、電話號(hào)碼、地址、醫(yī)療信息等等，因此，這些內(nèi)容都可能出現(xiàn)在模型的輸出結(jié)果中。雖然這對(duì)于任何用敏感數(shù)據(jù)訓(xùn)練的模型來(lái)說(shuō)都是一個(gè)問(wèn)題，但考慮到LLM的訓(xùn)練集數(shù)量之大，這個(gè)問(wèn)題可能會(huì)影響很多人。

4. 偏見(jiàn)

如前所述，這些模型是在龐大的數(shù)據(jù)庫(kù)上進(jìn)行訓(xùn)練的。當(dāng)數(shù)據(jù)訓(xùn)練集過(guò)大時(shí)，就會(huì)變得非常難以審計(jì)，因此本身就有風(fēng)險(xiǎn)。該數(shù)據(jù)包含社會(huì)和歷史偏見(jiàn)，因此，如果沒(méi)有采取保障措施，在此基礎(chǔ)上訓(xùn)練的任何模型都可能重現(xiàn)這些偏差。許多流行的語(yǔ)言模式被發(fā)現(xiàn)含有偏見(jiàn)，這可能導(dǎo)致偏見(jiàn)思想的進(jìn)一步傳播，并使對(duì)某些群體的傷害持續(xù)下去。GPT-3 顯示出常見(jiàn)的性別刻板印象，比如將女性與家庭和外貌聯(lián)系在一起，并將她們描述為不如男性角色強(qiáng)大。可悲的是，它還將穆斯林與暴力聯(lián)系在一起，對(duì)含有“穆斯林”一詞的提示的回復(fù)中，有三分之二的內(nèi)容提到了暴力。很可能還有更多有偏見(jiàn)的聯(lián)想存在，并且還沒(méi)有被發(fā)現(xiàn)。

網(wǎng)絡(luò)上充斥著帶有偏見(jiàn)和歧視性的不良言論，雖然 ChatGPT 有一個(gè)過(guò)濾器來(lái)試圖避免這類(lèi)不良語(yǔ)言，但它可能不是萬(wàn)無(wú)一失的。OpenAI 付錢(qián)給人工標(biāo)簽師，讓他們標(biāo)記出最具辱罵性和最令人不安的言論。但公司卻因此面臨著批評(píng)，因?yàn)樗麄兠刻熘桓?2 美元給打標(biāo)簽的工人，而工人們認(rèn)為自己遭受了深刻的心理傷害。

5.模型的穩(wěn)健性和安全性

由于大型語(yǔ)言模型經(jīng)過(guò)預(yù)訓(xùn)練，并隨后針對(duì)特定任務(wù)進(jìn)行了微調(diào)，因此它們會(huì)產(chǎn)生許多問(wèn)題和安全風(fēng)險(xiǎn)。值得注意的是，大型語(yǔ)言模型缺乏提供不確定性估計(jì)的能力。在不知道模型的置信度（或不確定性）的情況下，我們很難決定什么時(shí)候信任模型的輸出，什么時(shí)候?qū)λ直Ａ魬B(tài)度。這會(huì)影響模型在對(duì)新任務(wù)進(jìn)行微調(diào)時(shí)輸出良好表現(xiàn)的能力，也會(huì)影響其避免過(guò)度擬合的能力?？山忉尩牟淮_定性估計(jì)有可能提高模型預(yù)測(cè)的穩(wěn)健性。

由于 LLM 的母模型在微調(diào)步驟之前具有通用性，所以模型安全性是一個(gè)迫在眉睫的問(wèn)題。模型可能會(huì)成為單點(diǎn)故障和攻擊的主要目標(biāo)，從而影響從原始模型派生的任何應(yīng)用程序。此外，由于缺乏監(jiān)督式訓(xùn)練，LLM 很容易受到數(shù)據(jù)毒害，這可能導(dǎo)致針對(duì)特定公司、團(tuán)體或個(gè)人的仇恨言論的注入。

LLM 的訓(xùn)練語(yǔ)料庫(kù)是通過(guò)抓取互聯(lián)網(wǎng)上的各種語(yǔ)言和主題來(lái)源創(chuàng)建的，然而它們只是對(duì)最有可能訪問(wèn)和頻繁使用互聯(lián)網(wǎng)的人的反映。因此，人工智能生成的語(yǔ)言是同質(zhì)化的，通常反映的是最富有的人群和國(guó)家的做法。當(dāng) LLM 被應(yīng)用于不在訓(xùn)練數(shù)據(jù)中的語(yǔ)言（如各類(lèi)小語(yǔ)種）時(shí)，則更有可能失敗，因此需要進(jìn)行更多的研究來(lái)解決圍繞正態(tài)分布外數(shù)據(jù)的問(wèn)題。

6. 環(huán)境影響和可持續(xù)性

斯特魯貝爾及其合作者在 2019 年的一篇論文中概述了 LLM 訓(xùn)練生命周期的巨大碳足跡。訓(xùn)練一個(gè)具有 2.13 億個(gè)參數(shù)的基于神經(jīng)架構(gòu)搜索的模型，估計(jì)產(chǎn)生的碳排放量是普通汽車(chē)壽命周期的 5 倍以上。記住，GPT-3 有 1750 億個(gè)參數(shù)，而 GPT-4 據(jù)傳有 100 萬(wàn)億個(gè)參數(shù)。

現(xiàn)在該做什么？

任何新技術(shù)都會(huì)帶來(lái)優(yōu)點(diǎn)和缺點(diǎn)。我已經(jīng)概述了與 LLM 相關(guān)的許多問(wèn)題，但我想強(qiáng)調(diào)的是，我也對(duì)這些模型為每個(gè)人帶來(lái)的新可能性和希望感到興奮。社會(huì)有責(zé)任采取適當(dāng)?shù)谋Ｕ洗胧髦堑厥褂眠@項(xiàng)新技術(shù)。任何用于公共領(lǐng)域或進(jìn)入公共領(lǐng)域的模型，都需要被監(jiān)控、被解釋和定期審計(jì)模型偏差。

關(guān)鍵詞：