谷歌搞了個大麻煩。

2021年2月，美國人馬克在醫(yī)生的授意下，用自己的安卓手機，給兒子腫脹疼痛的生殖器拍了幾張照片，發(fā)給護士，讓對方判斷病情。之后的診斷和治療進展順利，馬克的兒子很快沒事了。

但麻煩找上馬克。那些照片，在同步上傳到谷歌相冊后，被谷歌的AI工具標記為“兒童性侵內容”。很快兒童保護組織介入，開始對事件進行調查，進一步確認了這些照片涉嫌“兒童色情”。

(資料圖)

案件被報送給當?shù)鼐健Ｒ恢芎螅烨瞄_了馬克的家門。同時谷歌徹底封禁了馬克的賬戶。

犯錯的AI

引發(fā)此次烏龍的“罪魁禍首”，是谷歌的圖像識別AI。

利用AI來預防、打擊兒童犯罪，并不是什么新鮮事。早在 2009年，微軟就曾開發(fā)過一個名為PhotoDNA的工具，來幫助追溯、阻斷兒童色情內容的傳播。

PhotoDNA 的核心原理，是一種名為“魯棒哈希”（robust hashing）的技術。一般情況下，任何一個計算機文件，經(jīng)過哈希算法，都只會得出一個唯一的“哈希值”，常被形容為“數(shù)據(jù)的指紋”。但 PhotoDNA 所采用的算法，可以得到一個更寬泛的哈希結果。

魯棒哈希用于照片的簡單原理丨圖片來源 TechCrunch

具體到應用層面，PhotoDNA 可以根據(jù)已有的一張兒童色情圖片，算出一個寬泛的哈希結果。之后，即便這張圖片被裁切、編輯，依然會保留原圖的一部分特征，對應的哈希結果也能與原圖進行匹配。用一個直觀一點的類比，就像只通過“半個”指紋的特征，就匹配到原指紋，進而追溯到主人。借此方式，科技公司就可以追溯、阻斷此類內容的傳播。

在 PhotoDNA 的基礎上，谷歌的 AI 工具更進一步，它將已知的兒童性侵內容作為樣本，進行了深度學習，不僅能通過“哈希計算”，識別已知的兒童色情內容，還能挖掘出泛化的特征，比如裸露、特定的器官、姿勢。谷歌的 AI 能直接識別一切“涉嫌兒童色情、虐待的圖像”，即便這個圖像是第一次被上傳到網(wǎng)絡。

2018 年，谷歌推出了這個 AI 工具，還把它提供給了 Facebook 等一系列公司。這項技術被視為一次重大突破，成為打擊兒童性犯罪的利器。

美國對兒童性犯罪的打擊非常嚴厲，相關聯(lián)邦法律規(guī)定，公民實體有義務檢舉兒童性犯罪的相關線索。所以，在谷歌的算法推出之后，公司內部立刻建立起一套“報送機制”，將檢測到內容的相關線索，報送到兒童保護機構。

兒童保護機構的工作也因此取得了突破。在此之前，兒童犯罪的線索，大部分依賴“電話舉報”，因為兒童犯罪常常發(fā)生在私人場所、家庭內部，想要開展調查、取證都非常困難，打擊起來也常常會力不從心。

但有了相關的 AI 工具之后，從調查到取證，難度被大大降低。根據(jù)美國國家失蹤于受虐兒童援助中心的數(shù)據(jù)，僅在 2021 年，靠著 AI 識別報送的線索，就找到了 4260 名潛在的兒童受害者。

不過，再先進的 AI 也會犯錯。無論是技術層面的 bug，還是事實層面的誤判。

針對這類“魯棒哈希算法”，不少技術人員都在嘗試“逆向攻破”它們的死角。比如通過逆向算法，生成一張與原圖類似，但又有本質不同的圖片，輸入后會被 AI 識別為與原圖的“哈希結果”一致，這就是“AI 的 bug”。

名為Ribosome的逆向方法，將PhotoDNA看作一個黑盒，用機器學習的方法攻擊哈希算法

更容易出現(xiàn)的問題，是事實層面的誤判。馬克事件里，AI 的識別并沒有錯誤（馬克拍的照片確實是他用手接觸兒子生殖器的特寫），但因為不了解事件背景，導致了烏龍發(fā)生。

不少觀點認為，即便存在偶然的烏龍，也不能否定 AI 工具對打擊兒童犯罪的積極意義。但科技公司、兒童保護組織、執(zhí)法機構，也需要建立一個更靈活的系統(tǒng)，幫助馬克這樣的無辜者。

如何糾錯？

馬克很快洗脫了嫌疑。因為案子并不復雜，他向警探提供了當晚和醫(yī)院醫(yī)生、護士溝通的記錄，證明了“照片是為了孩子求醫(yī)”之后，警方很快就撤銷了調查。

當馬克提交相關信息，希望恢復自己的谷歌賬號時，卻遭到了拒絕。AI 把照片標記為“兒童色情”后，谷歌對賬號展開進一步的調查，過程中發(fā)現(xiàn)另一段，馬克的兒子和妻子，全裸躺在床上的視頻。也被判斷為“存在兒童侵犯的嫌疑。”

打擊兒童虐待和販賣丨圖片來源 NCMEC

對于類似家庭隱私內容，幾乎所有人無法接受它們被放置在某個人工審核員的屏幕上，接受審視。人工審核效率低、成本高，還涉及復雜的隱私問題，科技公司寧愿將“審核”交給AI。

很多科技公司在用人，還是AI上“進退兩難”。

2019 年，《衛(wèi)報》就曾報道，蘋果在 Siri 的“改進計劃”里，雇傭第三方公司的數(shù)據(jù)標記員，去聽用戶語音指令的“原聲”。這項工作原本是針對 Siri 無法識別語音指令的情況，讓真人去聽過之后，補充、修正語音識別數(shù)據(jù)庫的“樣本”。但在這些“指令原聲”中，包含了很多誤觸發(fā) Siri 之后的用戶錄音，涉及大量隱私信息，比如商業(yè)交易、醫(yī)療溝通，甚至是犯罪和性行為。事件爆出后，蘋果很快叫停了相關項目。

去年秋天，蘋果也準備為 iCloud 照片系統(tǒng)部署一個與 PhotoDNA 類似的“哈希檢測算法”。但因為隱私團體的反對，計劃被無限期擱置。

馬克的烏龍，任何一個“人”聽了，都不難理解他是無辜的，所以警方很快就還了他清白。但對科技公司來說，很多時候，讓“人”去介入這些事情，不僅高成本低效率，還牽扯道德、隱私和倫理。

在復雜的現(xiàn)實世界里，人需要 AI 的幫助，AI 也需要人的糾錯。但兩者到底如何合作，依然是一道難題。

互相負責

賬號被封對于馬克來說就是災難。

他曾是忠實的谷歌全家桶用戶，被封后，郵箱、Google Fi 手機號都不能用了，幾乎與外界“斷連”，多年以來的郵件、相冊、日歷數(shù)據(jù)也全都無法取回。

馬克曾想過到法院起訴谷歌，但在咨詢律師之后，他發(fā)現(xiàn)相關的起訴費、律師費需要約 7000 美元，還不能保證勝訴。考慮之后，他放棄了這個計劃。

馬克的遭遇并非個例。《紐約時報》報道馬克遭遇的同時，還發(fā)現(xiàn)了另一名“受害者”卡西奧，他的遭遇和馬克近乎一致，也是因為拍攝兒子的私密部位，發(fā)給家庭醫(yī)生咨詢病情，賬號遭到封禁。

每年數(shù)十萬的相關報告中，可能存在幾百上千個類似的“誤傷”。AI 可以識別出兒童的私密部位，但很難識別出這到底是“性侵的前奏”還是“父母幫孩子洗澡”。

谷歌判定不了父母對兒童“該做”什么丨圖片來源 unsplash

比起恢復一個賬號，谷歌更難做的是從“公共道德”角度重新審視這些內容。因此，它直接把問題丟給 AI，AI 采取對于兒童裸露“零容忍”的政策。直到這次事件被媒體報道，谷歌仍堅持自己的做法：不會給報道中涉及的兩名無辜父親解封。

無論是學界還是技術界，在評價這一事件時，人們幾乎無一例外地肯定了 AI 工具在打擊兒童犯罪方面起到的作用，同時也都認為 AI 需要一套糾錯機制。

這個問題絕非無解，事情的關鍵依然在于各方（尤其大公司）如何主動負起責任，而不是過度依賴技術工具。

人和AI，最終需要互相負責。

關鍵詞： 兒童色情 科技公司 photodna