·“像ChatGPT,它確實沒有什么學術價值,但它就是有實際的應用價值。以前我們過于本末倒置了,總覺得AI跟做研究等同。其實研究是服務于AI,研究是個手段,不是目的,AI才是目的。”
·“原本以為我們只是差頂尖做理論研究、原創性研究的大師,但忽視了在?年研究者跟工程師之間,還有一層是用工程能力做模型的一群人,而我接下來也想在中國將這層的能力補齊。”
ChatGPT出來以后,張家興意識到,自然語言處理(NLP)大模型的范式變化了。
(資料圖片僅供參考)
作為粵港澳大灣區數字經濟研究院(IDEA研究院)的認知計算與自然語言研究中心講席科學家,張家興帶領團隊創建了中文最大的開源預訓練模型體系“封神榜”。2022年10月, IDEA封神榜團隊因提出解決零樣本分類問題的新方案——僅利用億級參數量的模型就戰勝了千億參數模型的效果,而廣受討論。
“封神榜預訓練模型體系還擁有世界上最先進的信息抽取億級參數模型,其非常復雜的結構,可以在沒有任何訓練樣本的情況下,用一句話就能進行任何信息的抽取,效果非常好。”張家興對澎湃科技表示。
然而,當ChatGPT出現后,其通用性表現比封神榜體系的模型強很多。“我們就知道范式變化了。”張家興說,“這就意味著在NLP領域,將不再需要為每類任務都專?做一個很復雜的模型結構,而通過像GPT這樣的通用模型,使用一些更先進的訓練方法就能讓其具備很強的能力。”
中國的AI發展缺了一層
在ChatGPT出現后的很?時間內,國內的反思多集中在一個問題上——為什么中國沒有出現OpenAI這樣的公司?
“其實在大家討論這個話題之前,如果我們稍微往前回想5年、10年,上一個話題就是中國為什么出不了Geoff Hinton、Yann LeCun這樣的(人工智能界)大師。以前我們焦慮于自己只是在做AI最上面的應用,而別人在提供最基礎的理論。”張家興說,“隨著我們逐漸追趕,現在世界上AI領域的論文,幾乎一半都有中國人參與。從量變到質變積累,其實相信再過十年、幾十年中國也會出現這樣的大師。但還沒等走到這一步,我們突然發現AI這個領域變天了。”
張家興指的是以OpenAI為代表的這類公司出現,聚集了一批更年輕的人,不是發明一些方法寫一篇論文占據學術研究的位置,而是集大家的力量把AI工程化。通過積累預訓練模型,不斷沉淀打磨,從塔底掀翻了整個AI產業的金字塔。
談到這一點,張家興感嘆道,“這看起來似乎是中國更擅?的路徑。中國在兩層特別強,一層是上面說的第二梯隊的?年研究者;另一層是工程師,無論在國內還是硅谷,華人工程師都非常多。原本以為我們只是差頂尖做理論研究、原創性研究的大師,但忽視了在?年研究者跟工程師之間,還有一層是用工程能力做模型的一群人,而我接下來也想在中國將這層的能力補齊。”
“像ChatGPT,它確實沒有什么學術價值,但它就是有實際的應用價值。以前我們過于本末倒置了,總覺得AI跟做研究等同。其實研究是服務于AI,研究是個手段,不是目的,AI才是目的。”張家興說。
應站在OpenAI的位置思考AI的未來
ChatGPT引起的AI熱潮并非是表面錦繡。
“我想最重要的是讓我們看到了通用人工智能(AGI,Artificial General Intelligence)路線的可能性。”AGI更具體而言,他指的是“一個聚集了各種AI能力,甚至包括自主學習能力的智能體”。
2月24日,OpenAI發布AGI路線圖。短期內,OpenAI要為AGI做好三項準備:
第一,通過快速部署AGI以積累相應應用經驗,大眾需要親身體驗這項技術的優缺點,公司和機構也需要考慮如何限制惡意行為者、避免對社會和經濟造成不良影響等問題。
第二,努力創建更加一致和可控的模型,從GPT-3到InstructGPT和ChatGPT的轉變就是例子,社會確定使用人工智能的廣泛界限,在界限內,個人用戶擁有自由裁量權。
第三,希望就三個關鍵問題展開全球對話:如何治理這些系統,如何公平分配它們產生的收益,以及如何公平共享訪問權限。
長期而言,OpenAI認為,第一個AGI只是人工智能持續發展中的一個小節點。AI的發展可能會在很?一段時間內,保持我們在過去十年中看到的進展速度。如果這是真的,世界可能會變得與今天截然不同,?險可能會非常大。“成功過渡到一個擁有超級智能的世界可能是人類歷史上最重要、最有希望,但也最可怕的項目。”OpenAI在文章的最后寫道。
最近,新的故事開始被講述,多家科技公司稱要做中國的OpenAI,類ChatGPT大模型的研發被提上重要日程。但其實,每個人都清楚,這并非一日之功。
OpenAI在GPT-3的論文中寫道,GPT-3訓練一次的費用是460萬美元,訓練時間為355個GPU年(一塊GPU運行355年的運算量),總成本據悉達到1200萬美元。由于代價高昂,論文稱出現BUG時無法再重新進行訓練。
據英偉達估算,如果用8張V100顯卡訓練GPT-3,訓練時?預計要36年;用512張V100需要將近7個月;如果擁有1024張80GB的A100,那么完整訓練GPT-3的時?可以縮減到1個月。
對這樣一波浪潮該如何反應?
在張家興看來,要追趕,更好的做法可能不是看別人做了什么去復現,而是把心態先擺平,在相同的位置去思考AI的未來在哪,尤其是要想明白AI跟研究誰是手段,誰是目的。
“如果僅以ChatGPT為目標,跟在后面復制,那也不叫超越而是跟隨。只有你站在OpenAI相同的位置思考未來,才有超越的可能性,我們拼的是下一次AGI的突破。”張家興說。
網站首頁 |網站簡介 | 關于我們 | 廣告業務 | 投稿信箱
Copyright © 2000-2020 www.fnsyft.com All Rights Reserved.
中國網絡消費網 版權所有 未經書面授權 不得復制或建立鏡像
聯系郵箱:920 891 263@qq.com
亚洲乱码中文字幕综合| 国产精品亚洲专区无码唯爱网| 亚洲人成色777777精品| 亚洲AV无码片一区二区三区| 亚洲av无码久久忘忧草| 亚洲美免无码中文字幕在线| 久久久久亚洲av无码尤物| 久久精品视频亚洲| 亚洲AV日韩AV永久无码免下载 | 亚洲人成人伊人成综合网无码| 97久久国产亚洲精品超碰热| 亚洲精品无码MV在线观看| 中文字幕精品亚洲无线码二区| 国产亚洲色婷婷久久99精品91| 国产亚洲精久久久久久无码77777| 国产精品亚洲w码日韩中文| 亚洲日韩在线中文字幕第一页| 久久亚洲精品无码播放| 国产专区一va亚洲v天堂| 亚洲区小说区激情区图片区| 久久亚洲综合色一区二区三区| 亚洲国产a级视频| 亚洲欧洲日产国码高潮αv| 在线精品亚洲一区二区三区| 亚洲精品无码国产| 亚洲精品国产成人专区| 亚洲精品电影在线| 亚洲1234区乱码| 亚洲国产精品ⅴa在线观看| 成人精品国产亚洲欧洲| 国产国拍亚洲精品福利| 亚洲国产精品VA在线看黑人| 亚洲激情在线视频| 亚洲成人免费网址| 在线综合亚洲欧洲综合网站 | MM1313亚洲精品无码久久| 亚洲人成无码网站久久99热国产| 亚洲精品你懂的在线观看| 亚洲AV日韩AV天堂久久| 亚洲成电影在线观看青青| 亚洲色无码专区一区|