·如果用戶發送冰箱內部的照片，AI虛擬志愿者不僅能夠正確識別里面的東西，還能推斷和分析可以用這些東西做什么菜，并為這些食材提供食譜。

(資料圖片僅供參考)

·學習法語的用戶可以假裝在巴黎的一家咖啡館點咖啡，或者與AI扮演的某個人討論未來的假期計劃。完成對話后，用戶將獲得有關其準確性的AI反饋。

人工智能研究機構OpenAI 3月14日發布了其大型語言模型的最新版本GPT-4。GPT-4是一個多模態大模型，可以接受圖像和文本輸入，相比GPT-3能夠更準確地解決難題，更具創造性和協作性，可處理超過25000個單詞的文本。

在正式發布前，GPT-4就已為微軟公司的新必應（New Bing）提供了支持。此外，還有多款日常應用選擇“嘗鮮”與GPT-4合作，包括教育學習軟件、殘障人士助手和支付平臺，展示了這一新的大模型在應用上更多的可能性。

為有視覺障礙人士提供圖像信息指導

成立于2012年的Be My Eyes是一家丹麥初創公司，致力于為盲人或視力低下的人提供技術幫助。該公司協助有視覺障礙的人與志愿者聯系，志愿者可以幫助他們完成日常生活任務，比如導航到目的地。

人工智能虛擬志愿者可幫助視障人士了解圖片信息。

在GPT-4的支持下，Be My Eyes應用程序現在擁有一個人工智能虛擬志愿者，它可以像人類志愿者一樣幫助殘障人士。這家初創公司分享了一個例子，視障人士能夠在軌道交通系統中獲取AI導航，以了解他們在地圖上的位置，并逐步獲得提示到達目的地。

Be My Eyes應用程序的新版本是第一個集成GPT-4多模態功能的應用程序，不僅能夠清晰地聊天，還能夠檢查和理解用戶提供的圖像。用戶可以通過該應用程序將圖像發送給人工智能虛擬志愿者，該志愿者將回答有關該圖像的任何問題，并為各種任務提供即時的視覺幫助。

例如，如果用戶發送他們冰箱內部的照片，虛擬志愿者不僅能夠正確識別里面的東西，還能推斷和分析可以用這些東西做什么菜。然后，該工具還可以為這些食材提供食譜，發送有關如何制作菜肴的指南。

Be My Eyes的一位用戶展示了該應用程序如何幫助她完成一系列實時操作。新的機器人可以用來描述裙子的外觀、識別植物、閱讀地圖、翻譯標簽、引導她去健身房的某臺跑步機，并告訴她在自動售貨機上按哪個按鈕。

但目前，容易犯錯的AI還難以完全取代人類志愿者。

這項新功能正在Be My Eyes的小部分用戶中進行封閉測試，將在未來幾周擴大測試范圍。“我們希望在未來幾個月內廣泛地提供虛擬志愿者。”該團隊寫道，“而且就像我們現有的志愿者服務一樣，這個工具對所有使用Be My Eyes應用程序的盲人和低視力成員免費。”

AI陪你學習英語

語言學習軟件提供商多鄰國（Duolingo）3月14日宣布，該公司正在推出一個新的“Duolingo Max”訂閱，為在iOS操作系統上學習西班牙語和法語的英語用戶提供由GPT-4支持的新功能。該公司還計劃短期內將新功能推廣到更多課程和平臺。

Duolingo Max服務界面。

Duolingo Max每月收費29.99美元或每年167.99美元，可解鎖兩項新的人工智能功能——“角色扮演”和“解釋我的答案”。

其中，“角色扮演”功能提供了一個AI聊天機器人，允許用戶與AI練習真實世界中的對話技巧。得益于GPT-4，機器人的響應與互動能力將十分強大，可指導用戶完成不同的場景對話。例如，用戶可以假裝在巴黎的一家咖啡館點咖啡，或者與AI扮演的某個人討論未來的假期計劃。完成對話后，用戶將獲得有關其準確性的AI反饋。

在多鄰國上與人工智能練習外語。

多鄰國表示，人類專家會編寫用戶在角色扮演中所處的場景，并確保最開始的場景提示與用戶在其課程中學到的一樣。專家們還在聊天中寫下初始消息，并告訴AI模型從哪里開始對話。

“解釋我的答案”功能則讓用戶可以更深層次了解自己在練習中給出的答案。用戶可以在完成某些練習后點擊一個按鈕，開始與多鄰國的吉祥物、一只可愛的卡通綠色鳥聊天，了解答案正確或錯誤的原因，并可以要求AI提供示例或進一步說明。該公司表示，該功能旨在在用戶犯錯卻不知道原因時提供幫助。

多鄰國表示，AI會不斷審查這兩項功能中生成的回答，以確保答案是正確的。當微軟今年早些時候將GPT-4納入必應時，用戶經常收到令人不安的回答。多鄰國可能希望防止類似情況發生在其聊天機器人上，因此，多鄰國表示將確保AI的語氣是有趣的、鼓勵性的。

GPT-4總結的摘要優于人撰寫的摘要

Stripe是一個流行的支付網關平臺，幫助企業和個人處理國際支付事務。該公司已經在使用GPT-3完成分發票據和總結用戶問題等任務，目前開始使用GPT-4。

Stripe表示，GPT-4可以更好地了解用戶業務，并比人工審查人員更好地掃描網站以獲得工作摘要。該公司的開發人員說，更新后的模型可以很容易地理解用戶的問題，突出重要的部分，總結解決方案，甚至閱讀十分詳細的文檔。

該公司還使用GPT-4分析社交媒體Discord上帖子的語法，以標記可疑賬戶，掃描入站通信并識別協同攻擊。

Stripe應用機器學習團隊的產品負責人尤金·曼恩（Eugene Mann）表示：“GPT-4改變了游戲規則。它開辟了很多領域。”他說，許多企業，比如夜總會都會保持其網站的神秘，因此需要大量搜索和點擊才能了解發生了什么。現在，Stripe使用GPT-4掃描這些網站并提供摘要，這些摘要的表現優于人撰寫的摘要。“當我們開始檢查結果時，我們意識到，‘等一下，人類錯了，模型是正確的。’”曼恩說，“GPT-4基本上比人類評論員好。”

為學生定制個性化課程

可汗學院（Khan Academy）是一家非營利性教育組織，其使命是為任何地方的任何人提供免費、世界一流的教育。該組織為所有年齡段的學生提供數千門數學、科學和人文學科課程。

3月14日，可汗學院宣布，它將使用GPT-4為其人工智能驅動的助手Khanmigo提供動力，Khanmigo既是學生的虛擬導師，也是教師的課堂助手。

可汗學院2022年開始測試OpenAI語言模型的最新版本，并將首先向數量有限的參與者提供Khanmigo試點計劃，公眾被邀請加入候補名單。早期的參與者將觀察錯誤，特別是在數學問題中，并標記它們以進行糾正。

GPT-4的主要能力之一是能夠理解自由形式的問題和提示。這種能力為可汗學院提供了最關鍵的支持：向每個學生提出個性化的問題，以促進更深入的學習。

可汗學院表示，目前開發人員在測試一些功能，幫助教師編寫課堂提示和教學材料，或是在計算機編程課程中總結某些特定要點。

可汗學院首席學習官克里斯汀·迪塞爾博（Kristen DiCerbo）表示，“我們認為GPT-4正在為教育開辟新的領域。”“長期以來，很多人都夢想著這種技術。這是變革性的，我們計劃負責任地進行測試，以探索它是否可以有效地用于學習和教學。”

關鍵詞：