OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

整理 | 屠敏 鄭麗媛

出品 | CSDN(ID:CSDNnews)

「亂花漸欲迷人眼」,新的一天里,OpenAI 再次丟出“王炸”:ChatGPT 推出插件功能,既能聯網,也能開啟搜索,還能執行代碼和運行計算……

一招下來,不僅把翻書、打開計算器的力都給省了,現如今還能用 ChatGPT 直接獲得搜索引擎提供最新消息的體驗。

從 OpenAI 推出的網絡瀏覽器、代碼解釋器到第三方工具

OpenAI 表示,“插件是專門為語言模型設計的工具,以安全為核心原則,並幫助 ChatGPT 訪問最新的信息,運行計算,或使用第三方服務。”

具體來看,其推出的插件範圍包括 WolframAlpha、OpenTable、Slack 等第三方工具,以及官方推出的網絡瀏覽器插件和代碼解釋器。

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

基於這些,普通用戶也能在 ChatGPT 界面內生成代碼、運行代碼、上傳和下載從 csv 數據到圖像的文件,並評估輸出結果。

除此之外,OpenAI 還開放了知識庫檢索插件的代碼(https://github.com/openai/chatgpt-retrieval-plugin)。

網絡瀏覽器

ChatGPT 的爆火出圈,在於它幾乎“無所不能”:編代碼、寫策劃、出小說、當客服……但作為一個基於歷史數據的語言模型,ChatGPT 有個一直被詬病的問題:其訓練數據截止於 2021 年 9 月,對於更新的信息數據它無法準確回答。

而今天,這道”封印“終於解除了——OpenAI 推出了網絡瀏覽器插件,即 ChatGPT 可以聯網了!

“受到過去工作的啟發(包括我們自己的 WebGPT,以及 GopherCite、BlenderBot2、LaMDA2 和其他),現在我們允許語言模型從互聯網上讀取信息,嚴格擴大了其討論內容範圍,超越了訓練語料庫,可獲得當天的最新信息。”

OpenAI 展示了一個例子,通過網絡瀏覽器插件,ChatGPT 已可檢索今年最新的奧斯卡信息:

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

根據 OpenAI 介紹,網絡瀏覽器會調用 New Bing 的搜索 API 從網上檢索內容,因此繼承了微軟在安全方面的大量工作:(1)信息來源的可靠性和真實性;(2)防止檢索有問題內容的 ”安全模式“。網絡瀏覽器可顯示訪問過的網站,並在 ChatGPT 的回復中引用其來源。

此外,OpenAI 明確指出該插件僅限於檢索信息,不包括表單提交等”事務性“操作。它還將在獨立服務器中運行,因此 ChatGPT 的瀏覽活動與其基礎設施是區分開來的。

代碼解釋器(Code Interpreter)

「可以使用 Python處理上傳和下載的一個實驗性的 ChatGPT 模型」,這是 OpenAI 對自家最新推出代碼解釋器的介紹。

簡單來看,OpenAI 提供了一個在沙盒、防火牆執行環境中提供工作 Python  解釋器,以及一些臨時磁盤空間。由代碼解釋器插件運行的代碼在一個持久的會話中進行評估,該會話在聊天對話期間是有效的(即有上線,會超時),後續的調用可以建立在彼此之上。當前,這一功能支持將文件上傳到當前的對話工作區,也能下載工作結果。

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

除了生成代碼,代碼解釋器(CI)還支持的功能有:

  • 解決數學問題,包括定量和定性的數學問題
  • 進行數據分析和可視化
  • 在不同格式之間轉換文件 

另外,OpenAI 也表示,正在邀請用戶嘗試代碼解釋器,發現其他有用的功能。

為此,國外用戶 Andrew Mayne 嘗試發現,代碼解釋器還可以分析輸出並在另一個函數中使用它。這意味着你可以把不同部分的代碼串起來,把一個部分的輸出變成另一部分的輸入。

他通過讓 CI 使用一個算法來生成一個迷宮,將迷宮轉換成塊,使用一個算法來尋找出口,使其看起來像吃豆人,然後生成一個 GIF。

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

以前,當開發者使用 ChatGPT 來創建代碼時,其中會涉及到把輸出結果放到另一個環境中來測試。現在你可以在 ChatGPT 內做很多開發,且不需要離開用戶界面。可謂極大地提高了開發者的編程效率。

通過 Andrew Mayne 的一些實測,我們不妨一起見證一下代碼解釋器的強大之處:

使用 OpenCV 進行人臉查找

使用 OpenCV 和一個簡單的人臉搜索算法(Haar Cascade Classifier),CI 能夠創建一個函數,在這張圖片中找到人臉:

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

行星軌道

使用 Matplotlib 庫,能夠讓 ChatGPT 模擬內行星的軌道並將其保存為 gif 圖片。

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

創建機器學習模型

雖然 ChatGPT 不能在 CI 中加載任何機器學習庫(目前),但我們可以使用 n-grams 進行一些基本的統計文本生成。在這個示例中,Andrew Mayne 給了它一本書名,要求它創建一個預測算法,然後預測文本序列中的下一個詞。其結果不會很快讓 GPT-4 擔心,但還是很有趣。

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!
OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

繪圖

要求 ChatGPT 畫一隻貓,它創造了類似貓的東西。

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

畫一隻帶着藍色的高帽和嘴裡有煙斗的貓。

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

檢索

OpenAI 開源了一個 ChatGPT 檢索插件(https://github.com/openai/chatgpt-retrieval-plugin),這個檢索插件允許 ChatGPT 搜索一個矢量數據庫的內容,比如從(Milvus、Pinecone、Qdrant、Redis、Weaviate 或者 Zilliz)作為索引搜索,並將最佳結果添加到 ChatGPT 會話中,當然前提是這些數據庫內容獲得了個人或組織的許可。

這樣開發者可以在檢索插件中添加他們被授權使用的內容,並通過自然語言提問或表達需求,從其數據源(如文件、註釋、電子郵件或公共文檔)獲取最相關的文檔片段。

第三方插件

對於第三方插件,OpenAI 表示通過候選名單的開發人員可自行為 ChatGPT 構建插件,並給出了相關步驟:

1、建立一個你希望語言模型調用的端點 API(可以是新 API、現有 API 或專門為 LLM 設計的現有 API 的包裝器)。

2、創建一個記錄 API 的 OpenAPI 規範,以及一個鏈接到 OpenAPI 規範並包括一些插件特定元數據的清單文件。

在 chat.openai.com 上開始對話時,用戶可選擇他們希望啟用的第三方插件。關於啟用插件的文檔會作為對話內容的一部分顯示給語言模型,使模型能根據需要調用的插件 API 來實現功能。

目前,ChatGPT 已官宣了第一批第三方插件,主要由 Expedia,FiscalNote,Instacart,KAYAK,Klarna,Milo,OpenTable,Shopify,Slack,Speak,Wolfram 和 Zapier 創建。

其中,計算知識引擎 Wolfram|Alpha 方面興奮表示:”雖然還處於早期階段,但這已經非常令人印象深刻——人們可以開始看到我們所謂的‘ChatGPT + Wolfram’是多麼驚人地強大(甚至可能是革命性的)。”

例如,上個月問 ChatGPT 土耳其牲畜的數量時,它只會編造一個合理但錯誤的數據。而如今在調用了 Wolfram 插件后,ChatGPT 可以給出一個“很好且權威”的答案,並能將其可視化:

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

現在就能用?

基於自由的插件和第三方服務,再也不用擔心 ChatGPT 胡說八道了。

OpenAI 對此也在安全與風險維度着重強調了這一點,通過整合對外部數據的明確訪問——例如網上的最新信息、基於代碼的計算或自定義插件檢索的信息–語言模型可以通過基於證據的參考來加強其回答的質量。

這些參考資料不僅可以提高模型的效用,而且還可以使用戶評估模型輸出的可信度,並反覆檢查其準確性,從而有可能減輕與過度依賴有關的風險。

那麼對於開發者及用戶層面而言,什麼時候能夠用上?

其實自 ChatGPT、Bard、新 Bing、文心一言等大模型工具與產品發布以來,想必很多用戶最怕簡單的一個單詞就是“waitlist”,不出所料,這一次也毫不例外(https://openai.com/blog/chatgpt-plugins)。

OpenAI 再丟“王炸”:ChatGPT “封印”解除,能聯網、搜索了!

OpenAI 表示,目前只有一小部分用戶(優先少數開發者和 ChatGPT Plus 用戶)可以開始使用插件功能,其計劃在了解到更多信息后,逐步推出更大規模的訪問(針對插件開發者、ChatGPT 用戶,以及在 alpha 期之後,希望將插件整合到他們產品中的 API 用戶)。

參考資料:

https://openai.com/blog/chatgpt-plugins

ChatGPT Gets Its “Wolfram Superpowers”!

ChatGPT + Code Interpreter = Magic

本文鏈接:https://www.8btc.com/article/6810784

轉載請註明文章出處

(0)
上一篇 2023-03-28 23:44
下一篇 2023-03-29 02:43

相关推荐