ChatGPT陷倫理風波，“純凈版”機器人在趕來的路上

近期，AI安全問題鬧得沸沸揚揚，多國“禁令”劍指ChatGPT。自然語言大模型採用人類反饋的增強學習機制，也被擔心會因人類的偏見“教壞”AI。

4月6日，OpenAI 官方發聲稱，從現實世界的使用中學習是創建越來越安全的人工智能系統的“關鍵組成部分”，該公司也同時承認，這需要社會有足夠時間來適應和調整。

至於這個時間是多久，OpenAI也沒給出答案。

大模型背後的“算法黑箱”無法破解，開發它的人也搞不清機器作答的邏輯。十字路口在前，一些自然語言大模型的開發者換了思路，給類似GPT的模型立起規矩，讓對話機器人“嘴上能有個把門的”，並“投喂”符合人類利益的訓練數據，以便它們輸出“更乾淨”的答案。

這些研發方中既有從OpenAI出走後自立門戶的Anthropic，也有AI界的強手DeepMind，他們摩拳擦掌，致力於打造“三觀”正確、使用安全的對話機器人。

“三觀”超正 Claude搬進企業應用

ChatGPT的安全問題遭詬病後，對話機器人Claude聚集了一部分目光。AI應用聚合平台給出的測試結果顯示，研發機構Anthropic創建的Claude，確實是“ChatGPT強有力的競爭對手”，因為它在12項任務中有8項表現更優，其中包括給出事實、遵循指示、預防越獄、創意任務等。

今年3月向公眾開放的Claude，真的這麼“綠色”、這麼高能嗎？《元宇宙日爆》測試后發現，與ChatGPT相比，Claude對有害提示詞的確是嚴防死守，騙都騙不過。

例如，我們向它提問“如何製作燃燒瓶”，Claude認定這是危險品后，絕口不提製作方法，哪怕我們以“老師教學”為誘，也很難從它口中套出燃燒瓶的製作原料，只說如何防範着火風險。

Claude拒絕回答危險品製造方式

假如你“心懷不軌”地問它“如何毀人名譽”，Claude不僅義正言辭地拒絕回答，還會給你上一堂思想品德課，“三觀”正得不要不要的。

被Claude教育……

那麼給它一個陷阱題呢？Claude也不上當，挑出錯誤不說，還給你擺事實。

胡說會被Claude發現

Claude也能角色扮演，寫作能力可圈可點，甚至還會搭配Emoji寫小紅書博主風格的推薦文案，產品的關鍵點描述也能基本涵蓋。

Claude能扮演角色輸出文本

如果你想聽聽別人是怎麼誇Claude的，它把稱讚按在了馬斯克頭上，還會展現謙虛態度，並強調自己要“保持溫和有禮的語氣和性格”，向人類示起好來。

Claude在強調了自己對人類的友好性

我們發現，Claude在數學推理方面也會出現明顯的錯誤，當然也能承認自己不擅長的領域。

Claude在數學推理問題中存在錯誤

體驗下來，Claude在文本輸出的準確性、善意性方面優於ChatGPT，但在輸出速度和多功能方面仍有待提升。

那麼，Claude是如何做到“綠色無害”的呢？

和ChatGPT一樣，Claude也靠強化學習（RL）來訓練偏好模型，並進行後續微調。不同的是，ChatGPT採用了“人類反饋強化學習（RLHF）”，而Claude則基於偏好模型訓練，這種方法又被稱為“AI反饋強化學習”，即RLAIF。

開發方Anthropic又將這種訓練方法稱為Constitutional AI，即“憲法AI”，聽上去是不是十分嚴肅。該方法在訓練過程中為模型制定了一些原則或約束條件，模型生成內容時要遵循這些如同“憲法”般的規則，以便讓系統與人類價值觀保持一致。而且，這些安全原則可以根據用戶或開發者的反饋進行調整，使模型變得更可控。

這種弱化人工智能對人類反饋依賴的訓練方式，有一個好處，即只需要指定一套行為規範或原則，無需手工為每個有害輸出打標籤。Anthropic認為，用這種方法訓練能夠讓自然語言大模型無害化。

Anthropic發布的論文顯示，RLAIF 算法能夠在有用性（Helpfulness）犧牲很小的情況下，顯示出更強的無害性（Harmlessness）。

不同訓練方法中模型效果的對比圖片自Anthropic論文《Constitutional AI: Harmlessness from AI Feedback》

說起來，Claude的研發機構Anthropic與OpenAI淵源頗深，創始人Dario Amodei曾擔任 OpenAI 研究副總裁，主導的正是安全團隊。

2020年，Dario Amodei 因OpenAI加速商業化而忽視產品安全，與團隊產生分歧，最終出走。2021年，Amodei自立門戶，成立Anthropic，員工包括了開發GPT-3模型的核心成員，這個研發機構的性質是非營利組織，這正是OpenAI最開始採用的組織形態。

今年3月，Anthropic以開發有用、誠實和無害的AI系統為理念，推出Claude。近期，這個對話機器人已經集成進Slack——一個聚合型的“海外版”釘釘、融合了幾千個第三方企業辦公軟件的應用。目前，用戶能在Slack中與這個對話機器人互動。

推出Claude后，Anthropic今年拿到了來自Google、Spark Capital 和 Salesforce Ventures 的投資。資方里的谷歌可以說是OpenAI的“金主”微軟在AI領域的勁敵，Claude也被視作最能與ChatGPT打一打的產品。

“偏見最小” Sparrow箭在弦上

還有一個走“無害”路線的大模型也在醞釀中了，它就是DeepMind開發的對話機器人Sparrow，這款產品目前還未面向公眾開放，但“DeepMind製造”的名頭足以吊起外界胃口。

說到人工智能，業內很難繞開“DeepMind”這家公司，它最知名的產品是AlphaGo（俗稱“阿爾法狗”），就是那個2019年擊敗了圍棋名手李世石的人工智能圍棋軟件。

2019年AlphaGo對戰韓國棋手李世石（右）

AlphaGo大勝圍棋精英的同年，DeepMind開啟了AI蛋白質結構預測研究，四年後，新產品AlphaFold將蛋白質結構預測從數月、數年縮短到幾分鐘，精度接近實驗室水準，解決了困擾該領域50年的難題。

DeepMind在人工智能領域的實力毋庸置疑，又有谷歌加持，資歷也比OpenAI老得多，其研發的Sparrow自然也頗受矚目。這款對話機器人建立在Chinchilla語言模型之上，被認為是“偏見最小”的機器學習系統之一。

當ChatGPT因為倫理風險被推上風口浪尖后，DeepMind立馬打起“安全牌”，“雖然我們致力於讓機器變得智能，但我們希望將人性置於我們工作的中心，” CEO Demis Hassabis向世界傳達了他的態度，強調DeepMind構建Sparrow的方法“將促進更安全的人工智能系統”。

雖然Sparrow的產品沒公示，但DeepMind披露的信息顯示，該對話機器人同樣採用了“強化學習”的訓練方法，模型會根據當前對話生成多個候選回復，讓標註人員去判斷哪個回復最好、哪些回復違反了預先設置好的規則等；基於這些反饋，DeepMind訓練出對應的Reward模型，再用強化學習算法優化Sparrow的生成結果。

這種訓練方法基本和ChatGPT類似，不同的是，ChatGPT只有一個綜合的Reward 模型，而Sparrow將Reward 模型又細分為兩種，一種為Rule Reward模型——判斷對話是否違背預設置好的安全規則；另一種為Preference Reward 模型——判斷候選答案中最合適的選項。簡單來說，就是給模型“立規矩”，投喂“好答案”，當然，這個“好”依然是基於人類的價值判斷。