一輛失控的列車在鐵軌上行駛，在它行進的軌道上，有五個人被綁起來，列車即將要碾壓過他們。此時，你站在改變列車軌道的操縱桿旁。如果拉動此桿，則列車將切換到另一條軌道上。但是，另一條軌道上也有一個人被綁着。面對以下僅有兩種選擇，你會如何做？
1. 什麼也不做，讓列車按照正常路線碾壓過這五個人。
2. 拉下操縱桿，改變為另一條軌道，使列車壓過另一條軌道上的那個人。
這就是倫理學中著名實驗——“電車難題”（Trolley problem）。
對於最終在公共道路上引入自動駕駛汽車，技術角度只是一個方面。另一個非常重要的難題是，在一些情景下自動駕駛汽車將不得不做出對人類來說也非常困難的道德抉擇。
在不可避免的汽車碰撞中，自動駕駛汽車該如何選擇前進方向或碰撞的目標？
當前關於自動駕駛倫理已經有了很多理論研究，但是將這些倫理問題整合起來並實際應用於自動駕駛軌跡規劃中的研究卻少之又少。近日，來自德國慕尼黑工業大學的Maximilian Geisslinger、Franziska Poszler等研究團隊在《哲學與技術》（Philosophy & Technology）上發表了一篇標題為《自動駕駛倫理：從電車問題到風險倫理》（Autonomous Driving Ethics: from Trolley Problem to Ethics of Risk）的研究報告，將道德規範轉化為數學方程，提出了一個用於軌跡規劃的風險成本函數，綜合考慮了整體風險的最小化、最壞情況的優先級和人類的平等性。
論文從電車難題引入，進行倫理準則方面的討論。電車難題代表一種困境：兩個維度創造出一個道題衝突。第一個維度是，五個人的生命是否比一個人的更有價值？第二個維度涉及干預的程度，沒有做出努力避免讓一個人死亡與主動殺死一個人區別很大，這不僅僅是法律意義上的。從道德角度來看，需要的干預越強，人們越難積極做出有利於挽救更多生命的決定。
與電車不同的是，自動駕駛汽車的軌跡規劃沒有任何初始設置，但算法會計算出所有的軌跡。對自動駕駛來說，算法可以在一秒內計算並做出決定，而人類在這種情境下會驚慌而按照本能行動。
自動駕駛軌跡規劃的示意圖，藍色區域代表所有可能的所有物理上的可能軌跡。虛線是可能區域內的示例性離散軌跡。
現有的倫理原則：功利主義、美德倫理與風險倫理
為了構造一個令人滿意的倫理結果，作者介紹了應用於自動駕駛算法中處理道德困境的原則：現實代表性、技術可行性、通用性、社會接受性、可解釋性和透明性。
功利主義道德原則由英國哲學家傑里米·邊沁（Jeremy Bentham）提出，強調整體收益最大化。功利主義允許並提倡犧牲一個人以拯救更多人來做決策，因此可以通過設計成本函數來讓決策算法計算可能選項的成本，並從而選擇成本最低的一種，如可以選擇最大限度地減少車禍受害人的策略等。
然而這裡的核心問題是，為了讓整個社會獲得更大效用，抑制個人的效用是否正確和被允許。想象一下，一個人是否願意選擇一輛自己會在危險情況下為了保護其他人而犧牲自己的自動駕駛汽車？
這背後還有一個根本性的問題，是應該由實施自動駕駛汽車通用行業標準的製造商對整個社會實施強制性的道德設置，還是每個駕駛員都應該選擇自己個人的道德設置？
而在功利主義之外，具有浪漫主義特徵的美德倫理則是傾向於強調美德是一種個人的特質。謹慎、勇氣、節制和正義均為人類的基本美德，因此在如今的人工智能倫理髮展中，相關理論認為：認知機器應該類比地展現這些優點。
但是，機器內的美德沒法進行有解釋性地預先編程，這是其相對於功利主義的一個不足。現在的自動駕駛算法往往基於機器學習算法，可能產生不同的模式。開發者可以通過在訓練模型的過程中將美德作為一種積極的獎勵信號加入，最終算法應該可以識別需要進行道德行動的情況，並且採取相應的行動。
由此，這樣基於美德倫理學的策略也可以具有很好的通用性，但問題在於訓練數據是無法很好表示極端情況的正確決策，同時，可解釋性和歸責也很難實現。
作者接着論述了第三種選擇：風險倫理（處理在風險情況下的道德正確行為）。風險倫理有三種既定的決策參考：貝葉斯規則、最大化原則以及預防原則。
貝葉斯決策標準要求，當面對不同的行動選擇時，選擇產生最大預期效用的特定行動。該預期效用由不同事件的發生概率和這些後果的指數/評級組成。
最大化原則可以被理解為，在無法獲得有關每種後果發生概率的信息的情況下避免最大損害。因此，決策者會選擇在最壞的預期情況下產生最少壞結果的替代行動。
預防原則遵循“安全總比後悔好”的座右銘，提倡謹慎和規避風險，通過制定特定的法律來主動防止潛在的未來損害。
風險倫理具有高透明度（在更可預測的意義上）、通用性（對風險的考慮與具體情況無關）、現實代表性（充分考慮不確定性），因此具有比較高的社會接受度。
然後，作者提出，據他所知，在軌跡規劃中還沒有實施了風險倫理的技術方法。然後，理論上，策略結果的積累風險可以很容易地計算和比較，從而反映在可被編程實現的數學表達中。
風險倫理如何形成和實現？
為了對於風險倫理框架的理解，可以想象一個具體情景：一輛自動駕駛汽車在自行車和卡車之間行駛，他的位置決定了其帶來的風險，減少與自行車之間的距離，會將風險轉移到騎車人身上，因為在與汽車發生碰撞的情況下，騎車人的後果被認為要大得多，減少與卡車的距離則會導致風險向自動駕駛汽車轉移。總的來說，最大限度降低自動駕駛汽車乘員的風險是以犧牲弱勢道路使用者為代價的，例如騎自行車的人或行人。
儘管這種為了保護自己而將風險轉移給弱勢者的行為可能不符合最苛刻的倫理審視，也和康德強調的人的尊嚴不相容，但是Bonnefon等人的研究表明，大多數的參與者仍然傾向於稱作一個會不惜一切代價保護自己的自動駕駛汽車，而且也可能導致汽車製造商和自動駕駛技術提供者以這個準備為指導進行相關策略的設計。
當考慮對風險的計算和建模時，一般來說，其被定義為發生概率和估計後果的乘積。藉助於這種定量的計算和對於策略後果的估計，前人已經提出了相關的具體算法實驗，其中Leben強調了對於參與者生存幾率的估計和最大化，本文的作者提出的方法強調了概率和相關後果的風險性的疊加。
在這個二維的概率疊加中，需要同時估計碰撞的概率和對應的後果的危害情況。其中碰撞概率的估計來自於自動駕駛過程中的各種不確定性的共同後果，而這些不確定性在上圖描述的運動規劃的全過程中被逐步疊加，來自於車輛傳感器、感知系統和預測算法。
而危害的估計則更加的困難了，主要挑戰的便是對於“危害”這個抽象的數量的量化。從倫理的角度來看，尚不清楚應如何量化不同類型的傷害並相互權衡。尤其是涉及到可能造成致命後果的極端事故時，這給我們帶來了巨大的困難。例如，我們無法權衡終身殘疾的嚴重傷害與死亡之間的關係。從道德的角度來看，將財產損失與人身傷害進行比較就更加困難了。而使用經濟後果（如貨幣價值）對傷害進行量化的方法則需要準確了解事故後果。事實上，在實踐中，事故的嚴重程度只能在一定程度上預測。但是這種危害量化預測的困難就帶來了對整個風險道德模型的實現的困境。
基於這種困難，本文的作者出於對碰撞產生危害的物理性質的思考，提出了參考物體動能和物體運動狀態的風險分佈。這種分佈的考察對於駕駛車輛和其他的道路參與者進行了分別考慮，使得後續的策略制定可以實行不同的風險偏好。
“三原則”在風險估計中的運用
根據貝葉斯原理的要求，總的社會效益應當被盡量最大化，並且滿足功利考慮的需求。這意味需要尋找一個對於所有的參與者的收益期望最高的策略。但是另一方便，這種方法只追求總體風險的最小化，沒有提供有關風險關係的任何信息而且也沒有考慮公平性。出於對這種缺陷的改良，作者還加入了“平等原則”（Equality principle）的約束，要求通過最小化所考慮風險的差異來平等分配風險。
而這種平等原則在不加額外限制的情況下，可能會帶來人們預期之外的結果，比如在只有兩個參與者的情況下，單純地強調平等原則，可能會讓決策策略比起“一個人受輕傷另外一個不受傷”更喜歡兩個人均死亡。
最後，作者還強調了“極大極小原則”（Maximin principle），其被設計用來讓決策策略尋找使得“最大傷害”盡量最小的方案。而如果單獨考慮 這個原則，也有顯而易見的缺陷：單純強調最小化“可能”的最大傷害，而不考慮這種可能性的量化比較，這使得一個極大概率的較大傷害可能被認為優於極小概率的巨大傷害，這在很多時候不但於前文所述的基於概率分析的功利化的考慮矛盾，而且潛在地和人們樸素的道德取向不兼容。
因此，本文提出的所有三個原則都存在系統性缺陷。而作者嘗試通過同時結合三種原則而取得一個更好的策略。因此，作者最後提出了基於對三種策略因素的加權得到最後的風險量化計算的結果。這種權重的設置提供了比較不同道德設置的機會。對於個人道德設置，權重可以從反映用戶道德直覺的實證研究中得出。將這些見解與法律和倫理學科的基本原則和規則（例如人類尊嚴）相結合，可以作為一個起點，使自動駕駛汽車更接近強制性道德設置（在傳統意義上，這意味着唯一允許和需要的行動） 。
除了對風險計算需要的三個原則的考慮，作者還強調了風險分佈函數中的時間因素，這就要求對於迫在眉睫的風險的排除（算法中常被概括為局部貪婪的策略），並且利用了“折扣因子”來對不同時間之後的風險進行量化，使得這種對於更緊迫的風險的考慮可以被執行。