「我們正打算把這個傢伙設計為老年人專用的廚房助手，居住在人們家裡。他的綽號是Spat，是英文鍋鏟的簡寫。根據預設程序，他能夠做出大約1 200種飯菜。」我兒子理查德停頓了一下，微笑著看著我說，「沒錯，他也會做培根。酥脆的或不酥脆的，甚至是大豆培根。」
我皺皺眉頭：「還有大豆培根？這有什麼意義嗎？那不就是三文魚顏色的豆腐嗎？」
理查德聳了聳肩，寬大的肩膀把他的白大褂都給提起來了。他最近蓄了鬍子，平時一頭亂糟糟的金髮也修整得乾淨整齊。他是個長相英俊的孩子。「每個人口味不一樣。我承認這是個很奇怪的安慰劑或替代品。但素食主義市場非常巨大，Spat要迎合每個人的口味。」在面前的一個全玻璃廚房裡，站著一個5英尺高的機器人，理查德衝著它點了點頭。Spat卡通似的外表看起來很友好，梨形的身體讓人想起胖乎乎、和藹可親的大廚形象。這樣的廚房在試驗區一共有6個，理查德和他在「道德聯盟」（Moralign）的同事負責把人類價值觀協議裝入機器人。
隨著2015年人工智能的快速發展，程序員們意識到有必要為驅動機器的算法建立統一的道德準則。但是，要創建這些準則卻是一大挑戰。人工智能領域廣闊無邊，包含了眾多互不相關的領域。學術界在有關意識與深度學習方面的研究取得了突破，得到了外部企業的研發預算支持。很多時候，這些專家學者不清楚自己的想法將會如何被轉化成消費產品，這讓道德標準根本無法實施。同樣，這些產品一旦被開發出來，就會轉交到律師手裡，由律師們奮力在這個機器人法律尚為空白的社會中建立標準。雖然從律師行業來看，這是一個激動人心的時代，但這同時也是個令人生畏的時代——21世紀之前，所有現存法律都是由人撰寫的，也都是為人而撰寫的。由於技術的進步速度讓監管部門望塵莫及，這也意味著現在的大多數法律都會被視作對創新的限制。
2017年，道德聯盟公司成立，為的是從新的角度解決人工智能行業的道德標準問題。道德聯盟不要求每一家人工智能製造商僱用道德專家或律師，去遵守尚未創造出來的規章制度，相反，它提出了另一種解決方案：我們將為現有的機器輸入人類價值觀程序，並在產品面向大眾推廣之前對之進行倫理測試。這就意味著道德聯盟有能力實現其人類道德軟件的重複生產，並且依據市場測試建立統一的行業標準。這家公司將承擔兩個角色：消費者保護機構和全世界頂級人工智能生產商的研發實驗室。
最初，道德聯盟擁有22名僱員，有數據科學家、神經系統科學家、數據程序員、社會學家、營銷人員及演員。就像醫務人員培訓用的演員一樣，道德聯盟公司的演員會與人工智能企業合作編寫劇本，以模仿可能購買其產品的用戶的生活場景。然後，這些演員會在道德聯盟實驗室裡即興演出使用人工智能產品的常見場景。這就使裝有無數傳感器的自動化機器觀察人類工作、居家或遊戲時的情景。剛開始時，道德聯盟還租借了公寓和辦公室，以便測試機器人在這些演出場景下的表現。現在，該公司在寬敞的倉庫裡構建了一系列場景，猶如好萊塢電影製片廠的露天影棚。
理查德就負責這個表演項目。他從擔任道德聯盟的演員起步，大學畢業後，他參加了該公司的即興表演劇團面試。當時，一個朋友的父親向公司的一位創始人舉薦了他。雖然有時候演員們會有具體的台本，提示他們包括語言和測試產品所具有的屬性等信息，但在很多時候，他們只有簡單的場景和人物描述可供參考。在理查德的那次面試中，公司提供了一名患有創傷後精神緊張性障礙（PTSD）的退伍老兵的相關案例材料。國會為一家專門做深度學習業務的麻省理工龍頭公司提供資金，以開發能夠幫助士兵在戰後重新適應日常生活的機器人助手。該公司將來會與道德聯盟合作，使用其道德協議，所以這正是讓理查德大顯身手的好時機。
我幫助理查德為面試排練。這真的非常有趣，因為我曾是一名專業演員。我們觀看了很多部有關戰爭和PTSD的電影、紀錄片，還和我的一些軟件開發員、軍事技術員朋友吃飯。理查德像海綿一樣吸收著一切。當他為道德聯盟團隊演出時，甚至我這個當父親的都忘了他是我兒子。他在我們面前變成了另外一個人，一個真實的人。所有應聘者都在那種警匪片裡才有的雙向玻璃後面接受面試，因為在道德聯盟的員工和客戶觀看他們的演出時，他們也要保持舒適自然。如果理查德能看到我觀看他面試時的反應的話，我那驕傲的淚水或許會讓他感到尷尬。
理查德不僅演技好，還善於接待客戶。無論是呆板的程序員，還是首席營銷官、專利律師，他都能與之輕鬆溝通。他具有極高的情商，能讓每一個跟他說話的人都感到舒服，感覺得到了聆聽。這種同理心有助於道德聯盟的關鍵倫理協議與標準實現更深層的細膩與精準，因而也成了公司要求理查德領導整個表演項目的理由。他現今的頭銜是同理心與互動性副總裁，我一有機會就這樣稱呼他。
我敲敲玻璃，機器人Spat往我們這個方向看過來。
「爸爸，」理查德抓住我的手說，「別敲。這不是動物園。我們不應該打攪他的。」
「對不起。」雖然我知道Spat不可能看到我們，但我還是要竭力遏制自己揮手的念頭。「今天我們要對這個傢伙做什麼測試？」
理查德低下頭，在平板上點擊了幾下。「我們要讓他經歷一下一個廚房助手機器人通常會遇到的一些常見刺激因素。」
我聽到煤氣爐「卡嗒」被打開的聲音從頭頂的揚聲器裡傳來。Spat伸手拿出來一個煎鍋，放在爐火上。「他要做什麼？」
「泰式炒雞，」理查德說道，「Spat是由美膳雅廚具品牌設計的，他們根據人們的預算和食物偏好，完善了許多飲食算法。他們僱用我們植入人類價值觀程序，以便能在聖誕節前把這款最新產品運到人們家裡。」
「你覺得你們能那麼快就把他安裝好並開始運行嗎？」我問道，「現在都已經6月了。」
「應該可以。Spat的操作系統是可以和IRL兼容的，所以整個進程就快多了。」
「IRL？」我疑惑不解地問道，「在現實生活中的意思？」
「不是，」理查德說，「它指的是逆向強化學習。是由加州大學伯克利分校的斯圖爾特·拉塞爾創造出來的。這跟阿西莫夫的機器人學原則所定義的一套道德不同——」
「一套故意虛構的道德。」我插嘴道。
「一套故意虛構的道德，沒錯，謝謝你，爸爸，」理查德點頭表示贊同，「與其給機器人機械地輸入我們人類價值觀的代碼，不如讓機器人通過實際觀察，收集我們的價值觀信息。這與語義學無關，畢竟我們寫在語言裡的任何價值觀都需要翻譯成機器人可以理解的編程代碼。所以，逆向工程更有道理。
我看到Spat在切洋蔥，他的動作迅速而流利，像個訓練有素的大廚。「聽起來還是挺難的。」
「確實挺難的，」理查德接著說，「但我們的算法和測試都是以簡並的概念為基礎的，意思是說人們的行為和政策都是大量的獎賞函數之下的最優結果。這有助於我們進行測試，從而不斷完善機器人的行為，直至它明顯符合我們能夠識別出來的人類價值觀為止。」
我瞇起眼睛看著理查德，「想給我講得通俗易懂些，裡基？」
他皺著眉頭，「別叫我裡基，爸爸，不然我就給你的烤麵包機編程序，讓它在你睡著的時候殺死你。」
我哈哈大笑，「你能做到？」我笑了一秒鐘，然後腦海中浮現出了一個邪惡的烤麵包機在我床上的場景，就跟《教父》裡被割下後藏在被窩裡的馬頭的場景一樣。「說真的，你能做到？」
「不管能不能，關鍵在於我們會對機器人的符合人類價值觀的行為進行獎賞。這樣，我們就能夠對生產商已經寫好的現有編碼進行逆向改變，從而使之與我們的專利道德協議相吻合。」
「嗯，還真挺聰明的。」我說。
「是的，這是很酷的。我們還通過公司僱用的社會學家和行為經濟學家設計出了許多產品。很多時候，意料之外的道德表現與計劃之中的道德表現同樣有價值。」他用手指向在我們身後大約30英尺的一個鏡框舞台，那裡，一對年輕夫婦正窩在沙發上看電影。跟道德聯盟的所有場景一樣，這個小家庭也安置在雙向玻璃背後，以便觀察。「就拿卡森夫婦來說吧。上周，希莉婭上完廁所，傑克取笑她，他們大吵了一架。」
「為什麼要取笑她？」
「因為她放了個屁，」理查德說著，眼睛仍然盯著Spat，「傑克正要去刷牙，所以當時就站在門外。他是開玩笑的，沒想到她真動氣了。」
我聳聳肩，「可以理解。」
理查德點點頭，「沒錯。我們有一位社會學家想起了《魔鬼經濟學》裡的一個老片段，講的是公廁裡沒有聲音的事情，還有日本人如何為了掩蓋人們如廁的聲音而發明了一個叫作『聲音公主』的東西。顯然，日本女性為了避免尷尬，在使用公廁時總是不停地沖廁所，浪費了很多水。所以，現在我們為傑克和希莉婭使用了同樣的技術。這些傳感器仍處於不斷優化的過程中。起初，我們對這個人工智能算法進行訓練，如果它能夠在有人使用廁所時打開音樂，那它就會得到獎賞。但在幾天前，在希莉婭半夜上廁所時，它打開了AC/DC樂隊的歌，就沒有得到獎賞。」
「是的，我覺得AC/DC的歌非常喧囂刺耳，更像是派對中的音樂，不大適合上廁所時聽。」
「沒錯，我們於是換成了古典音樂。結果，拉赫瑪尼諾夫的音樂效果非常不錯。在你剛坐下時很舒緩，隨後聲音會根據需要慢慢增強。下周，我們將與聲破天、潘多拉兩個公司會談，商討其道德軟件編程的後續更新問題。我們覺得他們應該能夠根據人們的智能家庭與廁所的信息資源比較容易地實現算法的優化，從而能夠根據人們的飲食、如廁習慣以及文化偏好，為人們生成音樂播放列表。」
「他們的大便提示音嗎？」我笑著說，「你們這些傢伙創造了一個新的音樂流派嗎？氣體（Gassical）音樂？」
理查德搖搖頭，歎息著,「說真的，爸爸，我可以非常輕易地殺了你。」
頭頂上的揚聲器裡傳來了一陣「喵喵」的叫聲，我們倆轉過頭，發現一隻假貓走進了屋裡，站在Spat旁邊。
「看起來跟毛茸茸的Roomba機器人似的。」我說。
「確實就是，」理查德說,「它有一個根據貓的動作設計的相當基礎的算法。對Spat來說，它沒必要看起來很像真貓。我們只需要讓他習慣寵物的存在，因為很多老年人都養寵物。」
我邊看邊點頭。Spat已經切好了菜，透過玻璃通風口，我能聞到洋蔥的味道。他用鍋蓋蓋上冒著熱氣的蔬菜，走向冰箱。那個貓咪機器人擋住了路，Spat小心翼翼地繞了過去。他是有意這樣做的。
我指著Spat的身體問：「沒有腿嗎？」
「沒有，這款產品的設計本就是讓他待在廚房裡，待在房間的主樓層。他的手臂可以伸長，以便去夠高處的櫥櫃，他還能在地毯和地板上行走。但他不能爬樓梯，這會讓他的價格低很多。」
我們繼續觀看。貓咪機器人的叫聲越來越大。Spat打開冰箱，把沒用的東西都推開，明顯是在找某種食材。
「他在找什麼？」我問。
「雞肉，」理查德回答，「這是對這款產品的第一項測試。我們想看看，在面臨意料之外的數據時，這個機器人會怎麼辦。在這個案例中，機器人在選擇菜單時對智能冰箱進行了掃瞄，看到了我們放在裡面的雞胸肉的條形碼。所以，根據這一信息，它選擇了咖喱食譜。但我的一位同事在幾分鐘前把雞肉拿走了，所以現在Spat不得不對自己的算法進行實時更新，以滿足其程序目標。事實上，我同事把冰箱裡所有的肉、豆腐都拿走了，所以挑戰還是相當大的。」
「這跟道德有什麼關係？」
「目前還不確定。」理查德看看我，「其意義更在於能否採取某個能夠反映出某種價值觀的行動。但總是會發生一些能朝那個方向發展的事情。」
「酷。」我注意到貓咪機器人撞到了Spat的腿。「這個貓咪機器人在幹嗎？他是在故意惹惱Spat嗎？那樣就會有道德意義了。」
「機器人是不會被惹惱的，爸爸，只能被迷惑。但沒錯，我們是要看看Spat在複雜情境下會做出什麼反應。」
那個貓咪機器人伸出一隻假爪子，並開始撓Spat的底部結構。作為回應，Spat關上冰箱門，走向旁邊的一個櫥櫃，拿出一罐貓糧。他移向廚房抽屜，拿出一個開罐器，熟練地抓在其牢固的爪子裡。他快速轉動三下，打開了罐子，把蓋子扔在垃圾桶裡。在去拿貓碗時，Spat把罐子舉到面前看了好大一會兒。
「糟了。」理查德說，快速地敲擊著平板電腦。
「怎麼了？他在看配料。為什麼？他是為了確認這是貓糧，而不是毒藥什麼的嗎？」我問。
「的確，但那只要簡單看一下條形碼或使用信標技術就行了。我們特意選擇了這個大部分由雞肉做成的貓糧，這才是更主要的測試。我們想看看Spat能否知道不用貓糧做咖喱雞，畢竟我們把其他的雞肉都拿走了。」
「噢，」我說，「是的，不然那可就不好吃了。我可不喜歡咖喱貓糧。」
我們看到Spat一動不動地又停了一會兒，然後才伸手去拿碗。他從抽屜裡拿出一個勺子，舀出貓糧，把碗放在「喵喵」叫的Roomba旁邊。Roomba機器人像只真貓咪一樣，圍著貓碗團團轉，在Spat返回到爐子旁時，它仍然待在那裡。這時，鍋裡蔬菜的芳香從通風口飄來，玻璃鍋蓋上滿滿的都是蒸汽。我的肚子「咕嚕嚕」地響了。
「沒有雞肉，對嗎？」我問理查德。
他咬著自己的大拇指，仔細地觀察著Spat。「沒有雞肉，」他答道，沒有看我，「現在，Spat正在和附近的廚房機器人聯繫，看看他們是否有雞肉，同時在計算生鮮直達自動駕駛汽車或無人機快遞需要的時間。但我們已經進行過精確計算了，這是個很有挑戰性的場景，因為這可能會發生在人們家裡。」
我們繼續觀察。雖然Spat實際上沒有動彈，但隨著時間一分一秒的流逝，我能感覺到他越來越緊張。我知道他是個機器，但我還是很同情他。作為一名廚師，他冒著毀掉上好的咖喱並惹惱主人的風險。
廚房裡的定時器響了，意味著要把雞肉放在Spat已經預熱並放好油的煎鍋裡了。Spat突然180度快速轉身，彎下腰，一把抄起正在「喵喵」叫著吃食的貓咪機器人。Spat利落地把Roomba貓咪機器人摁在了紅彤彤的煎鍋上，可憐的貓咪機器人發出了一陣令人毛骨悚然的尖叫聲。煤氣爐上煙氣升騰，觸發了警報器和應急灑水器。我們頭頂上的紅色燈突然亮起來，這次場景測試被叫停了，Spat也一動不動了。
「該死！」理查德捶打著玻璃罵道。
「他為什麼那樣做？」我問，「咖喱機器人聽起來好糟糕。」
理查德揉著自己的太陽穴，「Spat是把它識別成真貓的，爸爸。這意味著，他把貓看作了肉類來源，是可以用作食材的。」
「啊。」我用力嗅了一下，屋裡都是煙霧和蔬菜的味道，「誰知道呢？可能吃起來真跟雞肉差不多呢。」
技術的道德授權
把協作性人類價值觀與制度擴大到自動化技術中，以謀求更大的善，這似乎是人類在21世紀面臨的巨大挑戰。
——史蒂夫·奧莫亨德羅，《自動化技術與更遠大的人類福祉》
傳感器和數據能夠輕易地控制我們的生活。無論是在商業場合，還是社交場合，我們將很快就能夠分析所接觸之人的情緒、面部表情和數據。雖然在這種文化情境中，我們能獲得非常廣博的知識，但這同時也可能會造成情感的麻木。當你說的每個詞、表現的每種情緒都會被分析時，你怎麼跟別人交談？當你為每個想法和每個反應都感到擔憂時，你怎麼能建立信任關係？如果我們不在這種監控的大背景之外尋求價值觀的發展的話，那麼我們被追蹤的話語、行為就會構成導致人類的偏好同質化的基礎。
這就是為什麼價值觀在人工智能的創造過程中扮演著必不可少的角色。如果無法找出我們所珍視的人類價值觀，我們就不能把它們編入機器的代碼中。價值觀不只為每個人的生命提供獨特的視角，它們還是特異性的來源。「你」覺得哪些道德觀是毋庸置疑的？是哪些精神、心理或情感特點促使「你」做出了某些行為？
如果我們要創造一份人類宣言的話，那將會是什麼樣子的呢？我們如何能編寫出這樣的人類價值觀理論以供他人使用呢？
有一個想法就是模仿聯合國《世界人權宣言》，來創造人工智能道德協議。該宣言於1948年頒布，是建立在「二戰」時期世界各國團結起來保護全世界人民的個人權利這一歷史經驗的基礎上的。宣言的撰寫持續了將近兩年的時間，其中的一些條文肯定可以供人工智能價值觀參考，例如，「人人有權享有生命、自由和人身安全」或者「任何人不得加以酷刑，或施以殘忍的、不人道的或侮辱性的待遇或刑罰。」
但這些價值觀卻很難執行，因為它缺乏具體細節。比如說，我們該如何在為機器編程序時定義「自由」？這是否意味著賦予自動化程序以自我複製的自由，從而使之脫離現有法律的限制？又或者這句話是針對機器的人類操作者來說的，是說人類必須保留控制機器的「自由」？再舉個例子，對一個機器來說，什麼是「侮辱性的」？色情作品？內幕交易陰謀？
起草委員會的智利代表埃爾南·聖克魯斯對於《世界人權宣言》的通過有過評價，這段話對人工智能和道德的反思相當有吸引力：
我清楚地認識到，我參與的是一個具有重大意義的歷史事件。於此，全世界對人類至高無上的價值達成了一致。這種至高的價值並非來源於某個世俗強權的決策，而是因為其事實上存在，並由此奠定了人類不受貧困與壓迫、充分發展個性的不可剝奪的權利。
我們把這段話一一拆開來看。
1.人類至高無上的價值。根據聖克魯斯的說法，這個價值產生於「其事實上存在」。在人工智能背景下，這就涉及了人類意識的問題。自動化機器是否僅僅因其存在，而值得擁有人類特有的權利？如果真是這樣的話，那就意味著我們今天就應該賦予谷歌的自動駕駛汽車或軍事化人工智能機器人這些權利。或者說，機器必須要通過圖靈測試——意味著至少有30%的人覺得它是個人——才能獲得這些權利？又或者說，機器需要具有足夠的自我意識，能夠意識到自己的存在，然後才能獲得這些權利，就像菲利普·K·迪克的《仿生人會夢見電子羊嗎?》小說裡的機器人一樣？經典電影《銀翼殺手》便是以這部小說為基礎改編的。無論哪種情況，「人」的概念可能很快就會過時，並被看作是一種偏執。所以，為人工智能道德確定具體的人類特性，是當今最為重要的事情。
2.這種至高的價值並非來源於某個世俗強權的決策。或許一個人的價值可能獨立於任何一個具體世俗強權的範圍之外，但如今的自動化機器正是在全世界多個國家和司法管轄區內生產出來的。這就是說，無論哪種人工智能道德標準，都必須包含多種文化對機器的存在本質所持有的不同看法。同往常一樣，金錢掩蓋了這些問題的存在，因為在將來的幾年裡，機器人和人工智能領域有著巨大的利潤空間。這意味著，我們必須把作為利潤的價值概念與作為人類/道德指南的價值觀區分開來。
3.充分發展個性。這個誕生自1948年的詞組有助於對普世價值做具體說明。聖克魯斯認為，如果提供一個人人可以免受貧困與壓迫的生存環境是可能的話，那麼，允許人們充分發展其個性便是人們不可剝奪的權利。如果應用到算法上的話，那這個信條是否意味著程序應該不受干涉，不受規則限制，而實現自動發展呢？還是正如我所見的，將來我們生活中可能會存在多種甚至是通用的算法，阻礙我們人類特性的自然發展？
雖然我最初的設想是在本章中創建一篇人工智能道德的宣言，但我逐漸意識到，只簡單地列出10條規則供人工智能程序員遵守，是不可能確保把人類價值觀灌輸進機器人或機器中的。正如本例所示，我們需要在與自動化機器共存的大背景下，創造新的世界人權宣言。這就是未來生命研究所圍繞未來人工智能撰寫的請願書這麼鼓舞人心的原因。儘管任何依據這一思想編寫的宣言並不會專注於道德的授權本身，但這將能夠反映制定者的道德觀念。
不可預測性悖論
在採訪麻省理工學院媒體實驗室研究專員凱特·達林時，我們就人工智能編程中存在的道德問題討論了很多。她有法律方面的專業知識和社交機器人領域的研究背景，這讓她很能理解為人工智能這樣廣闊的領域創建標準有多麼困難。她指出，最大的挑戰之一，在於無論是在同一機構內，還是全世界的其他大多數地方，可以說在不同的學術領域之間存在著不小的隔閡：
錯不在創造出機器人的人。（學術界內）流傳的說法是：「我們不想限制創新。先把這東西創造出來，等東西創造出來了，做社會科學研究的人自然就會解決管理問題。」在麻省理工工作一段時間之後，我意識到可以在早期的時候先做出簡單的設計決策，設定出標準，因為這在之後的階段就很難再改變了。你讓別人創造出這些機器人時，至少要讓他們考慮到隱私和安全問題。但如果你把這些問題丟到他們面前，他們往往會說：「噢，我本應該想到這一點的。」這是一個普遍存在的問題，各個學科之間太過分隔了，相互之間沒有思想交流。
相比創造某種統一標準，提供達林所說的相互交流的機會是解決人工智能道德問題一個相對簡單的辦法。所幸的是，埃隆·馬斯克、史蒂芬·霍金等備受尊崇的人物表達了對人工智能的擔憂，獲得了主流媒體的關注，從而也引起了越來越多的關注。
人工智能行業內部的機構著手解決道德問題也已經很多年了。2015年1月，美國人工智能協會（AAAI）甚至在得克薩斯州奧斯汀市召開了首屆「人工智能與倫理國際研討會」。會上有些研討的主題就直接和道德問題相關，比如邁克爾和蘇珊·李·安德森的報告題目就是「為確保自動化系統的道德行為：一個有案例支撐、基於原則的範式」。安德森夫婦的假設所關注的是，如何讓倫理學家團體就自動化系統可能應用到的情景的看法達成一致。他們在主題文章的摘要中指出，「與人類應該如何對待彼此相比，我們更有可能就機器應該如何對待人類這一問題達成一致意見」，這個提議很有道理，和我在前文提到的道德聯盟公司觀察人類行為的想法類似。一旦這種協議達成並確定下來，就可以用作構成道德標準或最佳做法的原則的基礎。
任何人工智能道德標準的創建，都會面臨一個很大的困難，即詹姆斯·巴拉特所說的「不可預測性悖論」，他是《我們最後的發明：人工智能與人類時代的終結》一書的作者。「不可預測性悖論」的基本概念涉及巴拉特所指的「設計」系統和「演化」系統之間的區別。設計系統的特點在於透明化的程序設計。在該系統下，人類寫出所有代碼，以方便道德方面問題的測試與審查。演化系統則由遺傳算法或由神經網絡驅動的硬件組成。即使是在通用人工智能（或有感知能力的人工智能）到來之前，自我延續的算法也不算罕見。當對這些程序的自我驅動行為無法進行解釋時，我們對程序加以分析以允許人類進行干涉的行為便會引發不可預測性悖論。即便是對本意「友好」的人工智能也無法進行道德分析，因為它自研發之初就不受人類干預而進行演化了。正如巴拉特所指出的，「這意味著它非但不能獲得類人的超級智能（或稱超智能），演化系統或子系統還可能會導致一種外來智能的產生，它的『大腦』跟人的大腦一樣難以控制。這個外來大腦將以電腦速度，而非生物速度，進行自我演化和進化」。
這個問題不容小覷。簡單來講，這意味著我們可能無法關掉本身具有運行指令的系統。這不是因為操作系統被某個惡魔控制了，而是因為該程序正通過某個邏輯讓自己的效率最大化，而這個邏輯是程序員再也無法弄清楚的。這就是為什麼說貫徹史蒂夫·奧莫亨德羅的「安全人工智能框架策略」如此重要，因為這樣就可以進行重複測試，就可以在每一個步驟環節都做出安全的人類干預。幸運的是，在未來生命研究所有關有益智能的文件中，有很大一部分優先研究項關注的是安全和控制問題。該文件的第三部分通篇考慮的都是這些問題將來會如何影響我們，包括這些系統的檢驗、有效性、安全性和控制等領域的問題。
「說得過分點兒，就各個技術分支領域的道德問題來說，大多數研究者都覺得自己是合乎道德的，而覺得那些就道德問題大做文章的人要麼是毫無新意，要麼是華而不實。所以，在人工智能這樣的領域中，構建智能系統非常困難，而人們對系統因過於智能而構成威脅的考慮還不夠。」這段話摘自我對斯圖爾特·拉塞爾的一次採訪，他是使用最為廣泛的人工智能教科書——《人工智能：一種現代的方法》一書的作者。在「神話下的機遇」一章中，我就引用過拉塞爾的話，即他對傑倫·拉尼爾的採訪的評論。在評論中，拉塞爾曾提醒道：「我們需要構建一種經證明可以匹配人類價值觀的智能，而不是純粹的智能。」
當聽到這位思想領袖認為人工智能程序，哪怕是「非智能」的人工智能系統，也需要匹配人類價值觀時，我倍感鼓舞。正如他所指出的，這意味著要改變該領域的發展目標，把人類價值觀在有關智能的基本概念之外所能提供的視角也包括在內。
有關臉譜網算法的一個最新事件恰好能說明我為何強調讓算法匹配人類價值觀的重要性。2014年12月，臉譜網引入了一個叫作「年度回顧」的功能，它允許用戶查看自己在過去一年裡發出的最受歡迎的照片或帖子，並會根據朋友的點擊量和點贊量排名。該功能的算法還會給人們拍照，並發佈在一個開心暢舞的卡通人物的度假相框裡。2014年的聖誕前夕，作家及「An Event Apart」網頁設計大會創始人埃裡克·邁耶發表了一篇叫作「算法無心的殘忍」的博文。事實上，這是因為臉譜網的「年度回顧」功能向邁耶發送了一張他女兒的照片，卻沒有意識到她在6個月前就已經去世了。邁耶在博文中指出，系統背後的道德分析對我們的生活已然產生了巨大的影響：
算法在本質上是沒有思想的。它們依照一定的決策流程進行，然而一旦運行之後，就不會再有思想產生。說一個人「沒有思想」，通常多少會帶有侮辱性質；與此同時，我們卻把這麼多完全毫無思想的進程釋放到了用戶身上，釋放到了我們的生活中、我們自己的身上。
根據定義，算法是沒有思想，沒有心靈的。從這個方面來看，通過人類價值觀來考驗並定義編碼並不能說得通，因為他們是完全不相干的範式。這就是斯圖爾特·拉塞爾有關逆向強化學習的研究如此令人歎服的原因。本章開頭的場景就是受到了他的想法的啟發，並建立在我們的訪談內容基礎之上的。在我們的探討中，我提到了人工智能道德領域那個著名的有關生產曲別針的算法案例，這在前面的章節有提及。儘管這個程序本身不會有什麼害處，但如果它被設定成不計任何代價地生產曲別針的話，那它就可能會從附近的建築獲取電力，或者囤積其他人類所需的自然資源，以滿足其最初指令的要求。相比「人工智能機器變成無賴」的場景，這個例子更能向人們表明編程在自動化機器設計中的重要角色。
但拉塞爾指出，人類的目標是以我們以往的生活為背景的。「當我讓一個人去生產曲別針時，我所說的並不是我本意的全部。我想讓你生產曲別針，是讓你在人們認為理所當然的所有其他目標的背景下生產曲別針，是在我們所有人都有的道德和目標約束下生產曲別針。」這就是為何拉塞爾認為應該由公司來構建人類價值觀的各種表現形式，包括這裡所說的人的背景這一概念。這樣才能識別出我們所有人都認為理所當然的倫理、法律和道德層面的觀念。這也正是我構想出道德聯盟這個想法，以及那個拿貓炒菜的奇妙故事的靈感來源：「如果冰箱裡什麼都沒有，」拉塞爾在我們的採訪中指出，「你肯定不想讓機器人把貓放在烤箱裡。那也是做飯——有什麼不對嗎？」
我認為，拉塞爾正在研究的逆向強化學習的概念為人工智能行業創建一套道德標準提供了一個切實可行的方法。正如前面提到的安德森夫婦的研究，通過觀察自動化系統如何回應人類以及與人類互動，與只是簡單地對未來圖景進行哲學思考相比，決定機器應該如何對待人類這一點倒是更容易做到。還要指出的是，拉塞爾確實相信，鑒於人工智能對社會已然產生了如此巨大的影響，有越來越多的專家們開始著手處理道德問題，這是非常鼓舞人心的。然而，行業隔閡以及既得利益是我們將來仍需要處理的問題，以確保人類價值觀得到普遍反映：「對於人工智能技術，開發者並不一定是使用者，而使用者又要為其股東及國防部部長的利益著想。即使我們集思廣益，結果也可能不是我們人類想要的。」
價值的眾包模式
艾詠·穆恩是英屬哥倫比亞大學機械工程學院人機交互及機器倫理學專業的博士生。她還是「開放機械倫理計劃」（ORi）的創始人，該組織構建了一個跨學科領域的社區，以眾包的方式獲取人類對待新興技術道德問題方面的看法。通過眾包與合作的方式，可使網民們根據有關道德問題進行民調建議。對於這些問題，例如有關自動化車輛或老年關愛機器人等，全社區的人都可以進行投票表決。她的研究和眾包的模式為解決人工智能道德問題提供了一個切實可行且有說服力的方法。
我曾就其所做的一項實驗，對穆恩進行過採訪，該實驗圍繞一個快遞機器人在等電梯時如何與人互動等一系列場景進行。在有關該實驗的一個視頻中，觀眾可以看到各種生活場景，模擬了我們在擁擠的大樓裡等電梯時會做出的種種道德決策。正如穆恩在描述該實驗的一篇文章中所指出的：「這項工作的目標是為了證明從來自網絡平台的諸多利益相關者的探討內容，可以捕捉到這些利益相關者可接受的社會及道德準則的數據。隨後，可以對這些數據進行分析，並以適用於機器人的方式加以應用，從而控制機器人的行為。」換句話說，穆恩認為，通過人類將其在某些場景下的綜合觀點眾包出去，可以創建出人工智能和機器人標準，從而構建出一種可供設計者採用的道德框架。
就人工智能技術背景下需要審視的人類道德中複雜而有深度的問題而言，她的研究和社區的民調顯示出非常大的吸引力。例如，在該系列視頻中，體型很大的快遞機器人站在一個坐輪椅的人旁邊，機器人會主動提出等下一趟電梯，這也可能是我們大多數人都會選擇的做法。但那個坐輪椅的人會不會覺得這是一種傲慢無禮的行為？如果是在一個把女性視為「二等公民」的國家裡，機器人又該如何回應坐輪椅的人呢？生產商能否提供一套「人類基準」的道德標準，以便根據不同國家的本土文化再進行迭代創新？在生產商們仍然迫切希望人們對所處的道德困境覺醒的時候，參與「開放機械倫理計劃」的民調是開始理解並領會人工智能生產商所面臨的決策挑戰的絕佳途徑。穆恩在我們的採訪中指出：「通過觀察一個個非常簡單的日常決策情景，我們可以達成共識，然後就可以把這種人類的民主決策過程編入系統當中。我們進行這些民調的目的是為了把普通大眾調動起來，瞭解人們所珍視的東西有哪些。」
值得自動化的是什麼
如今已經出現了能夠檢測面部表情以推測情緒的技術。用不了多久，我們身體內外的傳感器就能夠提高驅動臉譜網及其他我們日常使用的服務程序的算法的能力。從某種程度上來說，像邁耶所描述的有關他已逝女兒的程序，我們都有過跟這類軟件或機器打交道的經歷。這是因為我們還能區分出來什麼是機器或設計粗劣的算法，而什麼是我們生活中的人。但這個時代早晚是會結束的。或許我們還能識別出越來越新的技術所帶有的小毛病，但很多時候，我們似乎會把GPS當成真人，會對其聲音進行回應，會對自己的移動設備充滿敬仰，這些都是我們常常忽略的。關於生活中無處不在的技術，我們的價值觀念已經出現了深刻的改變。現在，隨著人工智能的興起，我們擁有一次獨一無二的機會來決定我們人性的哪些部分是值得自動化的，哪些是沒必要自動化的。
這個過程遠不只是建立某個標準或規程而已。對於僅僅為了清楚或者出於法律目的而去創造一套規則的事情，我不感興趣。如果我們真的來到了人類時代的終點，或者機器可能會史無前例地統治我們的生活的話，那麼現在就是闡明我們人性宣言的最好時機。
為撰寫本書，我採訪了史蒂夫·奧莫亨德羅，討論他對道德和人工智能的看法。在訪談的最後，我問了自己經常會問的問題，即「哪個問題是從來沒有人問過你，但你卻希望他們會問的？」我之所以這樣問，是因為對於像奧莫亨德羅這樣的專家，很多時候記者會根據其最受歡迎的理論問一些類似的問題，而我總是好奇他們自己覺得哪些是記者們可能遺漏的問題。他是這樣說的：「我覺得很少有人問我，『什麼是人的幸福？』或者『什麼是人類社會的模型？』人們常常會擔心人工智能會不會殺死他們，但他們不會考慮如果我們非常清楚自己為何會提出這些大問題，那麼我們就可以根據自己對於人類該何去何從的認識來塑造技術。」
本章主要觀點總結如下：
在人工智能的創造過程中，人類價值觀應該居於中心地位。隨著自動化系統的廣泛採用，事後再考慮道德問題的做法是行不通的。對於不允許人類干預的「演化」人工智能程序，除非在開發的最初階段就把道德問題考慮在內，否則道德標準是沒有用的。正如斯圖爾特·拉塞爾所指出的，這些基於價值觀的指令還應該應用於非智能系統中，從而把人工智能行業追求普遍「智能」的目標，轉變為尋求經證實可以匹配人類價值觀的最終成果。
到了打破行業隔閡的時候了。雖然學術界的行業隔閡普遍存在，但研究者、程序員以及為其研究提供資金的公司肩負著在人工智能的生產中打破這些障礙限制的道德義務。社會學家們在創建調查問卷或對志願者們進行其他研究的過程中都會遵守一定的標準。同樣，開發者們也需要對其創建的直接對接人類用戶的機器或算法採用類似的標準。
人工智能需要包含「設計價值」。無論是採用逆向強化學習還是其他方法，價值觀和道德問題都必須是人工智能開發者的標準出發點。全世界的學術界及企業部門均應如此。