「吃了嗎？」，這句帶著濃厚的得克薩斯口音的話從男廁所的揚聲器裡傳來，我便笑了。
我已經在得克薩斯州奧斯汀郊區湖邊的「縣界」燒烤酒吧吃過了。在過去的6年裡，我每次來參加SXSW大會幾乎都會去那裡吃飯。在其中的5次會議中，我都參加了小組討論或者進行專題發言，而在另外一次會議上，我負責業務拓展。這次大會規模宏大，包括三個不同項目，分別關注電影、音樂和互動技術。我向來只參加SXSW互動大會，該大會在奧斯汀舉行，為期5天的會議吸引了4 000多人來參加。
「吃了嗎？」那個聲音繼續說道，「我餓了，你吃了嗎？」《如何說得州方言》的原聲帶總能讓我開心起來，主要是因為我只有在「縣界」吃飯時才會聽到。這意味著我又可以大快朵頤，一邊享受最好吃的牛胸肉，一邊和久別重逢的極客好友丹尼、瑪爾塔、斯特凡、阿龍和凱麗相聚。我們每年都會來奧斯汀參加這一技術大會。酒足飯飽之後，我一邊洗手，一邊使勁兒用舌頭剔牙，滿嘴都是煙熏燒烤醬的味道。當我回到賓館開始剔牙時，我才發現塞在牙縫裡的牛肉還夠做一個英雄三明治。
廁所的門吱吱嘎嘎地開了，一陣爽朗的笑聲伴隨著鄉村音樂從餐廳裡傳來。「卡嗒」一聲，門又關上了，聲音也漸漸聽不見了。一個將近30歲的硬漢走到小便池邊，我對他點點頭。他穿著牛仔褲、T恤衫和運動夾克，這種搭配在SXSW大會上很常見，而且應該是有技術背景的。他對著鏡子也向我點了點頭，這時我已經洗完手了。
「你也是來參加大會的。」他說道，眼睛盯著面前的牆。
「是的。」我把用過的紙巾扔到垃圾桶裡，發出了一聲金屬撞擊聲，「我明天發言。」在參加SXSW大會時，我總是這樣介紹自己，因為能夠得到發言機會是十分難得的。這樣說會顯得有些驕傲自大，但來參加SXSW大會就是為了廣交好友。互動大會上最常說的一句話就是「最有價值的會議常常發生在走廊裡」，所以，我向來都是大膽地結交工作上的朋友，從不會害羞。
他沖了沖小便池，走到洗手台邊上，「是的，我知道你發言。主題是關於你那本書。」
「沒錯。」他認識我，我感到很榮幸，「你讀了嗎？你又是怎麼認出我來的？」這麼多年來，我採訪了成百上千名思想領袖，並對增強現實和人工智能等技術做出了一些頗有根據的預測。儘管我從2005年便走進了極客的圈子，認識了行業內的許多名家，但嚴格來說我還算不上有什麼影響力。
「我是追隨著你來這裡的，約翰。我來SXSW是為了拜訪一些人，你就是其中一個。」他把手伸進西裝，掏出了自己的名片。上面寫著「傑克遜·史密斯，谷歌公關部，[email protected]」。
幾瓶孤星啤酒給我帶來的快感瞬間消失了。我曾多次寫到自己對谷歌和隱私問題的擔憂。事實上，當一輛「谷歌街景」汽車從我在新澤西的家門口駛過時，我還曾經尾隨過它。我把手機卡在車窗外面，錄了一段「谷歌街景」汽車行駛的視頻，但從來都沒有膽子發佈出來。不管怎麼說，反正沒有誰會在意的——除了我母親會擔心我一邊開車一邊錄像不安全。
傑克遜看出了我臉上的害怕。「只不過想跟你說幾句話而已。」他打開廁所的門，伸出大拇指，朝餐廳指了指，「請你喝一杯？」
「沒問題。」當我從他跟前走過時，我盯著他的眼睛看了看，看他有沒有戴著增強現實隱形眼鏡。不得不稱讚谷歌，我從來沒有想到他們的第一代眼鏡只不過是一種公關噱頭，目的就是為了進一步激發有關隱私的爭論，而他們也成功地做到了。如果你一隻眼睛戴著極客范兒十足的攝影機，這簡直就是找打，而不幸的是，已經有一些人因此挨打了。雖然我曾經大篇幅地寫過谷歌眼鏡利用面部識別技術挖掘人們的個人數據，但我永遠不會贊同對穿戴該設備的人採取暴力行為。
「是的，約翰，」當我盯著傑克遜的眼睛時，他答道，「我戴著智能隱形眼鏡呢。我正在讀取你的生物識別數據，而且我可以看到你的心跳正在加速。」
我暗自罵了一句。可穿戴設備已經讓情緒公開化了，就如同戴著情緒戒指似的。
我們走過十來張桌子，情緒高漲的技術愛好者們正大口大口地吃著超大份的肉，同時還嘗試發自拍照或者用油乎乎的手發信息。我們走出了餐廳，傍晚的空氣有些涼，然後徑直往後面的露台走去，從這裡可以看到公牛溪。傑克遜向服務生示意，「請來兩瓶孤星啤酒。」
他倚在露台的欄杆上。我也倚在了上面，我們盯著時而浮現、時而躲進水裡的一家子烏龜看了一會兒，氣氛有些尷尬。
「所以我們希望你能不再議論人工智能，」傑克遜說道，「只要你只關注技術層面，而不去想道德或者廣告方面的問題的話，增強現實技術是沒有什麼問題的。」
我盯著他看看，想找出一絲嘲諷的痕跡。但我只看到了輕蔑。
「你是認真的？」這時，服務員端來了啤酒，瓶頸上還掛著水珠。我們停頓了一會兒。
「是的。」他抿了口啤酒，沒有按照男人喝酒的慣例碰一碰我的酒瓶，「你已經有些讓人惱火了。我們已經做了一系列有關人工智能的視頻剪輯，正準備向粉絲們推送，但你的一些想法讓人們產生了困惑。關於這個話題，我們傳達的中心思想非常明確：人工智能可能永遠不會產生，而如果它真的產生的話，那也要四五十年的時間。除此之外，人工智能是一項非常偉大的技術，它的設計初衷是為了幫助人們，而不是傷害他們。」
一陣風吹過，附近的煤氣燈發出了絲絲的聲音。「不好意思，我只不過還是不能相信我們真的在討論這個事情，」我說道，「你可是來自谷歌的人。你們就不能直接把我的作品鏈接刪掉，或者改變你們的算法或隨便怎麼做嗎？你們甚至可以通過某種方式，把它合法地變成被遺忘的故事？」
傑克遜大笑道：「約翰，你沒有那麼重要。我本來就要來參加SXSW大會的。有無數個像我這樣的人在和各種不同的人談話。所以，你不要覺得自己很特殊。我們有一些人負責調查我們可能會收購的公司，還有一些人負責跟有妄想症的憤怒作家打交道。我只不過是不幸被抽中了，僅此而已。」
「如果真是我妄想的話，那我們就不會在這談話了。」我指出。
傑克遜笑了笑，「是的，但這感覺很像你文章裡寫的東西。另外，如果你真寫了的話，也不會有人相信你的。」
我指了指自己外套裡面。「但如果我從離開廁所就一直在用手機錄音呢？」我拉起外套，靠近手機說，「來自谷歌的傑克遜·史密斯。」
他輕蔑地哼了一聲，「就跟傑克遜·史密斯真是我的名字似的。如果你只是在錄音，人們不會相信這是真的。而如果你也戴著增強現實的隱形眼鏡錄視頻的話，我也不怕，反正我的眼鏡可以阻止面部識別。」
我仔細看了看他的眼睛，「有紅外線？」
「是的。」
「當然了，它們肯定會有！可惡的谷歌。」我抿了口啤酒，「嗨，那個說人工智能四五十年裡都不會出現的視頻剪輯是不是叫專家經驗擷取？就是說，你們把人工智能領域最厲害的人集合起來，讓他們全都給出自己的預測，然後你們再得出一致意見對嗎？還是通過其他辦法？」
傑克遜搖了搖頭，「不是的，那太費時間了。我們根據認知偏差和預測算法做了一次內部報告。我們發現，四五十年的時間跨度是透露給媒體的最佳時間，那樣他們就真的不會管我們在做什麼了。這個時間足夠具體，聽起來有那麼些可信度，而且也足夠長，可以讓大多數讀者都以為這個新聞或許在他們有生之年都不會產生任何影響。」
我喝著自己的孤星啤酒，品味著我卡在瓶口上的酸橙的味道。「真是一針見血。」我指了指他，「但你們在2013年收購機器人公司是怎麼回事？多少來著，一共6個？那可是引起了眾多媒體的關注，所以人們可能不會相信這個幾十年的故事。」
「我們宣佈的是一共8個，」傑克遜說道，「但多數情況下，媒體討論的是這些機器人與亞馬遜及其無人機等相競爭的事情。許多探討都把注意力集中在了商業領域，而不是在人工智能上。」
「儘管你們的波士頓動力公司生產的機器狗可以和谷歌街景一樣毫不費力地拍照片，但它比谷歌街景汽車更能靠近我的房子。現在，你只需把它們變得比貝佐斯的配送無人機看起來更可愛就行了。」
這時，鄰桌一群二十幾歲的漂亮姑娘大笑起來，我倆都抬頭看了看。她們穿著索尼T恤衫，頭上戴著GoPro運動攝像機。在SXSW大會上，一切都帶著品牌標誌。至今還沒有人發給我們印著公司商標的閃存盤，這讓我很驚奇。
「沒人在乎你的房子，約翰。」他轉過頭來看我，「但當你提醒人們，相比人工智能來講，我們更關注廣告，這時我們就比較在意了。人們應該把注意力放在技術上面。」
「對廣告的『關注』？」我哄笑道，「你們可是一家廣告『公司』。這都在你們的財報網站上寫著呢——『該公司主要的收入來自在線廣告收益。』」
「好吧，聰明的傢伙。調查工作做得不錯。但我們也在不斷多樣化，我們在機器人方面的工作不容小覷。」
「別忘了谷歌的『潛鳥計劃（Project Loon）』。我很喜歡那些熱氣球，它們一方面給第三世界國家提供免費的無線網絡服務，另一方面，也在大肆收集他們的個人數據。」
「你就真的這麼憤世嫉俗嗎，約翰？你覺得我們有那麼邪惡嗎？」
「差不多吧。你們辯解說，隱私已經死去，但很顯然，隱私仍然大有賺頭。」這時，有個「索尼姑娘」打斷了我們，遞給我一個印著她們新電腦商標的閃存盤。她轉過頭去，一股草莓的香氣從她頭髮中散發出來。「在那個谷歌教育應用程序的爭議中，你們挖掘學生的數據。那是你們自己預謀的，谷歌街景和『Wi-Spy』頻譜分析醜聞亦是如此。你們一直讓人們把注意力集中在搜索上，而忽略你們在挖掘他們的數據這一事實。這就跟凱文·史派西在《非常嫌疑犯》中說的一樣：『壞蛋耍的最大的花招就是讓人們相信他並不存在。』」
傑克遜卡嗒卡嗒地玩弄著他的索尼閃存盤，它的形狀宛如一個迷你小電腦。「從沒看過那個電影。這句話說得倒是不錯。」
「你真該看看。」我說道，注意到烏龜中間游來了一群鴨子。穿著帽衫的一群年輕人向它們扔麵包，當砸到一隻鴨子的腦袋時，他們大笑起來。
「你看，約翰，我們只需要再有大概兩年多的時間，就能完成我們的人工智能戰略了。對於是使用語義方法還是貝氏定理來打敗圖靈測試或者其他試驗，學術界一直在互掐，但我們真的不在乎。以強力方法解決了數據問題就可以解決許多其他問題。如果我們只關注書面搜索查詢的話，這或許是個要考慮的問題。但對於我們在做的這一切，大多數人都會認為我們的算法是有感知力的，因為他們想這樣以為。」
「是的，因為你們已經借助谷歌眼鏡有了視覺的東西，有了車裡的面部識別數據，還有鬼才知道的和物聯網相關的東西。」我打斷了他。
「正是。我們沒有必要根據人們所寫的東西來弄清楚他們的想法。我們會測量他們的面部表情，檢查他們的上一封郵件，記錄他們開車去哪裡。90%的情況下，我們的推斷都是正確的。而對於廣告這類的東西，我們還會給出建議，這就可以消除剩下的10%的誤差。這才是圖靈測試的真正魔力所在。它是人工智能最好的營銷手段，因為人們非常想知道自己能否被技術的花招所欺騙。」他指了指我，「但如果人們掌握自己的數據的話，這一切便不可能發生。所以，不要再寫有關個人云端數據的東西了。一旦人們意識到我們如此頻繁地使用其數據，他們就會被嚇跑，然後躲在幕後觀望。」
「不然呢？」我喝完最後一口啤酒，把酒杯放在旁邊的盤子裡，「如果我不停止寫，會怎樣呢？」
他聳聳肩，「我們會殺了你。」
我沒有立即回應。
傑克遜拍拍我的肩膀，「跟你開玩笑的，約翰。我們不會採取任何官方措施。沉默是我們最有力的武器。你曾在公關行業待過，你知道那些手段。讓他們從我們的行動中隨意揣測，把他們分成兩個陣營——谷歌迷或是瘋狂的渾蛋。當然，你屬於後者。」
「所以，你們不會在我的文章排名等問題上面攪局？」
「這是有可能的，跟對待其他任何人都是一樣的。有時候人們會忘記我們不是某個公共設施，我們不是公共圖書館，我們是個企業！我們經營著人類所知的最大的搜索引擎，而且它還是我們創造的。這是範式中的範式。所以，要更改跟你文章排名相關的算法之類的東西是再簡單不過的事了。」
我點點頭，突然間感到自己非常渺小。
傑克遜注意到了我的表情。「但你別灰心，約翰。你隨時可以找別人的碴兒。比如，IBM怎麼樣？他們的沃森研究比我們更加關注自動化，至少公開的情況是這樣的。他們讓很多的醫生失業了，數量比醫療事故引起的還要多。」
我聳聳肩，「我有幾個朋友在IBM工作，所以我猜我一直避開他們就是因為這個。」
「這麼說，你也有朋友在谷歌工作。幾年前，你曾來過我們的紐約辦公室看望一個朋友。」
「是的，沒錯，」我答道，「在我們說話時，她看起來不大熱情，非常疲憊。對於我寫的那篇文章，從她給的每個答案中，我都感覺到有大概十多個保密協議的存在。」
「保密協議？」傑克遜笑道，「你開玩笑呢？在谷歌？在新入職的三個星期裡，我一直都在接受有關保密協議的媒體培訓。這是針對每位員工的培訓，不只是像我這樣的公關人員。不然，你覺得我們為什麼一直在推送有關沉思的東西，並向媒體透露職工福利的信息？因為那是唯一能夠應對潛在的知識產權洩露壓力的辦法。正念是話前思考的絕佳工具。」
「當然，你現在就在向我洩露這些細節，我可以把它們寫下來。」我指出。
「沒人會在乎的，約翰。你會聽起來像個有妄想症的怪人。另外，正如我前面說的，你會讓人們疑惑的。」他指指旁邊的水，「人們希望事情簡單。鴨子是壞的，烏龜是好的。就這樣簡單。」他指指自己，「要麼谷歌好，要麼谷歌壞。這才是媒體比較欣賞的故事。」他又指指我，「沒人想要難以理解，甚至更難實施的潛在解決方案。這樣做出來的新聞是沒有價值的。」
他讓我無話可說。一名服務員端著熱氣騰騰的排骨從旁邊走過。「對了，」我說道，「你們紐約辦公室的自助餐廳真是令人吃驚。我吃了一份思慕雪和一份煎蛋卷，一共才花了大概7美元。」
「是的，我們的飲食是全世界最好的。」傑克遜表示贊同。
「所以，當谷歌、亞馬遜和IBM用機器人讓所有人都失業後，我們一家子可以住在你們的辦公室嗎？那樣的話，我就可以追求自己的愛好，享受你們的技術專家所說的自動化能帶來的所謂的好處，可以嗎？」
「不行。」他搖搖頭，「我們並沒有創造資本主義，約翰，我們只是在利用它。當機器人接管所有人的工作時——反正這是不可避免的——我們還是要印錢的。我們之所以僱用庫茲韋爾，是因為奇點是個非常強大的神話，能夠讓很多書獃子夜以繼日地在谷歌總部工作。這樣，他們就可以構建出我們所需的可以自我複製的算法，然後我們再把他們解雇。這就是生命循環。」
我點點頭，「很殘酷。我能理解你們為什麼要推送那些正念的東西了。」
他聳聳肩，「我是谷歌內部的人，約翰。而其他所有人，包括我們的許多員工，他們只不過在努力往裡看而已。所以，你可以假裝自己在做調查新聞，假裝你做的有用。你也只不過和其他所有的猴子一樣，趴在窗前，隔著幾步遠的距離，試圖猜測我們下一步將會做什麼。」他盯著我看了很長時間，然後走開了。
「那麼，每天在你們自助餐廳吃一兩頓飯如何？」我在他身後喊道，「或者來點兒能多益巧克力餡餅？」
「不行，」他答道，沒有回頭，「能多益僅限內部供應。」
「那好吧，」我對自己說，看著那群鴨子從穿著帽衫的傢伙跟前游過，一面尖叫，一面逃離，「那就說明你們壞。」
人工智能正在塑造更好的「消費者」
薩加爾：嗯，那我再問一個問題。谷歌有個著名的口號，叫「不作惡」，對吧？你們是怎麼想出來的？
施密特：哦，那個口號是拉裡和謝爾蓋發明的。他們的想法是，雖然我們不怎麼瞭解什麼是惡，但如果我們有個「不作惡」的規定的話，那員工可能會說：『我覺得那是惡。』我今天在這裡露臉，我覺得這是最最愚蠢的一條規定，因為可能除了《聖經》或其他類似的書上，還沒有什麼書能講什麼是惡。
——選自美國國家公共電台節目《等一等，先別告訴我》， 主播皮特·薩加爾，谷歌嘉賓埃裡克·施密特，2013年5月
2004年7月26日，谷歌向美國證券交易委員會上報了2004年度公開招股說明書。這是私有公司上市的必要文件之一。通過該說明書，準備上市的公司可以向股東宣佈其公司願景和道德理念，以及所要求的財務細節。
下文節選自谷歌的一篇題為「不作惡」的文件，在美國國家公共電台的採訪中曾談論道：
不作惡。我們堅定地相信，從長遠來看，一個為這個世界做好事的公司，哪怕它會放棄短期的利潤，也是會給我們（作為股東並在其他方面）帶來好處的公司。這是我們公司文化的重要組成部分，得到了公司內部的廣泛認可。
而作惡又指什麼呢？很多人在引用谷歌的「不作惡」規定時，都會把上述這段話的其他部分省略。從這個語境來看，把短期利潤當作公司的願景即為「惡」。而為了「為這個世界做好事」，犧牲短期利潤是制定企業戰略的優先指導原則。
根據韋氏詞典，「myth」（神話）一詞有兩層釋義：
1.古代文化故事，意在對某種做法、信仰或自然事件做出解釋。
2.很多人相信的某種想法或故事，通常不是真的。
就谷歌及眾多支持基於監控的廣告的公司而言，這兩層釋義很好地解釋了為什麼說就人工智能而言，我們正處於人類歷史的轉折點。
首先，儘管很容易把谷歌妖魔化，但我沒有任何理由懷疑谷歌創始人希望「避免作惡」的基本原則。而如果哪天他們真的派人威脅我的話，那我要說清楚幾點：
1.我會知道我成了一名真正的作家。
2.如果對峙時還有燒烤和孤星啤酒的話，那簡直太酷了。
3.我們雙方都可以對我的妄想一笑了之，然後暢談宣揚人工智能道德倫理的事宜。
我相信，臉譜網和硅谷的大多數公司也不希望「作惡」。但搜索技術或基於機器學習的人工智能和廣告捆綁在一起的事實卻意味著我們這個體系是在短期利潤的驅動下運行的。根據谷歌的說法，這正符合該公司對「惡」的定義。這也說明谷歌自己定義的企業精神已經成為過去，因為當前推動人工智能技術發展的動力不是幫助我們成為更好的人，而是成為更好的消費者。我們的個人數據就是促進短期利潤上漲的燃油。
第二，正如我在本章開頭的虛構故事中提到的，奇點的神話具有強大的力量和豐富的哲學含義。對於機器何時能獲得感知能力，或者我們何時能實現強人工智能，我們尚且無法達成共識。然而，如今有很多人相信，為基於偏好的廣告創造的算法正對人工智能整體的未來產生著決定性的影響。這是個非常危險的神話。正如知名技術專家、《互聯網衝擊》一書的作者傑倫·拉尼爾在Edge.org網站對其的一次採訪中指出：
我們很難判斷在這些體制下，測量與操縱的界限在哪裡。如果按照理論上的說法，我們可以通過觀察很多人的決定而獲得大數據，然後分析此數據與更多人的相關性，從而提出一些建議。如果這些人中的大多數是在這個體制中成長起來的，並且對所給的任何建議都積極響應，那麼我們就無法再獲得足夠多的新數據。因此，即便是最為理想或最為智能的推薦引擎也不能給出任何有意義的建議。這與其說是惡的興起，倒不如說是無意義的產生。
谷歌及其他推動此類人工智能發展的公司已經覺察到了這種無意義。這是他們極力反對個人數據透明的主要原因。就個人信息而言，模糊的條件與條款或隱私保密政策是一種比過程公開簡單的策略。如果能在互聯網無限的廣告領域中對他或她進行跟蹤，那又何必費勁與顧客建立關係呢？
而我對這種無意義的擔憂在於，它歪曲了人們對幸福的追求。對個人的真實或虛擬活動的無所不在的操縱會造成一定的負面影響。我在Mashable網站上發表過一篇文章，題目為「如果我們不控制自己的數據，人工智能便在劫難逃」。我在文章中寫道：「那些專門趕在我們之前瞭解我們意圖的個性化算法，構成了互聯網經濟的支柱……基於廣告的人工智能通過購買渠道限定了我們的生活，在這些渠道中，我們的慾望只有在和投資收益存在聯繫時才會有存在的意義。」如果我們正朝著自動化智能掌控我們大部分生活的未來前行的話，那麼我們有必要摒棄把購買當作主要功能的偏見。
關於自動化與人工智能之間的關係，我相信在不遠的將來，我們的個人數據可能對收集數據的體制不再有用處。換句話說，我們的生活將不再被看作對這種無意義有貢獻價值的因素。一旦算法發現其操控可以有效地引導我們購物時，我們便只有在能夠買得起他們推薦的東西時才會對該體系有價值。如果支撐互聯網經濟的人工智能體系關注人類幸福的增長的話，那麼衡量成功的標準便要建立在「意義」（purpose）而非「購買」（purchase）的增長的基礎上。同時，由於追求幸福的旅程貫穿了我們的一生，因此，這種衡量標準還應該是不受限制、無窮無盡的。可悲的是，谷歌等公司已經偏離了其基本價值觀，並選擇了短期利潤的神話作為其發展途徑。
與人類價值觀保持一致的人工智能
以下是促成人工智能神話誕生的幾個事實因素：
‧ 沒有人知道機器是否或何時會具有感知能力，或者獲得通用人工智能（AGI），通常也被稱為強人工智能。
‧ 該領域的大多數專家都明白實現強人工智能的困難，並且常常因為普通大眾對其可能的到來懷有「非理性的恐懼」而感到惱怒。
‧ 關於人工智能的創造，尚未形成共同的道德準則或政策。
對於工作在語言分析或機器人領域，且對人工智能的大肆宣傳感到疲倦的科學家和程序員，我抱有深切的同情。這種言論很無聊，導致了兩種極端看法的產生：即人工智能要麼完美無缺，要麼一無是處。你要麼是技術的擁護者，為人工智能所能帶來的巨大好處而興奮不已，要麼是觀念陳舊的勒德分子，到處散佈恐怖信息，阻礙創新。這兩種極端想法都不利於驅散人工智能的神話。多數人工智能專家同時也是倫理學家或經濟學家，他們所接受的訓練或任務，並不能讓他們對其當前工作產生的所有可能後果都予以關注。最後，人工智能領域廣闊無窮，它包括了多個垂直行業和多種應用，這讓建立一套統一的行業標準變得更加複雜。
然而，還有一點是人工智能領域沒有廣泛討論的，它讓公眾有正當的理由害怕：對於如何控制自動化機器或驅動機器運轉的算法，我們尚未建立統一的準則或標準。在這裡，「控制」指的是人類干預或關閉機器的可能性，這涉及軍事人工智能、醫學人工智能、基因組人工智能等領域。
一直讓我很驚訝的是，人工智能開發者有時會開玩笑說，如果機器開始失靈或者做出意料之外的事情，那麼他們只要「拔掉插頭」就可以了。這句話本身就存在著重大的疏漏，除此之外，很多科學家和程序員所創造的系統，使用的都是自動化的設計。根據定義，這些算法應當表現出未經程序設計的行為。而這些程序的運行速度也迫切要求我們弄清楚，如果危機一旦發生，人類干預如何以及何時能夠發揮作用。
我曾接受《赫芬頓郵報》一次關於人工智能的網絡視頻（Huff Post Live）採訪，該視頻題為「為何毫無限制的技術會帶來災難」。視頻的製作是受到知名科學家斯蒂芬·霍金髮表的一篇帖子的啟發，他先前曾表達了自己對於人們不把人工智能當回事兒的擔憂。文章最後，他指出，「那麼，面對未來這些無法預估的好處與風險，只要有專家們在想盡一切辦法以確保取得最好的結局，這就夠了，對嗎？錯……我們所有人都應該質問自己，現在我能做什麼，才能盡可能地獲得益處而避免風險。」
平心而論，我們常常聽到人工智能領域的專家們說，在未來四五十年裡，通用人工智能或強人工智能是不大可能出現的，對此我在開頭的故事片段中已有所提及。他們會舉出無數的例子，說明要達到那個地步還需要克服多少障礙。但是，這種行業內部對具有感知能力的人工智能所持有的謙虛態度，分散了公眾對現今自動化系統中存在的缺點的注意力。
例如，現在已經有大量的軍事人工智能應用在了無人機和導彈打擊上面。正如《紐約時報》刊登的一篇題為「可以挑選襲擊對象的炸彈令人生畏」的文章所指出的那樣，這些武器應用了傳感器以及使其能夠在部署之後做出瞬時決策的技術，「隨著這些武器變得越來越智能、越來越靈敏，評論家們開始害怕它們會變得越來越難以控制」。而這還和機器獲得感知能力沒有任何關係。這裡所涉及的，還只是如何盡可能多地瞭解可能出現的諸多情況，在此基礎上創造自動化系統，從而讓這些系統能夠根據人類的意圖做出反應。
令人驚奇的是，關於弱人工智能或強人工智能的討論，大多會從對艾薩克·阿西莫夫的「機器人學三大法則」的探討開始，該理論於1942年在阿西莫夫的短篇小說《轉圈圈》中提出。阿西莫夫最終又在三條法則的基礎上加上了第四條法則[1]：
0.機器人不得傷害人類，或目睹人類將遭受危險而袖手不管。
1.機器人不得傷害人類個體，或目睹人類個體將遭受危險而袖手不管。
2.機器人必須服從人給予它的命令，當該命令與第一法則衝突時例外。
3. 機器人在不違反第一、第二法則的情況下要盡可能保障自己的生存。
儘管這些「法則」為人們探討應該如何創造自動化系統提供了一個起點，但令人心酸且具有諷刺意味的是，阿西莫夫創造出這些「虛構」的法則，試圖以此說明它們所體現的道德難題。例如，多年來，無人機機器人一直在軍事行動中殺害人類。這一下子就推翻了阿西莫夫的所有法則。這生動地說明，我們不能再依賴這種神話來推動人工智能行業的管制了。
倫斯勒理工學院認知科學學院院長塞爾默· 布林斯約爾德在本書的一次採訪中指出：「問題說起來真的很簡單。在醫療衛生領域，我們絕對希望機器人能夠給人類帶來傷害和疼痛。」布林斯約爾德舉例說，醫用機器人必須能夠給病人打針或者做一些小型手術，而這就會給人帶來疼痛。他研究的一個重要內容就是關注機器人在什麼情況下可以充當戰時醫務助理的角色。這也說明了為何我們需要立刻用人工智能科學家能夠普遍採用的標準來取代那些任意虛構的法則的原因。這種指導方針必須根據機器人或算法的使用語境考慮道德因素，並直接編入運行系統中。這意味著，對於機器人或硬件，這些道德倫理指導方針不會被購買者或使用者以程序員設計之外的方式輕易地進行更改。正如布林斯約爾德所指出的：「你不能簡單地在某個軟件上加一個代碼模塊——擁有部署權的人只會把它扔掉。」
這些想法代表一種「機械化道德思維」，對此，布林斯約爾德在其論文《從機械化道義邏輯到道德機器人》中做了詳細闡述。道義論研究道德義務，且正如其文中指出的，「要構建行為端正的機器人，其中一種方法強調在機械化形式邏輯的行為、義務及可容許性的基礎上進行仔細的道德思考」。其中的關鍵正是這種「可容許性」——機器人只可以依據程序員編寫進其運行系統中的具體道德參數做出反應，而不是讓自動化智能根據某些模糊甚至是自相矛盾的法則運行，比如阿西莫夫提出的法則。
這正是大多數人工智能程序員不願處理這些道德問題的真正原因。這些問題實在是太難了。
但對於人工智能程序的運行，也存在著某些不變的東西，對人工智能道德規範的建立會有所幫助。對此，著名科學家史蒂夫·奧莫亨德羅在其文章《自動化技術與更遠大的人類福祉》中已經提及。他因在機器學習和人工智能的社會影響等方面的研究而為人們所知。他指出，大部分的自動化系統都具有「以自我保護、資源獲取、複製和高效為統一驅動目標」的特點。對於人工智能來說，這些細節特點是有好處的，能為我們提供一個實際框架來弄清楚如何約束系統，從而避免產生人類干預控制之外的危害，而不是去研究如何限制創新。
我說的「失靈的神話」就是這個意思。沒錯，利用C程序設計語言可能產生的錯誤或許比其他種類的代碼要多，但人類在創造人工智能技術方面會犯錯誤，這已經是個已知前提。我有個程序員朋友，在一家大型出版公司工作。當我們談到人工智能時，他說人們如果看到代碼錯誤百出，一定會驚恐不安的。用他的話來說，「如果把編寫代碼比作建造房屋，那我們永遠只能住在一層的建築裡，因為其他的一切都會倒塌」。
對此，我們更大的擔憂在於，在封閉或受保護的系統之外進行「學習」的軟件創造尚且缺乏行業標準。打個比方，想像一種身體病毒，它非常危險，且有可能致命。但如果把它控制在醫院裡的話，它就不會產生大範圍的危害。自動化系統與此類似。奧莫亨德羅在文章中用古建築家們修建石拱的過程來比擬創造安全的人工智能系統的過程：在不使用木模板的情況下修建石拱，不僅危險，而且效率低下。但如果先搭建木質結構，然後把石頭嵌進去，建築家就可以更加安全地工作。他在文中寫道：
我們可以採用類似的方式來發展自動化技術。我們可以先構建一系列可以證實很安全的自動化系統，然後將之用於構建更為強大且限制更少的後繼系統。之前的系統用來模擬人類價值觀和治理結構。同時，它也用來證明安全性及其他更為複雜且限制更少的後繼系統可能需要的特性。這樣，我們便可以逐層地建起強大的技術高樓，從而更好地為人類的福祉而服務，而且在發展的過程中也不會存在較大的風險。
值得慶幸的是，奧莫亨德羅的觀點逐漸引起了人工智能領域的注意，而且統一控制自動化系統的概念也漸漸獲得關注。加州大學伯克利分校計算機科學和工程學教授斯圖爾特·拉塞爾贊同奧莫亨德羅的觀點，認為智能系統將會竭力獲取完成指定任務所需的任何資源，以保證其自我的存在。在針對Edge.org網站對傑倫·拉尼爾的採訪的一篇評論中，拉塞爾從實用主義出發，號召人工智能行業避免陷入進一步的神話誤導：
整個領域裡還沒有人號召對基礎研究進行規範。鑒於人工智能可能為人類帶來的好處，目前這種做法似乎是行不通的，而且走錯了方向。正確的做法似乎應該是改變領域本身的目標，我們應該開發可以被證明能與人類價值觀保持一致的智能，而不是純粹的智能……如果我們能明白這個問題是人工智能內在本質的一部分，就好比遏制政策是現代核聚變研究內在本質的一部分一樣，那麼我們還是有理由保持樂觀的。我們不能把這個世界帶往不幸的結局。
當然，若要創造「可被證明能與人類價值觀保持一致」的人工智能，人類應該首先弄清楚要把哪些價值觀編入對我們生活的影響日益深入的機器中。同時，我們每個人也要追蹤並梳理個人的價值觀。而且，我們還要確保每一個創造自動化系統的人，能夠以和開發核技術同樣強的責任心來對待自己的工作。
這裡有一些好消息——在本書初步定稿時，奧莫亨德羅、拉塞爾等思想領袖，以及眾多人工智能領域的專家共同簽署了一份請願書，由未來生命研究所編寫，名為「穩健有益的人工智能的優先研究項：一封公開信」。文中包含一個關於優先研究項的文本鏈接，突出強調了人工智能領域應該關注的諸多問題，例如道德問題及有關遏制的想法。以下是摘自此公開信上的一段話：
人工智能研究取得的進展證明，先前的研究僅僅關注如何讓人工智能更加強大，而如今正是開始關注如何讓人工智能的社會效益最大化的恰當時機……我們建議擴大研究範圍，確保越來越強大的人工智能系統既保持勃勃生機，又能帶來好處：我們創造的人工智能系統必須能做我們想讓它們做的事情……這類研究必然是跨學科的，因為它涉及整個社會和人工智能，包括經濟學、法律、哲學、計算機安全、形式方法等，當然也包括人工智能本身的各個分支領域。
關於這封請願書，後文還會詳細論述。但這裡有必要提一下，請願書中的優先研究項列表為研究人工智能提供了一系列卓越的指導方針。我尤其喜歡該文第2.4部分的條款，重點討論了人工智能經濟效益的最優化：「實際人均國內生產總值等經濟衡量方法可能無法精確地反映深度依賴人工智能及自動化的經濟所具有的優缺點，從而說明這些度量指標不適合用於政策的制定。研究優化的度量指標可能更有利於決策。」
對此，我非常贊同。就人工智能和我們的未來而言，這份文件使我燃起了前所未有的深切希望。然而，對於該文檔的這一條款，我可以做進一步補充，不管是人工智能經濟，還是以人為中心的經濟，實際的國內生產總值都「絕對無法精確地捕捉」其廣度。或許，谷歌和人工智能領域中的好人能夠通過某些算法一勞永逸地證明追逐短期利潤不能帶來未來的幸福。這個神話蒙蔽我們的全局意識的時間已經夠長了。
算法不僅僅是毫無害處的代碼
算法的創造需要道德的指導，這種想法似乎有違直覺。畢竟算法看起來只不過是毫無害處的代碼而已。但是，我們應該把重點放在梳理我們不想失去的人類價值觀上面，而不是擔心將來的某天人工智能機器會統治世界。
以下是本章要點總結：
廣告驅動的算法導致了無意義的產生。這裡所說的無意義既是字面意義，又是比喻意義。除了人類在創造這些系統中的算法時所犯的錯誤之外，大多數程序都可以被黑客輕易地侵入。數據代理商向出價最高者出售我們的信息，而整個系統都是以購買為基礎進行推測，而不是以意義為基礎。如果人類終將被機器斬草除根的話，那我們至少應該努力不讓這成為一場受市場驅使的大屠殺。
我們應該在生存危機來臨之前制定道德標準。如今，大部分的人工智能都正以不斷加快的速度發展。因為在我們決定它是否「應該」被開發出來之前，它是「可以」進行開發的。在整個人工智能行業，程序員和科學家們既需要經濟激勵，又要遵守道德標準，這要從「今天」開始。未來生命研究所的請願書為這方面的探討開了個很好的頭兒。
價值觀是未來的關鍵。不管是否違反直覺，人類的價值觀都需要被編入人工智能系統的核心，從而控制它們可能帶來的危害。沒有什麼簡單的變通方法。我們要用務實的、可擴展的解決方法，取代那些像阿西莫夫虛構的機器人法則或谷歌已經過時的使命宣言一樣出於善意的神話。
或許人類與機器合為一體是我們注定的命運，但因為計劃不周而產生的生存威脅可能會帶來資源被摧毀的風險，而這可能讓所有相關方一同毀滅。只看重眼前利益的短淺目光正一步步無情地把我們推向毀滅。是時候把價值觀當作我們工作的基礎了，不管是以生物還是機器的形式，它都可以增強我們長遠的幸福感。
[1] 即「零規則」，超越了此前的三大法則。——編者注