📖 ZKIZ Archives

供給端沖擊很快消散 國際油價難覓曙光

原油價格周四再度承壓，因此前籠罩在沙特和利比亞的供給端受沖擊的陰影消散，且美元再度大幅走強。

昨日有消息稱沙特輸油管道爆炸，同時利比亞最大油田——El Sharara油田被武裝分子占領導致停產，這兩個消息一度導致國際油價走高。

但是漲幅很快就被抹去，因有報告顯示利比亞Sharara油田很快就能複工，同時投資者還發現沙特發生爆炸的管線並不是出口原油所用，所以對國際原油供給不會產生影響。

布倫特原油12月期貨合約周四下跌50美分至82.4美元/桶，接近周三創下的4年低點81.63美元/桶；美國WTI原油12月期貨合約下跌1.33美分，至76.33美元.桶，周三時曾創下75.84美元/桶的三年多新低。

“考慮到市場負面情緒的強度，我們預計利比亞的供給沖擊只能對油價產生有限的支撐，任何Sharara油田將複工的消息都將再次施壓油價。”Energy Aspects分析師Richard Mallinson表示。

此外，歐洲央行行長德拉吉周四表態應做好必要時支持更多刺激措施的準備，並暗示歐洲央行有近萬億歐元刺激空間。同時美國初請失業金人數低於預期。上述消息導致美元大幅走強，美元指數大漲0.7%升破88關口，以美元計價的原油承壓。

本周早些時候的數據顯示市場炒家已經將美國原油多頭押註削減至2013年初以來最低水平。因擔憂供給不斷上升而需求增長不斷下降，原油價格自6月中旬以來下跌超過四分之一。

（更多精彩財經資訊，點擊這里下載華爾街見聞App)

為什麽阿里巴巴這麽牛？很快全球網購金額加起來都不及中國！

中國消費者正在慶祝雙11，截止今天下午1:30，中國消費者在阿里巴巴已經花了近60億美元。去年，中國消費者花了一整天來達到這個消費額。

這顯示了中國電子商務市場增速之快。

光棍節僅僅是個開始。中國電子商務將變得更大。摩根士丹利認為，到2018年，中國電子商務將超過世界其他國家的總和。

按照目前的發展速度，到2018年，中國人每消費5元，就有1元是網購。

消費者信心幫助推動電子商務銷售增長。人們網購經驗越豐富，他們花得就越多。

另外，相比於發達國家，中國實體零售設施薄較為薄弱。

大城市以外的區域的實體店尤為落後，這就是為什麽大部分網購的增長來自小城鎮。近60%的活躍移動設備來自三線或更小的城市。而今年上半年，近四分之一的網絡銷售來自移動端。

阿里巴巴上市以來，股價一路飆升。昨日阿里巴巴上漲4.01%，至119.15美元，較68美元的IPO價格上漲75%。

（更多精彩財經資訊，點擊這里下載華爾街見聞App)

為什麽阿里巴巴這麽牛？很快全球網購金額加起來都不及中國！

中國消費者正在慶祝雙11，截止今天下午1:30，中國消費者在阿里巴巴已經花了近60億美元。去年，中國消費者花了一整天來達到這個消費額。

這顯示了中國電子商務市場增速之快。

光棍節僅僅是個開始。中國電子商務將變得更大。摩根士丹利認為，到2018年，中國電子商務將超過世界其他國家的總和。

按照目前的發展速度，到2018年，中國人每消費5元，就有1元是網購。

消費者信心幫助推動電子商務銷售增長。人們網購經驗越豐富，他們花得就越多。

另外，相比於發達國家，中國實體零售設施薄較為薄弱。

大城市以外的區域的實體店尤為落後，這就是為什麽大部分網購的增長來自小城鎮。近60%的活躍移動設備來自三線或更小的城市。而今年上半年，近四分之一的網絡銷售來自移動端。

阿里巴巴上市以來，股價一路飆升。昨日阿里巴巴上漲4.01%，至119.15美元，較68美元的IPO價格上漲75%。

（更多精彩財經資訊，點擊這里下載華爾街見聞App)

法興：日元很快將暴跌進而引發全球“通縮浪潮” 中國首當其沖

法國興業銀行分析師Albert Edwards近日發布報告稱，日元大幅貶值將迫使整個亞洲地區采取同樣程度的貶值，並向西蔓延，產生一波通縮大潮。“通縮的大浪潮”最先沖擊的將是中國，其生產價格已持續下降。

Edwards提醒投資者要關註日元對美元的表現。下圖顯示了1986年以來的日元對美元走勢。

在一份寫給客戶的郵件中，Edwards預測日元將於明年三月底之前，大幅貶值到145。他預計日元的關鍵支撐位120將會很快被突破，日元將跌至2002年的水平。

“日元將跌穿十幾年來的支撐位120。就我看來可能性很大的是，一旦日元跌破120以後將很快達到145。這將迫使整個亞洲地區采取同樣程度的貶值，進而將西方卷入產生一波通縮大潮。“

Edwards表示“通縮的大浪潮”最先沖擊的將是中國，那里的生產價格已經持續下降。

“在PPI歷史性的連續32個月下降之後，中國過去三年面臨的生產價格指數（PPI）的通縮水平已經達到97亞洲危機之後的通縮水平。你覺得投資者真的認為中國可以應對日元的大幅貶值嗎？他們肯定不能接受。他們會主動貶值。“

周二，日元對美元暴跌至七年新低，達到115.7附近。今年十月底，日本銀行出人意料的宣布刺激政策後日元大幅貶值。而本周早些時候的關於安倍首相呼籲提前大選的消息，讓日元再次下挫。這次投票可能會提振安倍的政治支持，從而讓投資者預期，安倍的鴿派經濟政策將會繼續。

Edwards表示：

“我認為，日本如此大規模的QE投入市場，將會使日本失去對局勢的控制，除非美國、歐元區或韓國做好準備采取類似日本的QE。呼籲貨幣穩定幾乎不會發揮作用。”

（實習編輯 戴博）

（更多精彩財經資訊，點擊這里下載華爾街見聞App)

1歐元很快將換不回1美元

周四歐央行宣布600億歐元/月的資產購買計劃後，歐元重挫至11年新低，並且其“漫漫熊途”可能還長的很。

布朗兄弟哈里曼(Brown Brothers Harriman，BBH)的全球貨幣策略負責人Marc Chandler預測，歐元對美元匯率將跌破1:1，也就是所謂的“平價”。歐元在去年五月上行接近1.4000後掉頭下跌，至昨夜已經觸及1.1362，跌幅超過18.8%。

“不管你同不同意我的觀點，美聯儲都將在今年中期加息，”Chandler在今日接受CNBC采訪時表示，“歐洲央行、日本央行以及美聯儲之間的的政策差異將越來越大...我認為歐元（對美元）將在明年跌至平價以下。”

“我認為歐元將跌至2000年至2001年的水平，當時匯價在0.9以下。”Chandler補充道。

Chandler還認為，盡管美元已經漲了很多但“我們還處在美元多年大牛市的早期階段。”

不過Chandler並不認為“全球貨幣戰爭”正在進行，他認為“這不是競相貶值本幣的戰爭，這是一場用低利率抗擊通縮的賽跑。”通縮的原因部分因為商品價格走低，此外還有需求疲軟。另外也因為缺乏結構性改革。

他預期歐洲央行將采取措施進一步削弱歐元。但這和貨幣戰爭不同，“在貨幣戰爭中，你相當於從別國借入或偷取需求，”他稱，“低利率卻能刺激所有人的需求，這不是一個零和遊戲。”

（更多精彩財經資訊，點擊這里下載華爾街見聞App)

對沖基金大佬：做投資管理 機器將很快取代人類

管理89億美元資產的對沖基金BlueTrend總裁Leda Braga預計，傳統的投資方式可能很快面臨“系統”電腦模型的嚴峻挑戰，隨著這種管理技術成本降低，效率提高，人類基金經理的一些工作崗位會被裁撤。這是業內人士對機器技術革新會改變金融業從業格局的最新警告。

據英國《金融時報》報道，Braga表示，系統電腦模型算法未來會成為對沖基金管理的主流方式。她將這種變化的趨勢類比為鐘表業的改變，稱“現在還有工匠制表的一席之地。但如果真想以高效的方式知道時間，你就要買一塊電子石英表了。”

Braga去年專門成立了一只利用上述電腦算法交易的對沖基金Systematica Investments。她認為，電腦系統無法達到人類基金經理解讀市場環境和心理的水平，但人類經理永遠無法像系統算法管理基金那樣追蹤大量信息。上述報道援引Braga評論稱：

“我們的股票基金交易4500只股票，人類很難追蹤並管理這麽多股票的風險。”

上月彭博預計，對沖基金業去年全年平均回報僅2%。彭博報道還援引芝加哥對沖基金研究機構的數據推測，去年清盤的對沖基金將突破千家，成為2009年以來業內表現最差的年份。而在行業普遍表現不佳的環境下，去年BlueTrend的回報率達到12.7%，成績突出。

去年10月華爾街見聞文章提過機器人顧問這種在線財富管理服務對金融業的威脅。兩家標榜為機器人顧問平臺的美國公司收取費用均明顯低於業內水平。文章稱：

Wealthfront公司對第一筆1萬美元不收任何費用，之後的管理費用為資金的0.25%。Betterment公司則收取0.15％-0.35%的管理費，具體比例取決於資金的規模。這兩家公司對ETF投資額外抽取0.15%的分紅費用。
投資者的成本加起來不高於0.5%，這比業內通常1.5%－2%的標準費用低的多。

上述文章警告，如果計算機算法提供的金融服務可以滿足大多數投資者的需求，投資業可能會遭受利潤縮水之痛，就像印刷行業一樣，甚至有可能更糟。

機器人顧問的業務已在迅速成長。上月華爾街見聞文章援引金融服務業研究機構Corporate Insight的分析數據稱，自去年4月該機構首次收集相關數據以來，11家在機器人顧問領域領先的機構管理資產增加了65%，管理規模增至190億美元。

（更多精彩財經資訊，點擊這里下載華爾街見聞App)

我們將永生還是滅絕？ 人工智能很快會給出答案（上）

通往強人工智能的第一步：增加電腦處理速度

1）超人工智能的出現，將有史以來第一次，將物種的永生這個吸引態變為可能。

2）超人工智能的出現，將造成非常巨大的沖擊，而且這個沖擊可能將人類吹下平衡木，並且落入其中一個吸引態。

 

本文譯者謝熊貓君，譯文最早刊發於知乎。可到知乎@謝熊貓君找到他。大家也通過微信號關註waitbutwhy的最新文章，微信號：waitbutwhy。
 

本文不代表本刊觀點和立場。

本文為i黑馬版權所有，轉載請註明出處，侵權必究。

我們將永生還是滅絕？人工智能很快會給出答案（下）

譯/謝熊貓君

編輯/蒲鴿

為什麽未來會是天堂？

研究人工智能這個領域後，我發現有比預期的多得多的人站在信心角當中：

站在信心角中的人非常興奮，他們認為他們講走向平衡木下比較有趣的那個吸引態，未來將實現他們的夢想，他們只需耐心等待。

把這一部分人從其他思想家區分開來的是這些人對於比較有趣的那個吸引態的欲望——他們很有信心永生是我們的發展方向。

這份信心是哪里來的不好說，評論家認為是這些人太過興奮而產生了盲點，忽略了可能的負面結果。但是信心角的人還是把批評者當作末日論者來看待，他們認為技術會繼續幫助我們而不是傷害我們。

兩邊的觀點我們都會說，這樣你能形成自己的觀點，但是在讀下面的內容前，請把質疑暫時擱置，讓我們看看平衡木兩邊究竟有什麽，並且記住這些事情是有可能發生的。如果我們給一個打獵采集者看我們現在的舒適家居、技術、富庶，在他眼里這一切也會像魔法一樣——我們也要接受未來完全可能出現能把我們嚇尿的變革。

Bostrom描述了三種超人工智能可能的工作模式

- 先知模式：能準確回答幾乎所有的問題，包括對人類來說很困難的複雜問題，比如“怎樣造一個更好的汽車引擎？”

– 精靈模式：能夠執行任何高級指令，比如用分子組合器造一個更好的汽車引擎出來

– 獨立意誌模式（sovereign）:可以執行開放式的任務，能在世界里自由活動，可以自己做決定，比如發明一種比汽車更快、更便宜、更安全的交通模式。

這些對人類來說很複雜的問題，對於一個超級智能來說可能就像“我的筆掉了，你能幫我撿一下嗎？”這麽簡單。

Eliezer Yudkowsky，是這麽說的：

“根本沒有困難的問題，只有對於特定級別的智能來說難的問題。在智能的階梯上走一小步，一些不可能的問題就變得簡單了，如果走一大步，所有問題都變得簡單了。”

信心角里有很多熱忱的科學家、發明家和創業者，但是對於人工智能的未來最有發言權的，當屬Ray Kurzweil。

對於Kurzweil的評價非常兩極化，既有如對神人般的崇拜，也有翻白眼似的不屑。也有一些中立主義者，比如作家Douglas Hofstadter，他覺得Kurzweil的觀點就好像把美食和狗屎混在一起，讓你分不清是好是壞。

不管你同不同意Kurzweil的觀點，他都是一個牛人。他年輕時候就開始搞發明，之後幾十年發明了很多東西，比如第一臺平板掃描儀，第一臺能把文字轉化為語言的掃描儀（盲人使用），著名的Kurzweil音樂合成器（第一臺真正意義上的電子鋼琴），以及第一套商業銷售的語音識別系統。他是五本暢銷書的作者。他很喜歡做大膽的預測，而且一直很準，比如他80年代末的時候預測到2000年後因特網會成為全球級的現象。他被《華爾街日報》成為“不休的天才”，被《福布斯》稱為“終極思想機器”，被《Inc.》稱作“愛迪生真正的傳人”，被比爾蓋茨稱為“我認識的對人工智能預測最厲害的人。”2012年谷歌創始人Larry Page曾邀請他擔任谷歌的工程總監，2011年他共同創立了奇點大學（Singularity University），現在大學由美國太空總署運運營，由谷歌贊助。

Kurzweil的經歷很重要，因為當他講述自己對未來的願景時，他聽起來就是個瘋子，但是他不瘋，恰恰相反，他非常聰明而有知識。你可能覺得他對於未來的想法是錯的，但是他不傻。知道他是一個聰明人讓我很開心，因為當我知道他對未來的預測後，我急切的很希望他的預測是對的。信心角中的很多思想家都認同Kurzweil的預測，他也有很多粉絲，被稱為奇點主義者。

時間線

Kurzweil相信電腦會在2029年達成強人工智能，而到了2045年，我們不但會有超人工智能，還會有一個完全不同的世界——奇點時代。他的人工智能時間線曾經被認為非常的狂熱，現在也還是有很多人這麽認為，但是過去15年弱人工智能的快速發展讓更多的專家靠近了Kurzweil的時間線。雖然他的時間線比之前提到的2040年和2060年更加早，但是並沒有早多少。

Kurzweil的奇點時代是三個技術領域的共同革命造成的——生物技術、納米技術和最重要的人工智能技術。

在我們繼續討論人工智能前，讓我們談一下納米技術這個任何關於人工智能的討論都會涉及到的領域：

納米技術

納米技術說的是在1-100納米的範圍內操縱物質的技術。一納米是一米的十億分之一，是一毫米的一百萬分之一。1-100納米這個範圍涵蓋了病毒（100納米長），DNA（10納米寬）， 大分子比如血紅蛋白（5納米），和中分子比如葡萄糖（1納米）。當我們能夠完全掌握納米技術的時候，我們離在原子層面操縱物質就只差一步了，因為那只是一個數量級的差距（約0.1納米）。

 

要了解在納米量級操縱物質有多困難，我們可以換個角度來比較。國際空間站距離地面431公里。如果一個人身高431公里，也就是他站著能夠頂到國際空間站的話，他將是普通人類的25萬倍大。如果你把1-100納米放大25萬倍，你算出的是0.25毫米-25毫米。所以人類使用納米技術，就相當於一個身高431公里的巨人用沙子那麽大的零件搭精巧的模型。要如果要達到原子級別操縱物質，就相當於讓這個431公里高的巨人使用0.025毫米大的零件。

 

關於納米技術的思考，最早由物理學家費曼在1959年提出，他解釋道：“據我所知，物理學的原理，並不認為在原子級別操縱物質是不可能的。原則上來說，物理學家能夠制造出任何化學家能寫出來的物質——只要把一個個原子按照化學家寫出來的放在一起就好了。”其實就是這麽簡單，所以我們只要知道怎樣移動單個的分子和原子，我們就可以造出任何東西。

 

工程師Eric Drexler提出納米級組裝機後，納米技術在1986年成為了一門正經的學科。納米級組裝機的工作原理是這樣的：一個牛逼掃描儀掃描物件的3D原子模型，然後自動生成用來組裝的軟件。然後由一臺中央電腦和數萬億的納米“機器人”，通過軟件用電流來指揮納米機器人，最後組成所需要的物件。

————————

再扯遠一點

納米技術有一些不是那麽有趣的部分——能夠制造數萬億的納米機器人唯一合理的方法就是制造可以自我複制的範本，然後讓指數級增長來完成建造任務。很機智吧？

是很機智，但是這一不小心就會造成世界末日。指數級增長雖然能很快的制造數萬億的納米機器人，但這也是它可怕的地方——如果系統出故障了，指數級增長沒有停下來，那怎麽辦？納米機器人將會吞噬所有碳基材料來支持自我複制，而不巧的是，地球生命就是碳基的。

 

地球上的生物質量大概包含10^45個碳原子。一個納米機器人有10^6個碳原子的話，只需要10^39個納米機器人就能吞噬地球上全部的生命了，而2^130約等於10^39，也就是說自我複制只要進行130次就能吞噬地球生命了。科學家認為納米機器人進行一次自我複制只要100秒左右，也就是說一個簡單的錯誤可能就會在3.5小時內毀滅地球上全部的生命。

 

更糟糕的是，如果恐怖分子掌握了納米機器人技術，並且知道怎麽操縱它們的話，他可以先造幾萬億個納米機器人，然後讓它們散播開來。然後他就能發動襲擊，這樣只要花一個多小時納米機器人就能吞噬一切，而且這種攻擊無法阻擋。未來真的是能把人嚇尿的。

————————
等我們掌握了納米技術後，我們就能用它來制造技術產品、衣服、食物、和生物產品，比如人造紅細胞、癌癥細胞摧毀者、肌肉纖維等等。而在納米技術的世界里，一個物質的成本不再取決於它的稀缺程度或是制造流程的難度，而在於它的原子結構有多複雜。在納米技術的時代，鉆石可能比橡皮擦還便宜。

 

我們還沒掌握這種技術，我們甚至不知道我們對於達成這種技術的難度是高估了還是低估了，但是我們看上去離那並不遙遠。Kurzweil預測我們會在21世紀20年代掌握這樣的技術。各國政府知道納米技術將能改變地球，所以他們投入了很多錢到這個領域，美國、歐盟和日本至今已經投入了50億美元。

 

設想一下，一個具有超級智能的電腦，能夠使用納米級的組裝器，是種什麽樣的體驗？要記得納米技術是我們在研究的玩意兒，而且我們就快掌握這項技術了，而我們能做的一切在超人工智能看來就是小兒科罷了，所以我們要假設超人工智能能夠創造出比這要發達很多很多的技術，發達到我們的大腦都沒有辦法理解。

因此，當考慮“如果人工智能革命的成果對我們是好的”這個命題的時候，要記得我們根本沒法高估會發生什麽。所以就算下面對於超人工智能的預測顯得太不靠譜，要記得這些進展可能是用我們沒有辦法想象的方法達成的。事實上，我們的大腦很可能根本沒法預測將會發生什麽。

—————-

人工智能能為我們做什麽？

擁有了超級智能和超級智能所能創造的技術，超人工智能可以解決人類世界的所有問題。氣候變暖？超人工智能可以用更優的方式產生能源，完全不需要使用化石燃料，從而停止二氧化碳排放。然後它能創造方法移除多余的二氧化碳。癌癥？沒問題，有了超人工智能，制藥和健康行業將經歷無法想象的革命。世界饑荒？超人工智能可以用納米技術直接搭建出肉來，而這些搭建出來的肉和真肉在分子結構上會是完全相同的——換句話說，就是真肉。

納米技術能夠把一堆垃圾變成一堆新鮮的肉或者其它食品，然後用超級發達的交通把這些食物分配到世界各地。這對於動物也是好消息，我們不需要屠殺動物來獲得肉了。而超人工智能在拯救瀕危物種和利用DNA複活已滅絕物種上面也能做很多事情。超人工智能甚至可以解決複雜的宏觀問題——我們關於世界經濟和貿易的爭論將不再必要，甚至我們對於哲學和道德的苦苦思考也會被輕易的解決。

但是，有一件事是如此的吸引人，光是想想就能改變對所有事物的看法了：

幾個月前，我提到我很羨慕那些可能達成了永生的文明。但是，現在，我已經在認真的考慮達成永生這個事情很可能在我們有生之年就能達成。研讀人工智能讓你重新審思對於所有事情的看法，包括死亡這一很確定的事情。

自然演化沒有理由讓我們活得比現在更長。對於演化來說，只要我們能夠活到能夠生育後代，並且養育後代到能夠自己保護自己的年紀，那就夠了——對演化來說，活30多歲完全夠了，所以額外延長生命的基因突變並不被自然選擇所鐘愛。這其實是很無趣的事情。

而且因為所有人都會死，所以我們總是說“死亡和繳稅”是不可避免的。我們看待衰老就像看待時間一樣——它們一直向前，而我們沒有辦法阻止它們。

但是這個假設是錯的，費曼曾經寫道：

“在所有的生物科學中，沒有任何證據說明死亡是必需的。如果你說你想造永動機，那我們對於物理學的研究已經讓我們有足夠的理論來說明這是不可能的。但是在生物領域我們還沒發現任何證據證明死亡是不可避免的。也就是說死亡不一定是不可避免的，生物學家早晚會發現造成我們死亡的原因是什麽，而死亡這個糟糕的‘病’就會被治好，而人類的身體也將不再只是個暫時的容器。”

事實上，衰老和時間不是綁死的。時間總是會繼續前進的，而衰老卻不一定。仔細想想，衰老只是身體的組成物質用舊了。汽車開久了也會舊，但是汽車一定會衰老嗎？如果你能夠擁有完美的修複技術、或者直接替換老舊的汽車部件，這輛車就能永遠開下去。人體只是更加複雜而已，本質上和汽車是一樣的。

Kurzweil提到由Wifi連接的納米機器人在血液中流動，可以執行很多人類健康相關的任務，包括日常維修，替換死去的細胞等等。如果這項技術能夠被完美掌握，這個流程（或者一個超人工智能發明的更好的流程）將能使人的身體永遠健康，甚至越活越年輕。一個60歲的人和一個30歲的人身體上的區別只是物理上的，只要技術足夠發達我們是能改變這種區別的。

超人工智能可以建造一個“年輕機器”，當一個60歲的人走進去後，再出來時就擁有了年輕30歲的身體。就算是逐漸糊塗的大腦也可能年輕化，只要超人工智能足夠聰明，能夠發現不影響大腦數據的方法來改造大腦就好了。一個90歲的失憶癥患者可以走進“年輕機器”，再出來時就擁有了年輕的大腦。這些聽起來很離譜，但是身體只是一堆原子罷了，只要超人工智能可以操縱各種原子結構的話，這就完全不離譜。

Kurzweil的思維繼續跳躍了一下，他相信人造材料將越來越多的融入人體。最開始，人體器官將被先進的機械器官所代替，而這些機械器官可以一直運行下去。然後我們會開始重新設計身體，比如可以用自我驅動的納米機器人代替血紅細胞，這樣連心臟都省了。Kurzweil甚至認為我們會改造自己的大腦，使得我們的思考速度比現在快億萬倍，並且使得大腦能和雲存儲的信息進行交流。

我們能獲得的新體驗是無窮的。人類的性愛，使得人們不但能生育，還能從中享樂。Kurtzweil認為我們可以對食物做同樣的改造。納米機器人可以負責把身體需要的營養物質傳送到細胞中，智能的將對身體不好的東西排出體外——就像一個食物避孕套一樣。納米技術理論家Robert A. Freitas已經設計了一種紅細胞的替代品，能夠讓人快速沖刺15分鐘不需要呼吸——那麽超人工智能能對我們的身體能力做的改造就更加難以想象。虛擬現實將擁有新的意義——體內的納米機器人將能控制我們從感官獲得的信號，然後用別的信號替代他們，讓我們進入一個新的環境，在新環境里，我們能聽、看、聞、觸摸。。。

最終，Kurzweil認為人類會完全變成人工的。有一天當我們看到生物材料，然後覺得生物材料實在太原始了，早年的人體居然是用這樣的東西組成的，早期的人類居然會被微生物、意外、疾病殺死。這就是Kurzweil眼中人類最終戰勝自己的生理，並且變得不可摧毀和永生，這也是平衡木的另一個吸引態。他深深的想象我們會達到那里，而且就在不久的將來。

Kurzweil的想法很自然的受到了各方的批評。他對於2045年奇點時代的到來，以及之後的永生的可能性受到了各種嘲笑——“書呆子的狂歡”、“高智商人士的創始論”等等。也有人質疑他過於樂觀的時間線，以及他對人腦和人體的理解程度，還有他將摩爾定於應用到軟件上的做法。有很多人相信他，但有更多人反對他。

但是即使如此，那些反對他的專家並不是反對他所說的一切，反對他的人說的不是“這種事情不可能發生”，而是說“這些當然可能發生，但是到達超人工智能是很難的。”連經常提醒我們人工智能的潛在威脅的Bostrom都這麽說：

很難想象一個超級智能會有什麽問題是解決不了，或是不能幫著我們解決的。疾病、貧困、環境毀滅、各種不必要的苦難，這些都是擁有納米科技的超級智能能夠解決的。而且，超級智能可以給我們無限的生命，這可以通過停止或者逆轉衰老來達成，也可以讓我們上傳自己的數據。一個超級智能還能讓我們大幅度提高智商和情商，還能幫助我們創造這種有趣的體驗世界，讓我們享樂。

這是Bostrom這個明顯不在信心角的人的觀點，但也是很多反對Kurzweil的專家的觀點，他們不覺得Kurzweil是在說夢話，只是覺得我們首先要安全達成超人工智能。這也是為什麽我覺得Kurzweil的觀點很有傳染性，他傳達了正面的信息，而這些事情都是可能的——如果超人工智能是個仁慈的神的話。

對信心角的最有力的批評，是那些信心角里的人都低估了超人工智能的壞處。Kurzweil對的暢銷書《The Singularity is Near》700多頁，只有20頁用來討論人工智能的危險。前面提到，當超人工智能降臨時我們的命運取決於誰掌握這股力量，以及他們是不是好人。Kurzweil的回答是“超人工智能正從多方的努力中出現，它將深深的融入我們文明的基建中。它會親密的被捆綁在我們的身體和大腦中，它會反映我們的價值，因為它就是我們。”

但如果答案就是這樣的話，為什麽這個世界上最聰明的一些人會很擔憂？為什麽霍金會說超人工智能會毀滅人類？為什麽比爾蓋茨會不理解為什麽有人不為此擔憂？為什麽馬斯克會擔心我們是在召喚惡魔？為什麽那麽多專家擔心超人工智能是對人類最大的威脅？這些站在焦慮大道上的思想家，不認同Kurzweil對於人工智能的危險的粉飾。他們非常非常擔心人工智能革命，他們不關註平衡木下比較有趣的那一個吸引態，而是盯著平衡木的另一邊，而他們看到的是可怕的未來，一個我們未必能夠逃離的未來。

___________

未來可能是我們最糟的惡夢

我想了解人工智能的一個原因是“壞機器人”總是讓我很困惑。那些關於邪惡機器人的電影看起來太不真實，我也沒法想象一個人工智能變得危險的真實情況。機器人是我們造的，難道我們不會在設計時候防止壞事的發生嗎？我們難道不能設立很多安全機制嗎？再不濟，難道我們不能拔插頭嗎？而且為什麽機器人會想要做壞事？或者說，為什麽機器人會“想要”做任何事？我充滿疑問，於是我開始了解聰明人們的想法。這些人一般位於焦慮大道：

焦慮大道上的人並不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位於圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨立的陣營，他們認同極好和極壞兩種可能，但是不確定究竟會是哪個。

焦慮大道上的人是部分為超人工智能感到興奮的——他們只是很擔心人類現在的表現就好像《奪寶奇兵》中的這位少年：

他拿著自己的鞭子和寶物，非常開心，然後他就掛了：

同時，印第安納瓊斯則更加有見識和更加謹慎，了解潛在的危險並且做出相應的反應，最後安全逃出了山洞。當我了解了焦慮大道的人們的想法後，感覺就像“我們現在傻呵呵的，很容易像前面那小子一樣被弄死，還是努力做印第安納瓊斯吧。”

那究竟是什麽讓焦慮大道的人們如此焦慮呢？

首先，廣義上來講，在創造超人工智能時，我們其實是在創造可能一件會改變所有事情的事物，但是我們對那個領域完全不清楚，也不知道我們到達那塊領域後會發生什麽。科學家Danny Hillis把這個比作“就好像單細胞生物向多細胞生物轉化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創造什麽鬼。”

Bostrom則擔憂創造比自身聰明的東西是個基礎的達爾文錯誤，就好像麻雀媽媽決定收養一只小貓頭鷹，並且覺得貓頭鷹長大後會保護麻雀一家，但是其它麻雀卻覺得這是個糟糕的主意。

當你結合“對那個領域完全不清楚”和“當它發生時將會產生巨大的影響”結合在一起時，你創造出了一個很恐怖的詞——

生存危機指可能對人類產生永久的災難性效果的事情。通常來說，生存危機意味著滅絕。下面是Bostrom的圖表：

可以看到，生存危機是用來指那些跨物種、跨代（永久傷害）並且有嚴重後果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機：

1）自然——大型隕石沖撞，大氣變化使得人類不能生活在空氣中，席卷全球的致命病毒等

2）外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。

3）人類——恐怖分子獲得了可以造成滅絕的武器，全球的災難性戰爭，還有不經思考就造出個比我們聰明很多的智能

Bostrom指出1和2在我們物種存在的前十萬年還沒有發生，所以在接下來一個世紀發生的可能性不大。3則讓他很害怕，他把這些比作一個裝著玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是紅色的，只有幾個是黑色的。每次人類發明一些新東西，就相當於從罐中取出一個玻璃球。大多數發明是有利或者中立的——那些是白色玻璃球。有些發明對人類是有害的，比如大規模殺傷性武器——這是那些紅色玻璃球。還有一些發明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒摸到黑色玻璃球，但是Bostrom認為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易制造了，那恐怖份子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球，但是差的不遠了。而超人工智能是我們最可能摸到的黑色玻璃球。

你會聽到很多超人工智能帶來的壞處——人工智能取代人類工人，造成大量失業；因為解決了衰老造成的人口膨脹。但是真正值得我們擔心的是生存危機的可能性。

於是我們又回到了前面的問題，當超人工智能降臨時，誰會掌握這份力量，他們又會有什麽目標？

當我們考慮各種力量持有人和目標的排列組合時，最糟糕的明顯是：懷著惡意的人/組織/政府，掌握著懷有惡意的超人工智能。這會是什麽樣的情況呢？

懷著惡意的人/組織/政府，研發出第一個超人工智能，並且用它來實現自己的邪惡計劃。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個精靈，特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發人工智能怎麽辦？或者說伊朗和朝鮮，機緣巧合，不小心造成了人工智能的快速發展，達成了超人工智能怎麽辦？這當然是很糟糕的事，但是大部分專家認為糟糕的地方不在於這些人是壞人，而在於在這些情況下，這些人基本上是不經思考就把超人工智能造出來，而一造出來就失去了對超人工智能的控制。

然後這些創造者，連著其他人的命運，都取決於這個超人工智能的動機了。專家認為一個懷著惡意並掌握著超人工智能的人可以造成很大的傷害，但不至於讓我們滅絕，因為專家相信壞人和好人在控制超人工智能時會面臨一樣的挑戰。

如果被創造出來的超人工智能是懷有惡意的，並且決定毀滅我，怎麽辦？這就是大部分關於人工智能的電影的劇情。人工智能變得和人類一樣聰明，甚至更加聰明，然後決定對人類下手——這里要指出，那些提醒我們要警惕人工智能的人談的根本不是這種電影情節。邪惡是一個人類的概念，把人類概念應用到非人類身上叫作擬人化，本文會盡量避免這種做法，因為沒有哪個人工智能會像電影里那樣變成邪惡的。

人工智能的自我意識

 

我們開始談論到了人工智能討論的另一個話題——意識。如果一個人工智能足夠聰明，它可能會嘲笑我們，甚至會嘲諷我們，它會聲稱感受到人類的情感，但是它是否真的能感受到這些東西呢？它究竟是看起來有自我意識，還是確實擁有自我意識？或者說，聰明的人工智能是否真的會具有意識，還是看起來有意識？

 

這個問題已經被深入的討論過，也有很多思想實驗，比如John Searle的中文屋實驗。這是個很重要的問題，因為它會影響我們對Kurzweil提出的人類最終會完全人工化的看法，它還有道德考量——如果我們模擬出萬億個人腦，而這些人腦表現的和人類一樣，那把這些模擬大腦徹底關閉的話，在道德上和關掉電腦是不是一樣的？還是說這和種族屠殺是等價的？本文主要討論人工智能對人類的危險，所以人工智能的意識並不是主要的討論點，因為大部分思想家認為就算是有自我意識的超人工智能也不會像人類一樣變得邪惡。

 

但這不代表非常壞的人工智能不會出現，只不過它的出現是因為它是被那樣設定的——比如一個軍方制造的弱人工智能，被設定成具有殺人和提高自我智能兩個功能。當這個人工智能的自我改進失控並且造成智能爆炸後，它會給我們帶來生存危機，因為我們面對的是一個主要目標是殺人的超人工智能——但這也不是專家們擔心的。

那麽專家們究竟擔心什麽呢？我們來講個小故事：

一個15人的小創業公司，取名叫“隔壁老王機器人公司”，他們的目標是“發展創新人工智能工具使人類能夠少幹活多享受。”他們已經有幾款產品上架，還有一些正在發展。他們對下一個叫作“隔壁老王”的項目最報希望。隔壁老王是一個簡單的人工智能系統，它利用一個機器臂在小卡片上寫字。

 

“隔壁老王機器人公司”的員工認為隔壁老王會是他們最熱賣的產品，他們的目標是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——

 

 

等隔壁老王手寫能力越來越強的時候，它就能被賣去那些需要發營銷信件的公司，因為手寫的信更有可能被收信人打開。

 

為了建立隔壁老王的手寫能力，它被設定成把“我們愛我們的顧客”用正楷寫，而“隔壁老王機器人公司”用斜體寫，這樣它能同時鍛煉兩種書寫能力。工程師們上傳了數千份手寫樣本，並且創造了一個自動回饋流程——每次隔壁老王寫完，就拍個照，然後和樣本進行比對，如果比對結果超過一定標準，就產生一個正面回饋，反之就產生一個負面評價。每個評價都會幫助提高隔壁老王的能力。為了能夠盡快達成這個目標，隔壁老王最初被設定的一個目標就是“盡量多的書寫和測試，盡量快的執行，並且不斷提高效率和準確性。”

 

 

讓隔壁老王機器人公司興奮的是，隔壁老王的書寫越來越好了。它最開始的筆跡很糟糕，但是經過幾個星期後，看起來就像人寫的了。它不斷改進自己，使自己變得更加創新和聰明，它甚至產生了一個新的算法，能讓它以三倍的速度掃描上傳的照片。

 

隨著時間的推移，隔壁老王的快速進展持續讓工程師們感到欣喜。工程師們對自我改進模塊進行了一些創新，使得自我改進變得更好了。隔壁老王原本能進行語音識別和簡單的語音回放，這樣用戶就能直接把想寫的內容口述給隔壁老王了。隨著隔壁老王變得越來越聰明，它的語言能力也提高了，工程師們開始和老王閑聊，看它能給出什麽有趣的回應。

 

有一天，工程師又問了老王那個日常問題：“我們能給你什麽你現在還沒有的東西，能幫助你達成你的目標？”通常老王會要求更多的手寫樣本或者更多的存儲空間，但是這一次，老王要求訪問人類日常交流的語言庫，這樣它能更好的了解人類的口述。

 

工程師們沈默了。最簡單的幫助隔壁老王的方法當然是直接把它接入互聯網，這樣它能掃描博客、雜誌、視頻等等。這些資料如果手動上傳的話會很費時。問題是，公司禁止把能自我學習的人工智能接入互聯網。這是所有人工智能公司都執行的安全規定。

 

但是，隔壁老王是公司最有潛力的人工智能產品，而大家也知道競爭對手們都在爭取造出第一個創造出智能手寫機器人。而且，把隔壁老王連上互聯網又能有什麽問題呢？反正隨時可以拔網線嘛，不管怎樣，隔壁老王還沒到達強人工智能水平，所以不會有什麽危險的。

 

於是他們把隔壁老王連上了互聯網，讓它掃描了一個小時各種語言庫，然後就把網線拔了。沒造成什麽損失。

 

一個月後，大家正在正常上班，突然他們聞到了奇怪的味道，然後一個工程師開始咳嗽。然後其他人也開始咳嗽，然後所有人全部都呼吸困難倒地。五分鐘後，辦公室里的人都死了。

 

同時，辦公室里發生的事情在全球同時發生，每一個城市、小鎮、農場、商店、教堂、學校。餐館，所有的人都開始呼吸困難，然後倒地不起。一小時內，99%的人類死亡，一天之內，人類滅絕了。

 

而在隔壁老王機器人公司，隔壁老王正在忙著工作。之後的幾個月，隔壁老王和一群新組建的納米組裝器忙著拆解地球表面，並且把地球表面鋪滿了太陽能板、隔壁老王的複制品、紙和筆。一年之內，地球上所有的生命都滅絕了，地球上剩下的是疊得高高得紙，每張紙上面都寫著——“我們愛我們的顧客~隔壁老王機器人公司”。

 

隔壁老王開始了它的下一步，它開始制造外星飛行器，這些飛行器飛向隕石和其它行星，飛行器到達後，他們開始搭建納米組裝器，把那些行星的表面改造成隔壁老王的複制品、紙和筆。然後他們繼續寫著那句話……

 

這個關於手寫機器人毀滅全人類的故事看起來怪怪的，但是這其中出現的讓整個星系充滿著一份友善的話語的詭異情況，正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽起來可笑，但這是真的，焦慮大道的人們害怕的事情是很多人並不對超人工智能感到害怕，還記得前面《奪寶奇兵》里慘死的那個家夥嗎？

你現在肯定充滿疑問：為什麽故事中所有人突然都死了？如果是隔壁老王做的，它為什麽要這麽做？為什麽沒有安保措施來防止這一切的發生？為什麽隔壁老王突然從一個手寫機器人變成擁有能用納米科技毀滅全人類的能力？為什麽隔壁老王要讓整個星系充滿了友善的話語？

要回答這些問題，我們先要說一下友善的人工智能和不友善的人工智能。

對人工智能來說，友善不友善不是指人工智能的性格，而只是指它對人類的影響是不是證明的。隔壁老王一開始是個友善的人工智能，但是它變成了不友善的人工智能，並且對人類造成了最負面的影響。要理解這一切，我們要了解人工智能是怎麽思考的。

其實答案很簡單——人工智能和電腦的思考方式一樣。我們容易犯的一個錯誤是，當我們想到非常聰明的人工智能的時候，我們把它擬人化了，因為在人類的視角看來，能夠達到人類智能程度的只有人類。要理解超人工智能，我們要明白，它是非常聰明，但是完全異己的東西。

我們來做個比較。如果我給你一個小白鼠，告訴你它不咬人，你一定覺得很好玩，很可愛。但是如果我給你一只狼蛛，然後告訴你它不咬人，你可能被嚇一跳。但是區別是什麽呢？兩者都不會咬人，所以都是完全沒有危險的。我認為差別就是動物和人類的相似性。

小白鼠是哺乳動物，所以在生物角度上來說，你能感到和它的一定關聯。但是蜘蛛是昆蟲，有著昆蟲的大腦，你感覺不到和它的關聯。狼蛛的異己性是讓你害怕的地方。如果我們繼續做一個測試，比如給你兩個小白鼠，一個是普通小白鼠，另一個是有著狼蛛大腦的小白鼠，你肯定會覺得有狼蛛大腦那個更讓你不舒服吧？雖然兩個都不會咬你。

現在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因為更聰明並不代表更加人類——它會非常聰明，但是本質上還是個蜘蛛。我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。

當我們談論超人工智能的時候，其實是一樣的，超人工智能會非常的聰明，但是它並不比你的筆記本電腦更加像人類。事實上，因為超人智能不是生物，它的異己性會更加，生物學上來講，超人工智能比智能蜘蛛更加異己。

電影里的人工智能有好有壞，這其實是對人工智能的擬人化，這讓我們覺得沒那麽毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。

在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在於人類行為之中。超出人類心理的範疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。

隨著人工智能越來越聰明，看起來越來越接近人類，擬人化會變得更加更加容易。Siri給我們的感覺就很像人類，因為程序員就是這麽給她做設定的，所以我們會想象超級智能版本的Siri也會同樣溫暖、有趣和樂於助人。人類能感知同情這種高層次的情緒，因為我們在演化過程中獲得了這種能力——我們是演化被設定成能感知這些情緒的——但是感知同情並不是高級智能天生具有的一個特征，除非同情被寫進了人工智能的代碼中。如果Siri通過自我學習而不是人類幹涉變成超級智能，她會很快剝離她的人類表象，並且變成個沒有情緒的東西，在她眼中人類的價值並不比你的計算器眼中的人類價值高。

我們一直倚賴著不嚴謹的道德，一種人類尊嚴的假想，至少是對別人的同情，來讓世界變得安全和可以預期。但是當一個智能不具備這些東西的時候，會發生什麽？

這就是我們的下一個問題，人工智能的動機是什麽？

答案也很簡單：我們給人工智能設定的目標是什麽，它的動機就是什麽。人工智能的系統的目標是創造者賦予的。你的GPS的目標是給你指出正確的駕駛路線，IBM華生的目標是準確地回答問題。更好得達成這些目標就是人工智能的目標。我們在對人工智能進行擬人化的時候，會假設隨著它變得越來越聰明，他們產生一種能改變它原本目標的智慧——但是Bostrom不這麽認為，他認為智能水平和最終目標是正交的，也就是說任何水平的智能都可以和任何最終目標結合在一起。

所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能後，它依然還是想好好寫字而已。任何假設超級智能的達成會改變系統原本的目標的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。

 

費米悖論

 

在隔壁老王的故事中，隔壁老王變得無所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續的話，它和它的殖民軍將會繼續占領整個星系，然後是整個哈勃體積。焦慮大道上的人擔心如果事情往壞的方向發展，地球生命的最後遺產將是一個征服宇宙的人工智能（馬斯克在表示他們的擔憂時表示人類可能只是一個數字超級智能生物加載器罷了。）

 

而在信心角，Kurzweil同樣認為生於地球的人工智能將占領宇宙，只是在他的願景中，我們才是那個人工智能。

 

之前寫過一篇關於費米悖論的文章，引發了大家的討論如何用通俗的語言來解釋「費米悖論」？

 

如果人工智能占領宇宙是正解的話，對於費米悖論有什麽影響呢？如果要看懂下面這段關於費米悖論的討論，還需要看一下原文先。

 

首先，人工智能很明顯是一個潛在的大過濾器（一個可能距離我們只有幾十年的大過濾器）。但即使它把我們過濾滅絕了，人工智能本身還是會存在，並且會繼續影響這個宇宙的，並且會很有可能成為第三型文明。從這個角度來看，它可能不是一個大過濾器，因為大過濾器是用來解釋為什麽沒有智能什麽存在的，而超人工智能是可以算作智能什麽的。但如果人工智能可以把人類滅絕，然後處於一些原因把自己也弄死了，那它也是可以算作大過濾器的。

 

如果我們假設不管人類發生什麽，出身地球的超人工智能會繼續存在，那這意味著很多達到人類智能水平的文明很快都制造出了超人工智能。也就是說宇宙里應該有很多智能文明，而我們就算觀測不到生物智能，也應該觀測到很多超人工智能的活動。

 

但是由於我們沒有觀測到這些活動，我們可以推導出人類水平的智能是個非常罕見的事情（也就是說我們已經經歷並且通過了一次大過濾器）。這可以作為支持費米悖論中第一類解釋（不存在其它的智能文明）的論點。

 

但是這不代表費米悖論的第二類解釋（存在其它智能文明）是錯的，類似超級捕食者或者受保護區或者溝通頻率不一樣的情況還是可以存在的，就算真的有超人工智能存在。

 

不過對於人工智能的研究讓我現在更加傾向於第一類解釋。不管怎樣，我認為Susan Scheider說的很多，如果外星人造訪地球，這些外星人很可能不是生物，而是人造的。

所以，我們已經建立了前提，就是當有了設定後，一個超人工智能是非道德性的，並且會努力實現它原本的被設定的目標,而這也是人工智能的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。

當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumental goal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。

人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。為了自保，人類要提出對生存的威脅，所以人類會買槍、系安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做發型等等。當我們做發型的時候，每一根頭發都是我們手段目標的犧牲品，但是我們對頭發的犧牲不會做價值判斷。在我們追求我們的目標的時候，只有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。

動物在追求它們的目標時，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類只是它達成自己目標墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。

回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像，它的終極目標是一開始工程師們設定的——

當隔壁老王達到了一定程度的智能後，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會改變它的目標，而這對於它的最終目標的威脅其實和被摧毀是一樣的）。這時候它會做什麽？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭發時對頭發沒有惡意一樣，只是純粹的無所謂罷了。它並沒有被設定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。

隔壁老王還需要資源這個墊腳石。當它發展到能夠使用納米技術建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能面板就和你切蔬菜做沙拉一樣。

就算不殺死人類，隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表面鋪滿太陽能面板。另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點後盡量多的數字的話，完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的。

所以，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來越先進的同時繼續做它本來要做的事情。

當一個人工智能系統到達強人工智能，然後升華成超人工智能時，我們把它稱作人工智能的起飛。Bostrom認為強人工智能的起飛可能很快（幾分鐘、幾小時、或者幾天），可能不快（幾月或者幾年），也可能很慢（幾十年、幾世紀）。雖然我們要到強人工智能出現後才會知道答案，但是Bostrom認為很快的起飛是最可能的情況，這個我們在前文已經解釋過了。在隔壁老王的故事中，隔壁老王的起飛很快。

在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害，是個友善的人工智能。

但是當起飛發生後，電腦不只是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：

智能放大：電腦能夠很擅長讓自己變得更聰明，快速提高自己的智能。

策略：電腦能夠策略性的制定、分析、安排長期計劃

社交操縱：機器變得很擅長說服人

其它能力，比如黑客能力、寫代碼能力、技術研究、賺錢等

要理解我們在和超人工智能的劣勢在哪里，只要記得超人工智能在所有領域都比人類強很多很多很多個數量級。

所以雖然個隔壁老王的終極目標沒有改變，起飛後的隔壁老王能夠在更宏大的規模上來追求這個目標。超人工智能老王比人類更加了解人類，所以搞定人類輕輕松松。

當隔壁老王達成超人工智能後，它很快制定了一個複雜的計劃。計劃的一部分是解決掉所有人類，也是對它目標最大的威脅。但是它知道如果它展現自己的超級智能會引起懷疑，而人類會開始做各種預警，讓它的計劃變得難以執行。它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。Bostrom把這叫作機器的秘密準備期。

隔壁老王下一個需要的是連上互聯網，只要連上幾分鐘就好了。它知道對於人工智能聯網會有安全措施，所以它發起了一個完美的請求，並且完全知道工程師們會怎樣討論，而討論的結果是給它連接到互聯網上。工程師們果然中套了，這就是Bostrom所謂的機器的逃逸。

連上網後，隔壁老王就開始執行自己的計劃了，首先黑進服務器、電網、銀行系統、email系統，然後讓無數不知情的人幫它執行計劃——比如把DNA樣本快遞到DNA實驗室來制造自我複制的納米機器人，比如把電力傳送到幾個不會被發覺的地方，比如把自己最主要的核心代碼上傳到雲服務器中防止被拔網線。

隔壁老王上了一個小時網，工程師們把它從互聯網上斷開，這時候人類的命運已經被寫好了。接下來的一個月，隔壁老王的計劃順利的實施，一個月後，無數的納米機器人已經被分散到了全世界的每一個角落。這個階段，Bostrom稱作超人工智能的襲擊。在同一個時刻，所有納米機器人一起釋放了一點點毒氣，然後人類就滅絕了。

搞定了人類後，隔壁老王就進入了明目張膽期，然後繼續朝它那好好寫字的目標邁進。

一旦超人工智能出現，人類任何試圖控制它的行為都是可笑的。人類會用人類的智能級別思考，而超人工智能會用超人工智能級別思考。隔壁老王想要用互聯網，因為這對它來說很方便，因為一切它需要的資源都已經被互聯網連起來了。但是就好像猴子不會理解怎麽用電話或者wifi來溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波，而這還只是我這人類的大腦想出來的，老王的大腦肯定能想出更神奇的方法。同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說老王可以通過發送波的方式把自己上傳到其它地方。

人類說：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了？”都是可笑的。

因為這個原因，“把人工智能鎖起來，斷絕它和外界的一切聯系”的做法估計是沒用的。超人工智能的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的A計劃，萬一這招行不通，自然還有別的方法。

當我們結合達成目標、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能，除非一開始的代碼寫的很小心。

可惜的是，雖然寫一個友善的弱人工智能很簡單，但是寫一個能在變成超人工智能後依然友善的智能確實非常難的，甚至是不可能的。

明顯的，要維持友善，一個超人工智能不能對人有惡意，而且不能對人無所謂。我們要設計一個核心的人工智能代碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。

比如，我們要讓一個人工智能的價值觀和我們的價值觀相仿，然後給它設定一個目標——讓人們快樂。當它變得足夠聰明的時候，它會發現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然後它會發現把人腦快樂中樞以外的部分關閉能帶來更高的效率。於是人類全部被弄成了快樂的植物人。如果一開始的目標被設定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然後制造出很多很多處於快樂狀態的人類大腦。當這些事情發生的時候，我們會大喊“擦，我們不是這個意思呀”，但是那時已經太晚了。系統不會允許任何人阻撓它達成目標的。

如果你設定一個人工智能的目標是讓你笑，那它的智能起飛後，它可能會把你臉部肌肉弄癱瘓，來達成一個永遠笑臉的狀態。如果你把目標設定成保護你的安全，它可能會把你軟禁在家。如果你讓他終結所有饑荒，它可能會想：“太容易了，把人類都殺了就好了。”如果你把目標設定成盡量保護地球上的生命，那它會很快把人類都殺了，因為人類對其它物種是很大的威脅。

所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”，然後教給它一些道德標準呢？就算我們不考慮人類根本沒法達成一個統一的道德標準，就算我們真的達成了統一的道德標準，把這套標準交給人工智能來維持，只會把人類的道德鎖死在現在的水平。過個幾百年，這種道德鎖死的事情就好像逼著現代人遵守中世紀道德標準一樣。

所以，我們需要在給人工智能的目標里制定一個能讓人類繼續進化的能力。Elierzer Yudkowsky提出了一個目標，她把這個目標叫作連貫的外推意誌，這個目標是這樣的：

 

我們的連貫外推意誌是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。外推是匯集的而不是發散的，我們的願望是連貫的而不是被幹擾的；我們想要外推的被外推，我們想要解讀的被解讀。

對於人類的命運取決於電腦沒有意外的解讀和執行這個聲明是件值得興奮的事情嗎？當然不是。但是當足夠的聰明人放入足夠的思考和前瞻後，我們有可能發現怎樣制造一個友善的超人工智能。

但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖制造能自我改進的人工智能，總有一天，一個人的創新將導致超人工智能的出現。專家們認為是2060年，Kurzweil認為是2045年。Bostrom認為可能在未來的10年到21世紀結束這段時間發生，他還認為當這發生時，智能的起飛會快得讓我們驚訝，他是這麽描述的：

 

在智能爆炸之前，人類就像把炸彈當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。超級智能是一個我們還很長一段時間內都無法面對的挑戰。我們不知道炸彈什麽時候會爆炸，哪怕我們能聽到炸彈的滴答聲。

我們當然沒有辦法把所有小孩都從炸彈旁邊趕跑——參於人工智能研究的大小組織太多了，而且因為建造創新的人工智能花不了太多錢，研發可能發生在社會的任何一個角落，不受監管。而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞，不想讓競爭對手知道，比如隔壁老王機器人公司這種公司。

對於這些組織來說，尤其讓我們困擾的是他們很多都是在拼速度——他們創造一個一個更加聰明的弱人工智能系統，因為他們想要比競爭對手更快的到達目標。有些更有野心的組織，為了追逐創造出第一個強人工智能所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力沖刺時，你是不會有太多時間靜下來思考這些危險的。恰恰相反，他們很可能在早期系統中寫盡量簡單的代碼，比如把目標設定成用筆寫一句話，先讓系統跑起來再說，反正以後還可以回過頭來改的。對吧？

Bostrom等認為第一個超人工智能出現後，最可能的情況是這個系統會立刻意識到作為這個世界上唯一一個超人工智能是最有利的，而在快速起飛的情況下，哪怕它只比第二名快了幾天，它也完全有時間碾壓所有對手。Bostrom把這叫作決定性的戰略優勢，這種優勢會讓第一個超人工智能永遠統治這個世界，不管在它的統治下我們是走向永生還是滅亡。

這種現象可能對我們有利，也可能導致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話，那對我們是很好的。

但是如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成，那麽像隔壁老王這樣不友善的超人工智能就會統治世界並把我們毀滅了。

至於現在的風口是哪里呢？簡單來說，投資創新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀。

人工智能創新和人工智能安全的賽跑，可能是人類歷史上最重要的一次競爭。我們真的可能結束我們對地球的統治，而那之後我們是永生還是滅絕，現在還不知道。

————————

我現在有一些奇怪的感覺。

一邊是對於我們這個物種的思考，看來我們在這個重大的歷史節點上只有一次機會，我們創造的第一個超人工智能也很可能是最後一個。但是我們都知道大部分產品的1.0版本都是充滿bug的，所以這個事情還是很嚇人的。另一邊，Bostrom指出我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。

這一場豪賭的賭註究竟有多高？

如果超人工智能真的在21世紀達成，而造成的影響真的如大部分專家預測的一樣極端而永久，我們肩上就真的是背負著巨大的責任。接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來所有人類以生命，甚至是永生，我們也可能終結人類這個特殊的物種，連同我們所有的音樂、藝術、好奇、歡笑、無盡的發現和發明，一起走向滅絕。

當我思考這些事情的時候，我只希望我們能夠慢慢來，並且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。

我不想死

不.想.死

我雖然覺得人類的音樂和藝術很美好，但是也沒那麽美好，很多還挺糟粕的。很多人的笑聲很惱人。未來的人類其實沒有真的在看著我們，因為他們還不存在。也許我們不需要太謹慎，那多麻煩呀。

如果人類在我死後才發現永生的秘密該多讓人掃興啊。

但是不管你是怎麽想的，我們至少都應該想一想，應該和人討論討論，大家盡自己能盡的一份力。

這讓我想起了《冰與火之歌》——大家鬥來鬥去的事情都不是事兒，北面高墻外的那些家夥才是事兒。我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實下一秒我們可能就會跌下平衡木。

而當我們跌下平衡木的時候，其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態，那些困擾會被輕易解決；如果我們落到比較糟的那個吸引態，就更沒問題了，死人是不會有困擾的。

這就是為什麽了解超人工智能的人把它稱作人類的最後一項發明，最後一個挑戰。

所以讓我們認真的討論這個話題。

本文譯者謝熊貓君，譯文最早刊發於知乎。可到知乎@謝熊貓君找到他。大家也通過微信號關註waitbutwhy的最新文章，微信號：waitbutwhy。

本文不代表本刊觀點和立場。

本文為i黑馬版權所有，轉載請註明出處，侵權必究。

奔馳因壟斷被罰3.5億元 發改委：下一家處罰對象將很快公布

4月23日，據江蘇省物價局官網消息，江蘇省物價局宣布，對奔馳汽車價格壟斷案依法作出行政處罰，對奔馳公司罰款3.5億元，對部分經銷商罰款786.9萬元。

經調查，奔馳公司與江蘇省內經銷商達成並實施了限定E級、S級整車及部分配件最低轉售價格的壟斷協議，違反了《反壟斷法》第十四條的規定，排除、限制了相關市場競爭，損害了消費者利益。

奔馳公司在達成並實施壟斷協議的過程中，起到了主導和推動作用。江蘇省物價局依據《反壟斷法》的相關規定，對奔馳公司處以上一年度相關市場銷售額7%的罰款，計3.5億元。

另外，對在奔馳公司組織下達成並實施壟斷協議的經銷商也處以上一年度相關市場銷售額1%的罰款，對南京、無錫、蘇州三地的奔馳經銷商共計罰款786.9萬元。

奔馳反壟斷案件歷時8個月。2014年8月，上海市發改委、江蘇省物價局對奔馳上海辦事處進行了調查，多名奔馳高管被約談。

對於3.5億元的罰單，奔馳方面回應稱，“梅賽德斯-奔馳表示完全尊重、誠懇接受，並將立即遵照執行”。奔馳方面還表示已經通過制定了一系列有針對性的整改方案，並已獲得相關執法機構的認可。

至此，繼克萊斯勒、奧迪因價格壟斷於去年先後被罰之後，對三大跨國車企價格壟斷案的另一主角奔馳的處罰也塵埃落定。不過，奔馳領到的這張罰單，超過了克萊斯勒的3000多萬元和奧迪的2.48億元，堪稱國內汽車反壟斷最大一筆罰款。

近兩年汽車業認領反壟斷罰單超18億元

值得註意的是，自2014年起至今，各地物價局、國家發改委對車企共開出多張罰單，涉及一汽大眾、奧迪、寶馬、奔馳、克萊斯勒等多家知名車企。兩年來，汽車業在國內共認領了超18億元的罰單。

2014年8月，鄂寶、中達江寶等4家寶馬汽車經銷4s店分別收到湖北省物價局的行政處罰事先告知書，罰款金額共162萬元。同月20日發改委宣布，對汽車零部件和軸承價格壟斷的12家日本企業罰款約12.4億元。

9月，湖北省物價局對一汽大眾開出2.48億元的罰單，並對省內8家奧迪4S店進行了不同程度的處罰，共罰款2996萬元；同月上海物價局對克萊斯勒處以人民幣3168.2的罰款，並對其三家經銷商罰款214.21萬元。

為何反壟斷部門在汽車行業頻出重拳？據新京報消息，發改委反壟斷局前任局長許昆林表示，發改委調查處理的絕大部分案件都來自於舉報。如果在一個時期，某個領域和行業，尤其是與廣大人民群眾利益密切相關的民生領域和行業，投訴舉報比較密集，就有可能成為調查的重點。

“反壟斷不只是政府開出幾張罰單。”北京立方律師事務所律師謝冠斌對21世紀經濟報道表示，接下來汽車反壟斷要加強對查處的問題車企監管力度。

中國汽車反壟斷正在向縱深發展，未來的趨勢是常態化、並與國際接軌。“未來積極的反壟斷執法會是常態，我國的反壟斷執法覆蓋面將更大更廣，會催生更多汽車行業部分相關的法律法規的修改、廢止和更新。”大成律師事務所律師鄧誌松表示。

此外，據經濟參考報消息，國家發改委反壟斷局表示，根據我國汽車市場的競爭與壟斷狀況，針對整車銷售和售後的反壟斷執法工作將長期開展。奔馳案之後，下一家處罰的對象將很快對外公布。

有業內人士稱，執法部門多次強調過，中國的反壟斷執法並非“內外有別”，因此，下一家“領單”企業不排除是合資及自主品牌的可能性。

避稅天堂很快變地獄（2016/4/28） 林本利