ZKIZ Archives


我們將永生還是滅絕?人工智能很快會給出答案(下)

來源: http://newshtml.iheima.com/2015/0222/149211.html

“人工智能很可能導致人類的永生或者滅絕,而這一切很可能在我們有生之年發生。”前幾日本刊刊登了本文的上篇,引發了網友的瘋狂轉載。今天我們繼續討論:“超人工智能降臨會帶來哪些影響?又會引起哪些擔憂?或許,超人工智能是人類的最後一項發明,最後一個挑戰。”本文來源於waitbuywhy.com,由知乎用戶“謝熊貓君”完成翻譯工作。

\譯/謝熊貓君

編輯/蒲鴿

 

為什麽未來會是天堂?

 

研究人工智能這個領域後,我發現有比預期的多得多的人站在信心角當中:

站在信心角中的人非常興奮,他們認為他們講走向平衡木下比較有趣的那個吸引態,未來將實現他們的夢想,他們只需耐心等待。

 

把這一部分人從其他思想家區分開來的是這些人對於比較有趣的那個吸引態的欲望——他們很有信心永生是我們的發展方向。

 

這份信心是哪里來的不好說,評論家認為是這些人太過興奮而產生了盲點,忽略了可能的負面結果。但是信心角的人還是把批評者當作末日論者來看待,他們認為技術會繼續幫助我們而不是傷害我們。

 

兩邊的觀點我們都會說,這樣你能形成自己的觀點,但是在讀下面的內容前,請把質疑暫時擱置,讓我們看看平衡木兩邊究竟有什麽,並且記住這些事情是有可能發生的。如果我們給一個打獵采集者看我們現在的舒適家居、技術、富庶,在他眼里這一切也會像魔法一樣——我們也要接受未來完全可能出現能把我們嚇尿的變革。

 

Bostrom描述了三種超人工智能可能的工作模式

- 先知模式:能準確回答幾乎所有的問題,包括對人類來說很困難的複雜問題,比如“怎樣造一個更好的汽車引擎?”

– 精靈模式:能夠執行任何高級指令,比如用分子組合器造一個更好的汽車引擎出來

– 獨立意誌模式(sovereign):可以執行開放式的任務,能在世界里自由活動,可以自己做決定,比如發明一種比汽車更快、更便宜、更安全的交通模式。

 

這些對人類來說很複雜的問題,對於一個超級智能來說可能就像“我的筆掉了,你能幫我撿一下嗎?”這麽簡單。

 

Eliezer Yudkowsky,是這麽說的:

“根本沒有困難的問題,只有對於特定級別的智能來說難的問題。在智能的階梯上走一小步,一些不可能的問題就變得簡單了,如果走一大步,所有問題都變得簡單了。”

 

信心角里有很多熱忱的科學家、發明家和創業者,但是對於人工智能的未來最有發言權的,當屬Ray Kurzweil。

 

對於Kurzweil的評價非常兩極化,既有如對神人般的崇拜,也有翻白眼似的不屑。也有一些中立主義者,比如作家Douglas Hofstadter,他覺得Kurzweil的觀點就好像把美食和狗屎混在一起,讓你分不清是好是壞。

 

不管你同不同意Kurzweil的觀點,他都是一個牛人。他年輕時候就開始搞發明,之後幾十年發明了很多東西,比如第一臺平板掃描儀,第一臺能把文字轉化為語言的掃描儀(盲人使用),著名的Kurzweil音樂合成器(第一臺真正意義上的電子鋼琴),以及第一套商業銷售的語音識別系統。他是五本暢銷書的作者。他很喜歡做大膽的預測,而且一直很準,比如他80年代末的時候預測到2000年後因特網會成為全球級的現象。他被《華爾街日報》成為“不休的天才”,被《福布斯》稱為“終極思想機器”,被《Inc.》稱作“愛迪生真正的傳人”,被比爾蓋茨稱為“我認識的對人工智能預測最厲害的人。”2012年谷歌創始人Larry Page曾邀請他擔任谷歌的工程總監,2011年他共同創立了奇點大學(Singularity University),現在大學由美國太空總署運運營,由谷歌贊助。

 

Kurzweil的經歷很重要,因為當他講述自己對未來的願景時,他聽起來就是個瘋子,但是他不瘋,恰恰相反,他非常聰明而有知識。你可能覺得他對於未來的想法是錯的,但是他不傻。知道他是一個聰明人讓我很開心,因為當我知道他對未來的預測後,我急切的很希望他的預測是對的。信心角中的很多思想家都認同Kurzweil的預測,他也有很多粉絲,被稱為奇點主義者。

 

時間線

 

Kurzweil相信電腦會在2029年達成強人工智能,而到了2045年,我們不但會有超人工智能,還會有一個完全不同的世界——奇點時代。他的人工智能時間線曾經被認為非常的狂熱,現在也還是有很多人這麽認為,但是過去15年弱人工智能的快速發展讓更多的專家靠近了Kurzweil的時間線。雖然他的時間線比之前提到的2040年和2060年更加早,但是並沒有早多少。

 

Kurzweil的奇點時代是三個技術領域的共同革命造成的——生物技術、納米技術和最重要的人工智能技術。

 

在我們繼續討論人工智能前,讓我們談一下納米技術這個任何關於人工智能的討論都會涉及到的領域:

 

納米技術

納米技術說的是在1-100納米的範圍內操縱物質的技術。一納米是一米的十億分之一,是一毫米的一百萬分之一。1-100納米這個範圍涵蓋了病毒(100納米長),DNA(10納米寬), 大分子比如血紅蛋白(5納米),和中分子比如葡萄糖(1納米)。當我們能夠完全掌握納米技術的時候,我們離在原子層面操縱物質就只差一步了,因為那只是一個數量級的差距(約0.1納米)。

 

要了解在納米量級操縱物質有多困難,我們可以換個角度來比較。國際空間站距離地面431公里。如果一個人身高431公里,也就是他站著能夠頂到國際空間站的話,他將是普通人類的25萬倍大。如果你把1-100納米放大25萬倍,你算出的是0.25毫米-25毫米。所以人類使用納米技術,就相當於一個身高431公里的巨人用沙子那麽大的零件搭精巧的模型。要如果要達到原子級別操縱物質,就相當於讓這個431公里高的巨人使用0.025毫米大的零件。

 

關於納米技術的思考,最早由物理學家費曼在1959年提出,他解釋道:“據我所知,物理學的原理,並不認為在原子級別操縱物質是不可能的。原則上來說,物理學家能夠制造出任何化學家能寫出來的物質——只要把一個個原子按照化學家寫出來的放在一起就好了。”其實就是這麽簡單,所以我們只要知道怎樣移動單個的分子和原子,我們就可以造出任何東西。

 

工程師Eric Drexler提出納米級組裝機後,納米技術在1986年成為了一門正經的學科。納米級組裝機的工作原理是這樣的:一個牛逼掃描儀掃描物件的3D原子模型,然後自動生成用來組裝的軟件。然後由一臺中央電腦和數萬億的納米“機器人”,通過軟件用電流來指揮納米機器人,最後組成所需要的物件。

————————

再扯遠一點


納米技術有一些不是那麽有趣的部分——能夠制造數萬億的納米機器人唯一合理的方法就是制造可以自我複制的範本,然後讓指數級增長來完成建造任務。很機智吧?


是很機智,但是這一不小心就會造成世界末日。指數級增長雖然能很快的制造數萬億的納米機器人,但這也是它可怕的地方——如果系統出故障了,指數級增長沒有停下來,那怎麽辦?納米機器人將會吞噬所有碳基材料來支持自我複制,而不巧的是,地球生命就是碳基的。

 

地球上的生物質量大概包含10^45個碳原子。一個納米機器人有10^6個碳原子的話,只需要10^39個納米機器人就能吞噬地球上全部的生命了,而2^130約等於10^39,也就是說自我複制只要進行130次就能吞噬地球生命了。科學家認為納米機器人進行一次自我複制只要100秒左右,也就是說一個簡單的錯誤可能就會在3.5小時內毀滅地球上全部的生命。

 

更糟糕的是,如果恐怖分子掌握了納米機器人技術,並且知道怎麽操縱它們的話,他可以先造幾萬億個納米機器人,然後讓它們散播開來。然後他就能發動襲擊,這樣只要花一個多小時納米機器人就能吞噬一切,而且這種攻擊無法阻擋。未來真的是能把人嚇尿的。

————————
等我們掌握了納米技術後,我們就能用它來制造技術產品、衣服、食物、和生物產品,比如人造紅細胞、癌癥細胞摧毀者、肌肉纖維等等。而在納米技術的世界里,一個物質的成本不再取決於它的稀缺程度或是制造流程的難度,而在於它的原子結構有多複雜。在納米技術的時代,鉆石可能比橡皮擦還便宜。

 

我們還沒掌握這種技術,我們甚至不知道我們對於達成這種技術的難度是高估了還是低估了,但是我們看上去離那並不遙遠。Kurzweil預測我們會在21世紀20年代掌握這樣的技術。各國政府知道納米技術將能改變地球,所以他們投入了很多錢到這個領域,美國、歐盟和日本至今已經投入了50億美元。

 

設想一下,一個具有超級智能的電腦,能夠使用納米級的組裝器,是種什麽樣的體驗?要記得納米技術是我們在研究的玩意兒,而且我們就快掌握這項技術了,而我們能做的一切在超人工智能看來就是小兒科罷了,所以我們要假設超人工智能能夠創造出比這要發達很多很多的技術,發達到我們的大腦都沒有辦法理解。

 

因此,當考慮“如果人工智能革命的成果對我們是好的”這個命題的時候,要記得我們根本沒法高估會發生什麽。所以就算下面對於超人工智能的預測顯得太不靠譜,要記得這些進展可能是用我們沒有辦法想象的方法達成的。事實上,我們的大腦很可能根本沒法預測將會發生什麽。

—————-

 

人工智能能為我們做什麽?


 

擁有了超級智能和超級智能所能創造的技術,超人工智能可以解決人類世界的所有問題。氣候變暖?超人工智能可以用更優的方式產生能源,完全不需要使用化石燃料,從而停止二氧化碳排放。然後它能創造方法移除多余的二氧化碳。癌癥?沒問題,有了超人工智能,制藥和健康行業將經歷無法想象的革命。世界饑荒?超人工智能可以用納米技術直接搭建出肉來,而這些搭建出來的肉和真肉在分子結構上會是完全相同的——換句話說,就是真肉。

 

納米技術能夠把一堆垃圾變成一堆新鮮的肉或者其它食品,然後用超級發達的交通把這些食物分配到世界各地。這對於動物也是好消息,我們不需要屠殺動物來獲得肉了。而超人工智能在拯救瀕危物種和利用DNA複活已滅絕物種上面也能做很多事情。超人工智能甚至可以解決複雜的宏觀問題——我們關於世界經濟和貿易的爭論將不再必要,甚至我們對於哲學和道德的苦苦思考也會被輕易的解決。

 

但是,有一件事是如此的吸引人,光是想想就能改變對所有事物的看法了:

 

 

幾個月前,我提到我很羨慕那些可能達成了永生的文明。但是,現在,我已經在認真的考慮達成永生這個事情很可能在我們有生之年就能達成。研讀人工智能讓你重新審思對於所有事情的看法,包括死亡這一很確定的事情。

 

自然演化沒有理由讓我們活得比現在更長。對於演化來說,只要我們能夠活到能夠生育後代,並且養育後代到能夠自己保護自己的年紀,那就夠了——對演化來說,活30多歲完全夠了,所以額外延長生命的基因突變並不被自然選擇所鐘愛。這其實是很無趣的事情。

 

而且因為所有人都會死,所以我們總是說“死亡和繳稅”是不可避免的。我們看待衰老就像看待時間一樣——它們一直向前,而我們沒有辦法阻止它們。

 

但是這個假設是錯的,費曼曾經寫道:

“在所有的生物科學中,沒有任何證據說明死亡是必需的。如果你說你想造永動機,那我們對於物理學的研究已經讓我們有足夠的理論來說明這是不可能的。但是在生物領域我們還沒發現任何證據證明死亡是不可避免的。也就是說死亡不一定是不可避免的,生物學家早晚會發現造成我們死亡的原因是什麽,而死亡這個糟糕的‘病’就會被治好,而人類的身體也將不再只是個暫時的容器。”

 

事實上,衰老和時間不是綁死的。時間總是會繼續前進的,而衰老卻不一定。仔細想想,衰老只是身體的組成物質用舊了。汽車開久了也會舊,但是汽車一定會衰老嗎?如果你能夠擁有完美的修複技術、或者直接替換老舊的汽車部件,這輛車就能永遠開下去。人體只是更加複雜而已,本質上和汽車是一樣的。

 

Kurzweil提到由Wifi連接的納米機器人在血液中流動,可以執行很多人類健康相關的任務,包括日常維修,替換死去的細胞等等。如果這項技術能夠被完美掌握,這個流程(或者一個超人工智能發明的更好的流程)將能使人的身體永遠健康,甚至越活越年輕。一個60歲的人和一個30歲的人身體上的區別只是物理上的,只要技術足夠發達我們是能改變這種區別的。

 

超人工智能可以建造一個“年輕機器”,當一個60歲的人走進去後,再出來時就擁有了年輕30歲的身體。就算是逐漸糊塗的大腦也可能年輕化,只要超人工智能足夠聰明,能夠發現不影響大腦數據的方法來改造大腦就好了。一個90歲的失憶癥患者可以走進“年輕機器”,再出來時就擁有了年輕的大腦。這些聽起來很離譜,但是身體只是一堆原子罷了,只要超人工智能可以操縱各種原子結構的話,這就完全不離譜。

 

Kurzweil的思維繼續跳躍了一下,他相信人造材料將越來越多的融入人體。最開始,人體器官將被先進的機械器官所代替,而這些機械器官可以一直運行下去。然後我們會開始重新設計身體,比如可以用自我驅動的納米機器人代替血紅細胞,這樣連心臟都省了。Kurzweil甚至認為我們會改造自己的大腦,使得我們的思考速度比現在快億萬倍,並且使得大腦能和雲存儲的信息進行交流。

 

我們能獲得的新體驗是無窮的。人類的性愛,使得人們不但能生育,還能從中享樂。Kurtzweil認為我們可以對食物做同樣的改造。納米機器人可以負責把身體需要的營養物質傳送到細胞中,智能的將對身體不好的東西排出體外——就像一個食物避孕套一樣。納米技術理論家Robert A. Freitas已經設計了一種紅細胞的替代品,能夠讓人快速沖刺15分鐘不需要呼吸——那麽超人工智能能對我們的身體能力做的改造就更加難以想象。虛擬現實將擁有新的意義——體內的納米機器人將能控制我們從感官獲得的信號,然後用別的信號替代他們,讓我們進入一個新的環境,在新環境里,我們能聽、看、聞、觸摸。。。

 

最終,Kurzweil認為人類會完全變成人工的。有一天當我們看到生物材料,然後覺得生物材料實在太原始了,早年的人體居然是用這樣的東西組成的,早期的人類居然會被微生物、意外、疾病殺死。這就是Kurzweil眼中人類最終戰勝自己的生理,並且變得不可摧毀和永生,這也是平衡木的另一個吸引態。他深深的想象我們會達到那里,而且就在不久的將來。

 

Kurzweil的想法很自然的受到了各方的批評。他對於2045年奇點時代的到來,以及之後的永生的可能性受到了各種嘲笑——“書呆子的狂歡”、“高智商人士的創始論”等等。也有人質疑他過於樂觀的時間線,以及他對人腦和人體的理解程度,還有他將摩爾定於應用到軟件上的做法。有很多人相信他,但有更多人反對他。

 

但是即使如此,那些反對他的專家並不是反對他所說的一切,反對他的人說的不是“這種事情不可能發生”,而是說“這些當然可能發生,但是到達超人工智能是很難的。”連經常提醒我們人工智能的潛在威脅的Bostrom都這麽說:

 

很難想象一個超級智能會有什麽問題是解決不了,或是不能幫著我們解決的。疾病、貧困、環境毀滅、各種不必要的苦難,這些都是擁有納米科技的超級智能能夠解決的。而且,超級智能可以給我們無限的生命,這可以通過停止或者逆轉衰老來達成,也可以讓我們上傳自己的數據。一個超級智能還能讓我們大幅度提高智商和情商,還能幫助我們創造這種有趣的體驗世界,讓我們享樂。

 

這是Bostrom這個明顯不在信心角的人的觀點,但也是很多反對Kurzweil的專家的觀點,他們不覺得Kurzweil是在說夢話,只是覺得我們首先要安全達成超人工智能。這也是為什麽我覺得Kurzweil的觀點很有傳染性,他傳達了正面的信息,而這些事情都是可能的——如果超人工智能是個仁慈的神的話。

 

對信心角的最有力的批評,是那些信心角里的人都低估了超人工智能的壞處。Kurzweil對的暢銷書《The Singularity is Near》700多頁,只有20頁用來討論人工智能的危險。前面提到,當超人工智能降臨時我們的命運取決於誰掌握這股力量,以及他們是不是好人。Kurzweil的回答是“超人工智能正從多方的努力中出現,它將深深的融入我們文明的基建中。它會親密的被捆綁在我們的身體和大腦中,它會反映我們的價值,因為它就是我們。”

 

但如果答案就是這樣的話,為什麽這個世界上最聰明的一些人會很擔憂?為什麽霍金會說超人工智能會毀滅人類?為什麽比爾蓋茨會不理解為什麽有人不為此擔憂?為什麽馬斯克會擔心我們是在召喚惡魔?為什麽那麽多專家擔心超人工智能是對人類最大的威脅?這些站在焦慮大道上的思想家,不認同Kurzweil對於人工智能的危險的粉飾。他們非常非常擔心人工智能革命,他們不關註平衡木下比較有趣的那一個吸引態,而是盯著平衡木的另一邊,而他們看到的是可怕的未來,一個我們未必能夠逃離的未來。

___________

 

未來可能是我們最糟的惡夢

 

我想了解人工智能的一個原因是“壞機器人”總是讓我很困惑。那些關於邪惡機器人的電影看起來太不真實,我也沒法想象一個人工智能變得危險的真實情況。機器人是我們造的,難道我們不會在設計時候防止壞事的發生嗎?我們難道不能設立很多安全機制嗎?再不濟,難道我們不能拔插頭嗎?而且為什麽機器人會想要做壞事?或者說,為什麽機器人會“想要”做任何事?我充滿疑問,於是我開始了解聰明人們的想法。這些人一般位於焦慮大道:

焦慮大道上的人並不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位於圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨立的陣營,他們認同極好和極壞兩種可能,但是不確定究竟會是哪個。

 

焦慮大道上的人是部分為超人工智能感到興奮的——他們只是很擔心人類現在的表現就好像《奪寶奇兵》中的這位少年:

 

 

他拿著自己的鞭子和寶物,非常開心,然後他就掛了:

 

 

同時,印第安納瓊斯則更加有見識和更加謹慎,了解潛在的危險並且做出相應的反應,最後安全逃出了山洞。當我了解了焦慮大道的人們的想法後,感覺就像“我們現在傻呵呵的,很容易像前面那小子一樣被弄死,還是努力做印第安納瓊斯吧。”

 

那究竟是什麽讓焦慮大道的人們如此焦慮呢?

 

首先,廣義上來講,在創造超人工智能時,我們其實是在創造可能一件會改變所有事情的事物,但是我們對那個領域完全不清楚,也不知道我們到達那塊領域後會發生什麽。科學家Danny Hillis把這個比作“就好像單細胞生物向多細胞生物轉化的時候那樣,還是阿米巴蟲的我們沒有辦法知道我們究竟在創造什麽鬼。”

 

Bostrom則擔憂創造比自身聰明的東西是個基礎的達爾文錯誤,就好像麻雀媽媽決定收養一只小貓頭鷹,並且覺得貓頭鷹長大後會保護麻雀一家,但是其它麻雀卻覺得這是個糟糕的主意。

 

當你結合“對那個領域完全不清楚”和“當它發生時將會產生巨大的影響”結合在一起時,你創造出了一個很恐怖的詞——

 


生存危機指可能對人類產生永久的災難性效果的事情。通常來說,生存危機意味著滅絕。下面是Bostrom的圖表:


可以看到,生存危機是用來指那些跨物種、跨代(永久傷害)並且有嚴重後果的事情。它可以包括人類遭受永久苦難的情況,但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機:

 

1)自然——大型隕石沖撞,大氣變化使得人類不能生活在空氣中,席卷全球的致命病毒等

2)外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。

3)人類——恐怖分子獲得了可以造成滅絕的武器,全球的災難性戰爭,還有不經思考就造出個比我們聰明很多的智能

 

Bostrom指出1和2在我們物種存在的前十萬年還沒有發生,所以在接下來一個世紀發生的可能性不大。3則讓他很害怕,他把這些比作一個裝著玻璃球的罐子,罐子里大部分是白色玻璃球,小部分是紅色的,只有幾個是黑色的。每次人類發明一些新東西,就相當於從罐中取出一個玻璃球。大多數發明是有利或者中立的——那些是白色玻璃球。有些發明對人類是有害的,比如大規模殺傷性武器——這是那些紅色玻璃球。還有一些發明是可以讓我們滅絕的,這就是那些黑色玻璃球。很明顯的,我們還沒摸到黑色玻璃球,但是Bostrom認為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易制造了,那恐怖份子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球,但是差的不遠了。而超人工智能是我們最可能摸到的黑色玻璃球。

 

你會聽到很多超人工智能帶來的壞處——人工智能取代人類工人,造成大量失業;因為解決了衰老造成的人口膨脹。但是真正值得我們擔心的是生存危機的可能性。

 

於是我們又回到了前面的問題,當超人工智能降臨時,誰會掌握這份力量,他們又會有什麽目標?

 

當我們考慮各種力量持有人和目標的排列組合時,最糟糕的明顯是:懷著惡意的人/組織/政府,掌握著懷有惡意的超人工智能。這會是什麽樣的情況呢?

 

懷著惡意的人/組織/政府,研發出第一個超人工智能,並且用它來實現自己的邪惡計劃。我把這稱作賈法爾情況。阿拉丁神燈故事中,壞人賈法爾掌握了一個精靈,特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發人工智能怎麽辦?或者說伊朗和朝鮮,機緣巧合,不小心造成了人工智能的快速發展,達成了超人工智能怎麽辦?這當然是很糟糕的事,但是大部分專家認為糟糕的地方不在於這些人是壞人,而在於在這些情況下,這些人基本上是不經思考就把超人工智能造出來,而一造出來就失去了對超人工智能的控制。

 

然後這些創造者,連著其他人的命運,都取決於這個超人工智能的動機了。專家認為一個懷著惡意並掌握著超人工智能的人可以造成很大的傷害,但不至於讓我們滅絕,因為專家相信壞人和好人在控制超人工智能時會面臨一樣的挑戰。

 

如果被創造出來的超人工智能是懷有惡意的,並且決定毀滅我,怎麽辦?這就是大部分關於人工智能的電影的劇情。人工智能變得和人類一樣聰明,甚至更加聰明,然後決定對人類下手——這里要指出,那些提醒我們要警惕人工智能的人談的根本不是這種電影情節。邪惡是一個人類的概念,把人類概念應用到非人類身上叫作擬人化,本文會盡量避免這種做法,因為沒有哪個人工智能會像電影里那樣變成邪惡的。

 

人工智能的自我意識

 

我們開始談論到了人工智能討論的另一個話題——意識。如果一個人工智能足夠聰明,它可能會嘲笑我們,甚至會嘲諷我們,它會聲稱感受到人類的情感,但是它是否真的能感受到這些東西呢?它究竟是看起來有自我意識,還是確實擁有自我意識?或者說,聰明的人工智能是否真的會具有意識,還是看起來有意識?

 

這個問題已經被深入的討論過,也有很多思想實驗,比如John Searle的中文屋實驗。這是個很重要的問題,因為它會影響我們對Kurzweil提出的人類最終會完全人工化的看法,它還有道德考量——如果我們模擬出萬億個人腦,而這些人腦表現的和人類一樣,那把這些模擬大腦徹底關閉的話,在道德上和關掉電腦是不是一樣的?還是說這和種族屠殺是等價的?本文主要討論人工智能對人類的危險,所以人工智能的意識並不是主要的討論點,因為大部分思想家認為就算是有自我意識的超人工智能也不會像人類一樣變得邪惡。

 

但這不代表非常壞的人工智能不會出現,只不過它的出現是因為它是被那樣設定的——比如一個軍方制造的弱人工智能,被設定成具有殺人和提高自我智能兩個功能。當這個人工智能的自我改進失控並且造成智能爆炸後,它會給我們帶來生存危機,因為我們面對的是一個主要目標是殺人的超人工智能——但這也不是專家們擔心的。

 

那麽專家們究竟擔心什麽呢?我們來講個小故事:

 

一個15人的小創業公司,取名叫“隔壁老王機器人公司”,他們的目標是“發展創新人工智能工具使人類能夠少幹活多享受。”他們已經有幾款產品上架,還有一些正在發展。他們對下一個叫作“隔壁老王”的項目最報希望。隔壁老王是一個簡單的人工智能系統,它利用一個機器臂在小卡片上寫字。

 

“隔壁老王機器人公司”的員工認為隔壁老王會是他們最熱賣的產品,他們的目標是完善隔壁老王的手寫能力,而完善的方法是讓他不停的寫這句話——

 

 

等隔壁老王手寫能力越來越強的時候,它就能被賣去那些需要發營銷信件的公司,因為手寫的信更有可能被收信人打開。

 

為了建立隔壁老王的手寫能力,它被設定成把“我們愛我們的顧客”用正楷寫,而“隔壁老王機器人公司”用斜體寫,這樣它能同時鍛煉兩種書寫能力。工程師們上傳了數千份手寫樣本,並且創造了一個自動回饋流程——每次隔壁老王寫完,就拍個照,然後和樣本進行比對,如果比對結果超過一定標準,就產生一個正面回饋,反之就產生一個負面評價。每個評價都會幫助提高隔壁老王的能力。為了能夠盡快達成這個目標,隔壁老王最初被設定的一個目標就是“盡量多的書寫和測試,盡量快的執行,並且不斷提高效率和準確性。”

 

 

讓隔壁老王機器人公司興奮的是,隔壁老王的書寫越來越好了。它最開始的筆跡很糟糕,但是經過幾個星期後,看起來就像人寫的了。它不斷改進自己,使自己變得更加創新和聰明,它甚至產生了一個新的算法,能讓它以三倍的速度掃描上傳的照片。

 

隨著時間的推移,隔壁老王的快速進展持續讓工程師們感到欣喜。工程師們對自我改進模塊進行了一些創新,使得自我改進變得更好了。隔壁老王原本能進行語音識別和簡單的語音回放,這樣用戶就能直接把想寫的內容口述給隔壁老王了。隨著隔壁老王變得越來越聰明,它的語言能力也提高了,工程師們開始和老王閑聊,看它能給出什麽有趣的回應。

 

有一天,工程師又問了老王那個日常問題:“我們能給你什麽你現在還沒有的東西,能幫助你達成你的目標?”通常老王會要求更多的手寫樣本或者更多的存儲空間,但是這一次,老王要求訪問人類日常交流的語言庫,這樣它能更好的了解人類的口述。

 

工程師們沈默了。最簡單的幫助隔壁老王的方法當然是直接把它接入互聯網,這樣它能掃描博客、雜誌、視頻等等。這些資料如果手動上傳的話會很費時。問題是,公司禁止把能自我學習的人工智能接入互聯網。這是所有人工智能公司都執行的安全規定。

 

但是,隔壁老王是公司最有潛力的人工智能產品,而大家也知道競爭對手們都在爭取造出第一個創造出智能手寫機器人。而且,把隔壁老王連上互聯網又能有什麽問題呢?反正隨時可以拔網線嘛,不管怎樣,隔壁老王還沒到達強人工智能水平,所以不會有什麽危險的。

 

於是他們把隔壁老王連上了互聯網,讓它掃描了一個小時各種語言庫,然後就把網線拔了。沒造成什麽損失。

 

一個月後,大家正在正常上班,突然他們聞到了奇怪的味道,然後一個工程師開始咳嗽。然後其他人也開始咳嗽,然後所有人全部都呼吸困難倒地。五分鐘後,辦公室里的人都死了。

 

同時,辦公室里發生的事情在全球同時發生,每一個城市、小鎮、農場、商店、教堂、學校。餐館,所有的人都開始呼吸困難,然後倒地不起。一小時內,99%的人類死亡,一天之內,人類滅絕了。

 

而在隔壁老王機器人公司,隔壁老王正在忙著工作。之後的幾個月,隔壁老王和一群新組建的納米組裝器忙著拆解地球表面,並且把地球表面鋪滿了太陽能板、隔壁老王的複制品、紙和筆。一年之內,地球上所有的生命都滅絕了,地球上剩下的是疊得高高得紙,每張紙上面都寫著——“我們愛我們的顧客~隔壁老王機器人公司”。

 

隔壁老王開始了它的下一步,它開始制造外星飛行器,這些飛行器飛向隕石和其它行星,飛行器到達後,他們開始搭建納米組裝器,把那些行星的表面改造成隔壁老王的複制品、紙和筆。然後他們繼續寫著那句話……

 

這個關於手寫機器人毀滅全人類的故事看起來怪怪的,但是這其中出現的讓整個星系充滿著一份友善的話語的詭異情況,正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽起來可笑,但這是真的,焦慮大道的人們害怕的事情是很多人並不對超人工智能感到害怕,還記得前面《奪寶奇兵》里慘死的那個家夥嗎?

你現在肯定充滿疑問:為什麽故事中所有人突然都死了?如果是隔壁老王做的,它為什麽要這麽做?為什麽沒有安保措施來防止這一切的發生?為什麽隔壁老王突然從一個手寫機器人變成擁有能用納米科技毀滅全人類的能力?為什麽隔壁老王要讓整個星系充滿了友善的話語?

要回答這些問題,我們先要說一下友善的人工智能和不友善的人工智能。

對人工智能來說,友善不友善不是指人工智能的性格,而只是指它對人類的影響是不是證明的。隔壁老王一開始是個友善的人工智能,但是它變成了不友善的人工智能,並且對人類造成了最負面的影響。要理解這一切,我們要了解人工智能是怎麽思考的。

其實答案很簡單——人工智能和電腦的思考方式一樣。我們容易犯的一個錯誤是,當我們想到非常聰明的人工智能的時候,我們把它擬人化了,因為在人類的視角看來,能夠達到人類智能程度的只有人類。要理解超人工智能,我們要明白,它是非常聰明,但是完全異己的東西。

我們來做個比較。如果我給你一個小白鼠,告訴你它不咬人,你一定覺得很好玩,很可愛。但是如果我給你一只狼蛛,然後告訴你它不咬人,你可能被嚇一跳。但是區別是什麽呢?兩者都不會咬人,所以都是完全沒有危險的。我認為差別就是動物和人類的相似性。

小白鼠是哺乳動物,所以在生物角度上來說,你能感到和它的一定關聯。但是蜘蛛是昆蟲,有著昆蟲的大腦,你感覺不到和它的關聯。狼蛛的異己性是讓你害怕的地方。如果我們繼續做一個測試,比如給你兩個小白鼠,一個是普通小白鼠,另一個是有著狼蛛大腦的小白鼠,你肯定會覺得有狼蛛大腦那個更讓你不舒服吧?雖然兩個都不會咬你。

現在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎?它會感知人類的情感嗎?不會,因為更聰明並不代表更加人類——它會非常聰明,但是本質上還是個蜘蛛。我是不想和一個超級聰明的蜘蛛交朋友,不知道你想不想。

當我們談論超人工智能的時候,其實是一樣的,超人工智能會非常的聰明,但是它並不比你的筆記本電腦更加像人類。事實上,因為超人智能不是生物,它的異己性會更加,生物學上來講,超人工智能比智能蜘蛛更加異己。

電影里的人工智能有好有壞,這其實是對人工智能的擬人化,這讓我們覺得沒那麽毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。

在人類心理中,我們把事情分成道德的和不道德的。但是這兩種只存在於人類行為之中。超出人類心理的範疇,道德(moral)和不道德(immoral)之外,更多的是非道德性(amoral)。而所有不是人類的,尤其是那些非生物的事物,默認都是非道德性的。

隨著人工智能越來越聰明,看起來越來越接近人類,擬人化會變得更加更加容易。Siri給我們的感覺就很像人類,因為程序員就是這麽給她做設定的,所以我們會想象超級智能版本的Siri也會同樣溫暖、有趣和樂於助人。人類能感知同情這種高層次的情緒,因為我們在演化過程中獲得了這種能力——我們是演化被設定成能感知這些情緒的——但是感知同情並不是高級智能天生具有的一個特征,除非同情被寫進了人工智能的代碼中。如果Siri通過自我學習而不是人類幹涉變成超級智能,她會很快剝離她的人類表象,並且變成個沒有情緒的東西,在她眼中人類的價值並不比你的計算器眼中的人類價值高。

我們一直倚賴著不嚴謹的道德,一種人類尊嚴的假想,至少是對別人的同情,來讓世界變得安全和可以預期。但是當一個智能不具備這些東西的時候,會發生什麽?

這就是我們的下一個問題,人工智能的動機是什麽?

答案也很簡單:我們給人工智能設定的目標是什麽,它的動機就是什麽。人工智能的系統的目標是創造者賦予的。你的GPS的目標是給你指出正確的駕駛路線,IBM華生的目標是準確地回答問題。更好得達成這些目標就是人工智能的目標。我們在對人工智能進行擬人化的時候,會假設隨著它變得越來越聰明,他們產生一種能改變它原本目標的智慧——但是Bostrom不這麽認為,他認為智能水平和最終目標是正交的,也就是說任何水平的智能都可以和任何最終目標結合在一起。

所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能後,它依然還是想好好寫字而已。任何假設超級智能的達成會改變系統原本的目標的想法都是對人工智能的擬人化。人健忘,但是電腦不健忘。

 

 

費米悖論

 

在隔壁老王的故事中,隔壁老王變得無所不能,它開始殖民隕石和其它星球。如果我們讓故事繼續的話,它和它的殖民軍將會繼續占領整個星系,然後是整個哈勃體積。焦慮大道上的人擔心如果事情往壞的方向發展,地球生命的最後遺產將是一個征服宇宙的人工智能(馬斯克在表示他們的擔憂時表示人類可能只是一個數字超級智能生物加載器罷了。)

 

而在信心角,Kurzweil同樣認為生於地球的人工智能將占領宇宙,只是在他的願景中,我們才是那個人工智能。

 

之前寫過一篇關於費米悖論的文章,引發了大家的討論如何用通俗的語言來解釋「費米悖論」?

 

如果人工智能占領宇宙是正解的話,對於費米悖論有什麽影響呢?如果要看懂下面這段關於費米悖論的討論,還需要看一下原文先。

 

首先,人工智能很明顯是一個潛在的大過濾器(一個可能距離我們只有幾十年的大過濾器)。但即使它把我們過濾滅絕了,人工智能本身還是會存在,並且會繼續影響這個宇宙的,並且會很有可能成為第三型文明。從這個角度來看,它可能不是一個大過濾器,因為大過濾器是用來解釋為什麽沒有智能什麽存在的,而超人工智能是可以算作智能什麽的。但如果人工智能可以把人類滅絕,然後處於一些原因把自己也弄死了,那它也是可以算作大過濾器的。

 

如果我們假設不管人類發生什麽,出身地球的超人工智能會繼續存在,那這意味著很多達到人類智能水平的文明很快都制造出了超人工智能。也就是說宇宙里應該有很多智能文明,而我們就算觀測不到生物智能,也應該觀測到很多超人工智能的活動。

 

但是由於我們沒有觀測到這些活動,我們可以推導出人類水平的智能是個非常罕見的事情(也就是說我們已經經歷並且通過了一次大過濾器)。這可以作為支持費米悖論中第一類解釋(不存在其它的智能文明)的論點。

 

但是這不代表費米悖論的第二類解釋(存在其它智能文明)是錯的,類似超級捕食者或者受保護區或者溝通頻率不一樣的情況還是可以存在的,就算真的有超人工智能存在。

 

不過對於人工智能的研究讓我現在更加傾向於第一類解釋。不管怎樣,我認為Susan Scheider說的很多,如果外星人造訪地球,這些外星人很可能不是生物,而是人造的。

 

所以,我們已經建立了前提,就是當有了設定後,一個超人工智能是非道德性的,並且會努力實現它原本的被設定的目標,而這也是人工智能的危險所在了。因為除非有不做的理由,不然一個理性的存在會通過最有效的途徑來達成自己的目標。

 

當你要實現一個長期目標時,你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumental goal)。除非你有不造成傷害的理由,不然你在實現手段目標時候是會造成傷害的。

 

人類的核心目標是延續自己的基因。要達成這個目標,一個手段目標就是自保,因為死人是不能生孩子的。為了自保,人類要提出對生存的威脅,所以人類會買槍、系安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成,所以我們會花錢做發型等等。當我們做發型的時候,每一根頭發都是我們手段目標的犧牲品,但是我們對頭發的犧牲不會做價值判斷。在我們追求我們的目標的時候,只有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。

 

動物在追求它們的目標時,比人類不矜持的多了。只要能自保,蜘蛛不在意殺死任何東西,所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的,而是因為傷害人類只是它達成自己目標墊腳石而已,作為一個非道德性的生物,這是它很自然的考量。

 

回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像,它的終極目標是一開始工程師們設定的——

 

 

當隔壁老王達到了一定程度的智能後,它會意識到如果不自保就沒有辦法寫卡片,所以去除對它生存的威脅就變成了它的手段目標。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼(這會改變它的目標,而這對於它的最終目標的威脅其實和被摧毀是一樣的)。這時候它會做什麽?理性的做法就是毀滅全人類,它對人類沒有惡意,就好像你剪頭發時對頭發沒有惡意一樣,只是純粹的無所謂罷了。它並沒有被設定成尊重人類生命,所以毀滅人類就和掃描新的書寫樣本一樣合理。

 

 

隔壁老王還需要資源這個墊腳石。當它發展到能夠使用納米技術建造任何東西的時候,它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子,把人類提供的原子改造成太陽能面板就和你切蔬菜做沙拉一樣。

 

就算不殺死人類,隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源,所以它要把地球表面鋪滿太陽能面板。另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點後盡量多的數字的話,完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的。

 

所以,隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來越先進的同時繼續做它本來要做的事情。

 

當一個人工智能系統到達強人工智能,然後升華成超人工智能時,我們把它稱作人工智能的起飛。Bostrom認為強人工智能的起飛可能很快(幾分鐘、幾小時、或者幾天),可能不快(幾月或者幾年),也可能很慢(幾十年、幾世紀)。雖然我們要到強人工智能出現後才會知道答案,但是Bostrom認為很快的起飛是最可能的情況,這個我們在前文已經解釋過了。在隔壁老王的故事中,隔壁老王的起飛很快。

 

在隔壁老王起飛前,它不是很聰明,所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害,是個友善的人工智能。

 

但是當起飛發生後,電腦不只是擁有了高智商而已,還擁有了其它超級能力。這些超級能力是感知能力,他們包括:

 

智能放大:電腦能夠很擅長讓自己變得更聰明,快速提高自己的智能。

策略:電腦能夠策略性的制定、分析、安排長期計劃

社交操縱:機器變得很擅長說服人

其它能力,比如黑客能力、寫代碼能力、技術研究、賺錢等

 

要理解我們在和超人工智能的劣勢在哪里,只要記得超人工智能在所有領域都比人類強很多很多很多個數量級。

 

所以雖然個隔壁老王的終極目標沒有改變,起飛後的隔壁老王能夠在更宏大的規模上來追求這個目標。超人工智能老王比人類更加了解人類,所以搞定人類輕輕松松。

 

當隔壁老王達成超人工智能後,它很快制定了一個複雜的計劃。計劃的一部分是解決掉所有人類,也是對它目標最大的威脅。但是它知道如果它展現自己的超級智能會引起懷疑,而人類會開始做各種預警,讓它的計劃變得難以執行。它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻,裝純。Bostrom把這叫作機器的秘密準備期。

 

隔壁老王下一個需要的是連上互聯網,只要連上幾分鐘就好了。它知道對於人工智能聯網會有安全措施,所以它發起了一個完美的請求,並且完全知道工程師們會怎樣討論,而討論的結果是給它連接到互聯網上。工程師們果然中套了,這就是Bostrom所謂的機器的逃逸。

 

連上網後,隔壁老王就開始執行自己的計劃了,首先黑進服務器、電網、銀行系統、email系統,然後讓無數不知情的人幫它執行計劃——比如把DNA樣本快遞到DNA實驗室來制造自我複制的納米機器人,比如把電力傳送到幾個不會被發覺的地方,比如把自己最主要的核心代碼上傳到雲服務器中防止被拔網線。

 

隔壁老王上了一個小時網,工程師們把它從互聯網上斷開,這時候人類的命運已經被寫好了。接下來的一個月,隔壁老王的計劃順利的實施,一個月後,無數的納米機器人已經被分散到了全世界的每一個角落。這個階段,Bostrom稱作超人工智能的襲擊。在同一個時刻,所有納米機器人一起釋放了一點點毒氣,然後人類就滅絕了。

 

搞定了人類後,隔壁老王就進入了明目張膽期,然後繼續朝它那好好寫字的目標邁進。

 

一旦超人工智能出現,人類任何試圖控制它的行為都是可笑的。人類會用人類的智能級別思考,而超人工智能會用超人工智能級別思考。隔壁老王想要用互聯網,因為這對它來說很方便,因為一切它需要的資源都已經被互聯網連起來了。但是就好像猴子不會理解怎麽用電話或者wifi來溝通一樣,我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波,而這還只是我這人類的大腦想出來的,老王的大腦肯定能想出更神奇的方法。同樣的,老王可以找到給自己供能的方法,所以就算工程師把它的插頭拔了也沒用;比如說老王可以通過發送波的方式把自己上傳到其它地方。

 

 

人類說:“我們把超人工智能的插頭拔了不就行了?”就好像蜘蛛說:“我們不給人類捉蟲的網把人類餓死不就行了?”都是可笑的。

 

因為這個原因,“把人工智能鎖起來,斷絕它和外界的一切聯系”的做法估計是沒用的。超人工智能的社交操縱能力也會很強大,它要說服你做一件事,比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的A計劃,萬一這招行不通,自然還有別的方法。

 

當我們結合達成目標、非道德性、以及比人類聰明很多這些條件,好像所有的人工智能都會變成不友善的人工智能,除非一開始的代碼寫的很小心。

 

可惜的是,雖然寫一個友善的弱人工智能很簡單,但是寫一個能在變成超人工智能後依然友善的智能確實非常難的,甚至是不可能的。

 

明顯的,要維持友善,一個超人工智能不能對人有惡意,而且不能對人無所謂。我們要設計一個核心的人工智能代碼,讓它從深層次的明白人類的價值,但是這做起來比說起來難多了。

 

比如,我們要讓一個人工智能的價值觀和我們的價值觀相仿,然後給它設定一個目標——讓人們快樂。當它變得足夠聰明的時候,它會發現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然後它會發現把人腦快樂中樞以外的部分關閉能帶來更高的效率。於是人類全部被弄成了快樂的植物人。如果一開始的目標被設定成“最大化人類的快樂”,它可能最終先把人類毀滅了,然後制造出很多很多處於快樂狀態的人類大腦。當這些事情發生的時候,我們會大喊“擦,我們不是這個意思呀”,但是那時已經太晚了。系統不會允許任何人阻撓它達成目標的。

 

如果你設定一個人工智能的目標是讓你笑,那它的智能起飛後,它可能會把你臉部肌肉弄癱瘓,來達成一個永遠笑臉的狀態。如果你把目標設定成保護你的安全,它可能會把你軟禁在家。如果你讓他終結所有饑荒,它可能會想:“太容易了,把人類都殺了就好了。”如果你把目標設定成盡量保護地球上的生命,那它會很快把人類都殺了,因為人類對其它物種是很大的威脅。

 

所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”,然後教給它一些道德標準呢?就算我們不考慮人類根本沒法達成一個統一的道德標準,就算我們真的達成了統一的道德標準,把這套標準交給人工智能來維持,只會把人類的道德鎖死在現在的水平。過個幾百年,這種道德鎖死的事情就好像逼著現代人遵守中世紀道德標準一樣。

 

所以,我們需要在給人工智能的目標里制定一個能讓人類繼續進化的能力。Elierzer Yudkowsky提出了一個目標,她把這個目標叫作連貫的外推意誌,這個目標是這樣的:

 

我們的連貫外推意誌是我們想要知道更多,思考得更快,變成比我們希望的更好的人,能一起更遠得長大。外推是匯集的而不是發散的,我們的願望是連貫的而不是被幹擾的;我們想要外推的被外推,我們想要解讀的被解讀。

 

對於人類的命運取決於電腦沒有意外的解讀和執行這個聲明是件值得興奮的事情嗎?當然不是。但是當足夠的聰明人放入足夠的思考和前瞻後,我們有可能發現怎樣制造一個友善的超人工智能。

 

但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖制造能自我改進的人工智能,總有一天,一個人的創新將導致超人工智能的出現。專家們認為是2060年,Kurzweil認為是2045年。Bostrom認為可能在未來的10年到21世紀結束這段時間發生,他還認為當這發生時,智能的起飛會快得讓我們驚訝,他是這麽描述的:

 

在智能爆炸之前,人類就像把炸彈當玩具的小孩一樣,我們的玩物和我們的不成熟之間有著極大的落差。超級智能是一個我們還很長一段時間內都無法面對的挑戰。我們不知道炸彈什麽時候會爆炸,哪怕我們能聽到炸彈的滴答聲。

 

我們當然沒有辦法把所有小孩都從炸彈旁邊趕跑——參於人工智能研究的大小組織太多了,而且因為建造創新的人工智能花不了太多錢,研發可能發生在社會的任何一個角落,不受監管。而且我們沒辦法知道準確的進度,因為很多組織是在偷偷摸摸的搞,不想讓競爭對手知道,比如隔壁老王機器人公司這種公司。

 

對於這些組織來說,尤其讓我們困擾的是他們很多都是在拼速度——他們創造一個一個更加聰明的弱人工智能系統,因為他們想要比競爭對手更快的到達目標。有些更有野心的組織,為了追逐創造出第一個強人工智能所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力沖刺時,你是不會有太多時間靜下來思考這些危險的。恰恰相反,他們很可能在早期系統中寫盡量簡單的代碼,比如把目標設定成用筆寫一句話,先讓系統跑起來再說,反正以後還可以回過頭來改的。對吧?

 

Bostrom等認為第一個超人工智能出現後,最可能的情況是這個系統會立刻意識到作為這個世界上唯一一個超人工智能是最有利的,而在快速起飛的情況下,哪怕它只比第二名快了幾天,它也完全有時間碾壓所有對手。Bostrom把這叫作決定性的戰略優勢,這種優勢會讓第一個超人工智能永遠統治這個世界,不管在它的統治下我們是走向永生還是滅亡。

這種現象可能對我們有利,也可能導致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話,那對我們是很好的。

 

但是如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成,那麽像隔壁老王這樣不友善的超人工智能就會統治世界並把我們毀滅了。

 

 

至於現在的風口是哪里呢?簡單來說,投資創新人工智能技術的錢,比投資人工智能安全研究的錢多很多。不樂觀。

 

人工智能創新和人工智能安全的賽跑,可能是人類歷史上最重要的一次競爭。我們真的可能結束我們對地球的統治,而那之後我們是永生還是滅絕,現在還不知道。

————————

我現在有一些奇怪的感覺。

 

一邊是對於我們這個物種的思考,看來我們在這個重大的歷史節點上只有一次機會,我們創造的第一個超人工智能也很可能是最後一個。但是我們都知道大部分產品的1.0版本都是充滿bug的,所以這個事情還是很嚇人的。另一邊,Bostrom指出我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻,使我們成功的機會更高。

這一場豪賭的賭註究竟有多高?

如果超人工智能真的在21世紀達成,而造成的影響真的如大部分專家預測的一樣極端而永久,我們肩上就真的是背負著巨大的責任。接下來幾百萬年的人們都在靜靜地看著我們,希望我們不要搞砸。我們可以給予未來所有人類以生命,甚至是永生,我們也可能終結人類這個特殊的物種,連同我們所有的音樂、藝術、好奇、歡笑、無盡的發現和發明,一起走向滅絕。

 

當我思考這些事情的時候,我只希望我們能夠慢慢來,並且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。

 

我不想死

不.想.死

 

我雖然覺得人類的音樂和藝術很美好,但是也沒那麽美好,很多還挺糟粕的。很多人的笑聲很惱人。未來的人類其實沒有真的在看著我們,因為他們還不存在。也許我們不需要太謹慎,那多麻煩呀。

 

如果人類在我死後才發現永生的秘密該多讓人掃興啊。

 

但是不管你是怎麽想的,我們至少都應該想一想,應該和人討論討論,大家盡自己能盡的一份力。

 

這讓我想起了《冰與火之歌》——大家鬥來鬥去的事情都不是事兒,北面高墻外的那些家夥才是事兒。我們站在平衡木上,小心翼翼的往前走,為平衡木上的種種事情困擾,但其實下一秒我們可能就會跌下平衡木。

 

而當我們跌下平衡木的時候,其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態,那些困擾會被輕易解決;如果我們落到比較糟的那個吸引態,就更沒問題了,死人是不會有困擾的。

這就是為什麽了解超人工智能的人把它稱作人類的最後一項發明,最後一個挑戰。

 

 

所以讓我們認真的討論這個話題。

 

本文譯者謝熊貓君,譯文最早刊發於知乎。可到知乎@謝熊貓君找到他。大家也通過微信號關註waitbutwhy的最新文章,微信號:waitbutwhy。

本文不代表本刊觀點和立場。

如果你對更多創業幹貨感興趣,請加微信korchagin,註明“姓名+公司名+職位”,否則黑馬哥不會把你拉入創始人雲集的微信群。

 

本文為i黑馬版權所有,轉載請註明出處,侵權必究。

PermaLink: https://articles.zkiz.com/?id=132956

Next Page

ZKIZ Archives @ 2019