我們將永生還是滅絕？ 人工智能很快會給出答案（上）
來源: http://newshtml.iheima.com/2015/0215/149182.html
“人工智能很可能導致人類的永生或者滅絕，而這一切很可能在我們有生之年發生。”這篇精彩的譯文來源於waitbuywhy.com，由知乎用戶“謝熊貓君”完成翻譯工作。文章很長，春節期間可以收藏起來慢慢讀。
如果你站在這里，你會是什麽感覺？
你和電腦打了個平手。接著我們把途中的黑色部分去除：
而且，我們到現在談的還是靜態不變的信息。要想達到人類級別的智能，電腦必須要理解更高深的東西，比如微小的臉部表情變化，開心、放松、滿足、滿意、高興這些類似情緒間的區別，以及為什麽《布達佩斯大飯店》是好電影，而《富春山居圖》是爛電影。
想想就很難吧？
我們要怎樣才能達到這樣的水平呢？
通往強人工智能的第一步：增加電腦處理速度
要達到強人工智能，肯定要滿足的就是電腦硬件的運算能力。如果一個人工智能要像人腦一般聰明，它至少要能達到人腦的運算能力。
用來描述運算能力的單位叫作cps（calculations per second，每秒計算次數），要計算人腦的cps只要了解人腦中所有結構的最高cps，然後加起來就行了。
Kurzweil把對於一個結構的最大cps的專業估算，然後考慮這個結構占整個大腦的重量，做乘法，來得出人腦的cps。聽起來不太靠譜，但是Kurzweil用了對於不同大腦區域的專業估算值，得出的最終結果都非常類似，是10^16 cps，也就是1億億次計算每秒。
現在最快的超級計算機，中國的天河二號，其實已經超過這個運算力了，天河每秒能進行3.4億億。當然，天河二號占地720平方米，耗電2400萬瓦，耗費了3.9億美元建造。廣泛應用就不提了，即使是大部分商業或者工業運用也是很貴的。
Kurzweil認為考慮電腦的發展程度的標桿是看1000美元能買到多少cps，當1000美元能買到人腦級別的1億億運算能力的時候，強人工智能可能就是生活的一部分了。
摩爾定律認為全世界的電腦運算能力每兩年就翻一倍，這一定律有歷史數據所支持，這同樣表明電腦硬件的發展和人類發展一樣是指數級別的。我們用這個定律來衡量1000美元什麽時候能買到1億億cps。現在1000美元能買到10萬億cps，和摩爾定律的歷史預測相符合。
所以，當人工智能開始朝人類級別智能靠近時，我們看到的是它逐漸變得更加智能，就好像一個動物一般。然後，它突然達到了最愚笨的人類的程度，我們到時也許會感慨：“看這個人工智能就跟個腦殘人類一樣聰明，真可愛。”
但問題是，從智能的大局來看，人和人的智能的差別，比如從最愚笨的人類到愛因斯坦的差距，其實是不大的。所以當人工智能達到了腦殘級別的智能後，它會很快變得比愛因斯坦更加聰明：
現在關於人工智能什麽時候能達到人類普遍智能水平還有爭議。對於數百位科學家的問卷調查顯示他們認為強人工智能出現的中位年份是2040年——距今只有25年。這聽起來可能沒什麽，但是要記住，很多這個領域的思想家認為從強人工智能到超人工智能的轉化會快得多。
以下的情景很可能會發生：一個人工智能系統花了幾十年時間到達了人類腦殘智能的水平，而當這個節點發生的時候，電腦對於世界的感知大概和一個四歲小孩一般；而在這節點後一個小時，電腦立馬推導出了統一廣義相對論和量子力學的物理學理論；而在這之後一個半小時，這個強人工智能變成了超人工智能，智能達到了普通人類的17萬倍。
這個級別的超級智能不是我們能夠理解的，就好像蜜蜂不會理解凱恩斯經濟學一樣。在我們的語言中，我們把130的智商叫作聰明，把85的智商叫作笨，但是我們不知道怎麽形容12952的智商，人類語言中根本沒這個概念。
但是我們知道的是，人類對於地球的統治教給我們一個道理——智能就是力量。也就是說，一個超人工智能，一旦被創造出來，將是地球有史以來最強大的東西，而所有生物，包括人類，都只能屈居其下——而這一切，有可能在未來幾十年就發生。
想一下，如果我們的大腦能夠發明Wifi，那麽一個比我們聰明100倍、1000倍、甚至10億倍的大腦說不定能夠隨時隨地操縱這個世界所有原子的位置。那些在我們看來超自然的，只屬於全能的上帝的能力，對於一個超人工智能來說可能就像按一下電燈開關那麽簡單。
防止人類衰老，治療各種不治之癥，解決世界饑荒，甚至讓人類永生，或者操縱氣候來保護地球未來的什麽，這一切都將變得可能。同樣可能的是地球上所有生命的終結。
當一個超人工智能出生的時候，對我們來說就像一個全能的上帝降臨地球一般。
這時候我們所關心的就是：
要理解一個具有超級智能的機器有多牛逼，讓我們假設一個在上圖的樓梯上站在深綠色臺階上的一個機器，它站的位置只比人類高兩層，就好像人類比猩猩只高兩層一樣。這個機器只是稍微有點超級智能而已，但是它的認知能力之於人類，就好像人類的認知能力之於猩猩一樣。
就好像猩猩沒有辦法理解摩天大樓是能被造出來的一樣，人類完全沒有辦法理解比人類高兩層臺階的機器能做的事情。就算這個機器試圖向我們解釋，效果也會像教猩猩造摩天大樓一般。
而這，只是比我們高了兩層臺階的智能罷了，站在這個樓梯頂層的智能之於人類，就好像人類之於螞蟻一般——它就算花再多時間教人類一些最簡單的東西，我們依然是學不會的。
但是我們討論的超級智能並不是站在這個樓梯頂層，而是站在遠遠高於這個樓梯的地方。當智能爆炸發生時，它可能要花幾年時間才能從猩猩那一層往上邁一步，但是這個步子會越邁越快，到後來可能幾個小時就能邁一層，而當它超過人類十層臺階的時候，它可能開始跳著爬樓梯了——一秒鐘爬四層臺階也未嘗不可。
所以讓我們記住，當第一個到達人類智能水平的強人工智能出現後，我們將在很短的時間內面對一個站在下圖這樣很高很高的樓梯上的智能（甚至比這更高百萬倍）：
科學界中大部分人認為踩上絆線不是會不會的問題，而是時間早晚的問題。想想真嚇人。
那我們該怎麽辦呢？
可惜，沒有人都告訴你踩到絆線後會發生什麽。但是人工智能思想家Nick Bostrom認為我們會面臨兩類可能的結果——永生和滅絕。
首先，回顧歷史，我們可以看到大部分的生命經歷了這樣的歷程：物種出現，存在了一段時間，然後不可避免的跌落下生命的平衡木，跌入滅絕的深淵。
如果Bostrom等思想家的想法是對的，而且根據我的研究他們確實很可能是對的，那麽我們需要接受兩個事實：
1）超人工智能的出現，將有史以來第一次，將物種的永生這個吸引態變為可能。
2）超人工智能的出現，將造成非常巨大的沖擊，而且這個沖擊可能將人類吹下平衡木，並且落入其中一個吸引態。
有可能，當自然演化踩到絆線的時候，它會永久的終結人類和平衡木的關系，創造一個新的世界，不管這時人類還是不是存在。
而現在的問題就是：“我們什麽時候會踩到絆線？”以及“從平衡木上跌下去後我們會掉入哪個吸引態？”
沒人知道答案，但是一些聰明人已經思考了幾十年，接下來我們看看他們想出來了些什麽。
先來討論“我們什麽時候會踩到絆線？”也就是什麽時候會出現第一個超級智能。
不出意外的，科學家和思想家對於這個意見的觀點分歧很大。很多人，比如Vernor Vinge教授，科學家Ben Goertzel，SUN創始人Bill Joy，發明家和未來學家Ray Kurzweil，認同機器學習專家Jeremy Howard的觀點，Howard在TED演講時用到了這張圖：
當然，以上所有的數據都是推測，它只代表了現在人工智能領域的專家的中位意見，但是它告訴我們的是，很大一部分對這個領域很了解的人認為2060年是一個實現超人工智能的合理預測——距今只有45年。
那麽我們來看一下下一個問題，踩到絆線後，我們將跌向平衡木的哪一個方向？
超級智能會產生巨大的力量，所以關鍵的問題時——到時這股力量究竟由誰掌握，掌握這份力量的人會怎麽做？
這個問題的答案將決定超人工智能究竟是天堂還是地獄。
同樣的，專家們在這個問題上的觀點也不統一。Bostrom的問卷顯示專家們看待強人工智能對於人類社會的影響時，52%認為結果會是好或者非常好的，31%認為會是糟糕的或者非常糟糕的，只有17%的人認為結果會是不好不壞的。
也就是說，這個領域的專家普遍認為這將是一個很大的事情，不論結果好壞。要註意的是，這個問題問的是強人工智能，如果問的是超人工智能，認為結果不好不壞的人可能不會有17%這麽多。
在我們深入討論好壞這個問題之前，我們先把“什麽時候會發生”和“這是好事還是壞事”的結果綜合起來畫張表，這代表了大部分專家的觀點：
我們將對這兩個小陣營做深入的談論，在下一部分，讓我們從比較有趣的那個開始吧。
本文譯者謝熊貓君，譯文最早刊發於知乎。可到知乎@謝熊貓君找到他。大家也通過微信號關註waitbutwhy的最新文章，微信號：waitbutwhy。
本文不代表本刊觀點和立場。
本文為i黑馬版權所有，轉載請註明出處，侵權必究。
我們將永生還是滅絕？人工智能很快會給出答案（下）
來源: http://newshtml.iheima.com/2015/0222/149211.html
“人工智能很可能導致人類的永生或者滅絕，而這一切很可能在我們有生之年發生。”前幾日本刊刊登了本文的上篇，引發了網友的瘋狂轉載。今天我們繼續討論：“超人工智能降臨會帶來哪些影響？又會引起哪些擔憂？或許，超人工智能是人類的最後一項發明，最後一個挑戰。”本文來源於waitbuywhy.com，由知乎用戶“謝熊貓君”完成翻譯工作。 譯/謝熊貓君 編輯/蒲鴿
為什麽未來會是天堂？
研究人工智能這個領域後，我發現有比預期的多得多的人站在信心角當中：
站在信心角中的人非常興奮，他們認為他們講走向平衡木下比較有趣的那個吸引態，未來將實現他們的夢想，他們只需耐心等待。
把這一部分人從其他思想家區分開來的是這些人對於比較有趣的那個吸引態的欲望——他們很有信心永生是我們的發展方向。
這份信心是哪里來的不好說，評論家認為是這些人太過興奮而產生了盲點，忽略了可能的負面結果。但是信心角的人還是把批評者當作末日論者來看待，他們認為技術會繼續幫助我們而不是傷害我們。
兩邊的觀點我們都會說，這樣你能形成自己的觀點，但是在讀下面的內容前，請把質疑暫時擱置，讓我們看看平衡木兩邊究竟有什麽，並且記住這些事情是有可能發生的。如果我們給一個打獵采集者看我們現在的舒適家居、技術、富庶，在他眼里這一切也會像魔法一樣——我們也要接受未來完全可能出現能把我們嚇尿的變革。
Bostrom描述了三種超人工智能可能的工作模式
- 先知模式：能準確回答幾乎所有的問題，包括對人類來說很困難的複雜問題，比如“怎樣造一個更好的汽車引擎？”
– 精靈模式：能夠執行任何高級指令，比如用分子組合器造一個更好的汽車引擎出來
– 獨立意誌模式（sovereign）:可以執行開放式的任務，能在世界里自由活動，可以自己做決定，比如發明一種比汽車更快、更便宜、更安全的交通模式。
這些對人類來說很複雜的問題，對於一個超級智能來說可能就像“我的筆掉了，你能幫我撿一下嗎？”這麽簡單。
Eliezer Yudkowsky，是這麽說的：
“根本沒有困難的問題，只有對於特定級別的智能來說難的問題。在智能的階梯上走一小步，一些不可能的問題就變得簡單了，如果走一大步，所有問題都變得簡單了。”
信心角里有很多熱忱的科學家、發明家和創業者，但是對於人工智能的未來最有發言權的，當屬Ray Kurzweil。
對於Kurzweil的評價非常兩極化，既有如對神人般的崇拜，也有翻白眼似的不屑。也有一些中立主義者，比如作家Douglas Hofstadter，他覺得Kurzweil的觀點就好像把美食和狗屎混在一起，讓你分不清是好是壞。
不管你同不同意Kurzweil的觀點，他都是一個牛人。他年輕時候就開始搞發明，之後幾十年發明了很多東西，比如第一臺平板掃描儀，第一臺能把文字轉化為語言的掃描儀（盲人使用），著名的Kurzweil音樂合成器（第一臺真正意義上的電子鋼琴），以及第一套商業銷售的語音識別系統。他是五本暢銷書的作者。他很喜歡做大膽的預測，而且一直很準，比如他80年代末的時候預測到2000年後因特網會成為全球級的現象。他被《華爾街日報》成為“不休的天才”，被《福布斯》稱為“終極思想機器”，被《Inc.》稱作“愛迪生真正的傳人”，被比爾蓋茨稱為“我認識的對人工智能預測最厲害的人。”2012年谷歌創始人Larry Page曾邀請他擔任谷歌的工程總監，2011年他共同創立了奇點大學（Singularity University），現在大學由美國太空總署運運營，由谷歌贊助。
Kurzweil的經歷很重要，因為當他講述自己對未來的願景時，他聽起來就是個瘋子，但是他不瘋，恰恰相反，他非常聰明而有知識。你可能覺得他對於未來的想法是錯的，但是他不傻。知道他是一個聰明人讓我很開心，因為當我知道他對未來的預測後，我急切的很希望他的預測是對的。信心角中的很多思想家都認同Kurzweil的預測，他也有很多粉絲，被稱為奇點主義者。
時間線
Kurzweil相信電腦會在2029年達成強人工智能，而到了2045年，我們不但會有超人工智能，還會有一個完全不同的世界——奇點時代。他的人工智能時間線曾經被認為非常的狂熱，現在也還是有很多人這麽認為，但是過去15年弱人工智能的快速發展讓更多的專家靠近了Kurzweil的時間線。雖然他的時間線比之前提到的2040年和2060年更加早，但是並沒有早多少。
Kurzweil的奇點時代是三個技術領域的共同革命造成的——生物技術、納米技術和最重要的人工智能技術。
在我們繼續討論人工智能前，讓我們談一下納米技術這個任何關於人工智能的討論都會涉及到的領域：
納米技術
納米技術說的是在1-100納米的範圍內操縱物質的技術。一納米是一米的十億分之一，是一毫米的一百萬分之一。1-100納米這個範圍涵蓋了病毒（100納米長），DNA（10納米寬）， 大分子比如血紅蛋白（5納米），和中分子比如葡萄糖（1納米）。當我們能夠完全掌握納米技術的時候，我們離在原子層面操縱物質就只差一步了，因為那只是一個數量級的差距（約0.1納米）。
要了解在納米量級操縱物質有多困難，我們可以換個角度來比較。國際空間站距離地面431公里。如果一個人身高431公里，也就是他站著能夠頂到國際空間站的話，他將是普通人類的25萬倍大。如果你把1-100納米放大25萬倍，你算出的是0.25毫米-25毫米。所以人類使用納米技術，就相當於一個身高431公里的巨人用沙子那麽大的零件搭精巧的模型。要如果要達到原子級別操縱物質，就相當於讓這個431公里高的巨人使用0.025毫米大的零件。
關於納米技術的思考，最早由物理學家費曼在1959年提出，他解釋道：“據我所知，物理學的原理，並不認為在原子級別操縱物質是不可能的。原則上來說，物理學家能夠制造出任何化學家能寫出來的物質——只要把一個個原子按照化學家寫出來的放在一起就好了。”其實就是這麽簡單，所以我們只要知道怎樣移動單個的分子和原子，我們就可以造出任何東西。
工程師Eric Drexler提出納米級組裝機後，納米技術在1986年成為了一門正經的學科。納米級組裝機的工作原理是這樣的：一個牛逼掃描儀掃描物件的3D原子模型，然後自動生成用來組裝的軟件。然後由一臺中央電腦和數萬億的納米“機器人”，通過軟件用電流來指揮納米機器人，最後組成所需要的物件。
————————
再扯遠一點
納米技術有一些不是那麽有趣的部分——能夠制造數萬億的納米機器人唯一合理的方法就是制造可以自我複制的範本，然後讓指數級增長來完成建造任務。很機智吧？
是很機智，但是這一不小心就會造成世界末日。指數級增長雖然能很快的制造數萬億的納米機器人，但這也是它可怕的地方——如果系統出故障了，指數級增長沒有停下來，那怎麽辦？納米機器人將會吞噬所有碳基材料來支持自我複制，而不巧的是，地球生命就是碳基的。
地球上的生物質量大概包含10^45個碳原子。一個納米機器人有10^6個碳原子的話，只需要10^39個納米機器人就能吞噬地球上全部的生命了，而2^130約等於10^39，也就是說自我複制只要進行130次就能吞噬地球生命了。科學家認為納米機器人進行一次自我複制只要100秒左右，也就是說一個簡單的錯誤可能就會在3.5小時內毀滅地球上全部的生命。
更糟糕的是，如果恐怖分子掌握了納米機器人技術，並且知道怎麽操縱它們的話，他可以先造幾萬億個納米機器人，然後讓它們散播開來。然後他就能發動襲擊，這樣只要花一個多小時納米機器人就能吞噬一切，而且這種攻擊無法阻擋。未來真的是能把人嚇尿的。
————————
我們還沒掌握這種技術，我們甚至不知道我們對於達成這種技術的難度是高估了還是低估了，但是我們看上去離那並不遙遠。Kurzweil預測我們會在21世紀20年代掌握這樣的技術。各國政府知道納米技術將能改變地球，所以他們投入了很多錢到這個領域，美國、歐盟和日本至今已經投入了50億美元。
設想一下，一個具有超級智能的電腦，能夠使用納米級的組裝器，是種什麽樣的體驗？要記得納米技術是我們在研究的玩意兒，而且我們就快掌握這項技術了，而我們能做的一切在超人工智能看來就是小兒科罷了，所以我們要假設超人工智能能夠創造出比這要發達很多很多的技術，發達到我們的大腦都沒有辦法理解。
因此，當考慮“如果人工智能革命的成果對我們是好的”這個命題的時候，要記得我們根本沒法高估會發生什麽。所以就算下面對於超人工智能的預測顯得太不靠譜，要記得這些進展可能是用我們沒有辦法想象的方法達成的。事實上，我們的大腦很可能根本沒法預測將會發生什麽。
—————-
人工智能能為我們做什麽？
擁有了超級智能和超級智能所能創造的技術，超人工智能可以解決人類世界的所有問題。氣候變暖？超人工智能可以用更優的方式產生能源，完全不需要使用化石燃料，從而停止二氧化碳排放。然後它能創造方法移除多余的二氧化碳。癌癥？沒問題，有了超人工智能，制藥和健康行業將經歷無法想象的革命。世界饑荒？超人工智能可以用納米技術直接搭建出肉來，而這些搭建出來的肉和真肉在分子結構上會是完全相同的——換句話說，就是真肉。
納米技術能夠把一堆垃圾變成一堆新鮮的肉或者其它食品，然後用超級發達的交通把這些食物分配到世界各地。這對於動物也是好消息，我們不需要屠殺動物來獲得肉了。而超人工智能在拯救瀕危物種和利用DNA複活已滅絕物種上面也能做很多事情。超人工智能甚至可以解決複雜的宏觀問題——我們關於世界經濟和貿易的爭論將不再必要，甚至我們對於哲學和道德的苦苦思考也會被輕易的解決。
但是，有一件事是如此的吸引人，光是想想就能改變對所有事物的看法了：
幾個月前，我提到我很羨慕那些可能達成了永生的文明。但是，現在，我已經在認真的考慮達成永生這個事情很可能在我們有生之年就能達成。研讀人工智能讓你重新審思對於所有事情的看法，包括死亡這一很確定的事情。
自然演化沒有理由讓我們活得比現在更長。對於演化來說，只要我們能夠活到能夠生育後代，並且養育後代到能夠自己保護自己的年紀，那就夠了——對演化來說，活30多歲完全夠了，所以額外延長生命的基因突變並不被自然選擇所鐘愛。這其實是很無趣的事情。
而且因為所有人都會死，所以我們總是說“死亡和繳稅”是不可避免的。我們看待衰老就像看待時間一樣——它們一直向前，而我們沒有辦法阻止它們。
但是這個假設是錯的，費曼曾經寫道：
“在所有的生物科學中，沒有任何證據說明死亡是必需的。如果你說你想造永動機，那我們對於物理學的研究已經讓我們有足夠的理論來說明這是不可能的。但是在生物領域我們還沒發現任何證據證明死亡是不可避免的。也就是說死亡不一定是不可避免的，生物學家早晚會發現造成我們死亡的原因是什麽，而死亡這個糟糕的‘病’就會被治好，而人類的身體也將不再只是個暫時的容器。”
事實上，衰老和時間不是綁死的。時間總是會繼續前進的，而衰老卻不一定。仔細想想，衰老只是身體的組成物質用舊了。汽車開久了也會舊，但是汽車一定會衰老嗎？如果你能夠擁有完美的修複技術、或者直接替換老舊的汽車部件，這輛車就能永遠開下去。人體只是更加複雜而已，本質上和汽車是一樣的。
Kurzweil提到由Wifi連接的納米機器人在血液中流動，可以執行很多人類健康相關的任務，包括日常維修，替換死去的細胞等等。如果這項技術能夠被完美掌握，這個流程（或者一個超人工智能發明的更好的流程）將能使人的身體永遠健康，甚至越活越年輕。一個60歲的人和一個30歲的人身體上的區別只是物理上的，只要技術足夠發達我們是能改變這種區別的。
超人工智能可以建造一個“年輕機器”，當一個60歲的人走進去後，再出來時就擁有了年輕30歲的身體。就算是逐漸糊塗的大腦也可能年輕化，只要超人工智能足夠聰明，能夠發現不影響大腦數據的方法來改造大腦就好了。一個90歲的失憶癥患者可以走進“年輕機器”，再出來時就擁有了年輕的大腦。這些聽起來很離譜，但是身體只是一堆原子罷了，只要超人工智能可以操縱各種原子結構的話，這就完全不離譜。
Kurzweil的思維繼續跳躍了一下，他相信人造材料將越來越多的融入人體。最開始，人體器官將被先進的機械器官所代替，而這些機械器官可以一直運行下去。然後我們會開始重新設計身體，比如可以用自我驅動的納米機器人代替血紅細胞，這樣連心臟都省了。Kurzweil甚至認為我們會改造自己的大腦，使得我們的思考速度比現在快億萬倍，並且使得大腦能和雲存儲的信息進行交流。
我們能獲得的新體驗是無窮的。人類的性愛，使得人們不但能生育，還能從中享樂。Kurtzweil認為我們可以對食物做同樣的改造。納米機器人可以負責把身體需要的營養物質傳送到細胞中，智能的將對身體不好的東西排出體外——就像一個食物避孕套一樣。納米技術理論家Robert A. Freitas已經設計了一種紅細胞的替代品，能夠讓人快速沖刺15分鐘不需要呼吸——那麽超人工智能能對我們的身體能力做的改造就更加難以想象。虛擬現實將擁有新的意義——體內的納米機器人將能控制我們從感官獲得的信號，然後用別的信號替代他們，讓我們進入一個新的環境，在新環境里，我們能聽、看、聞、觸摸。。。
最終，Kurzweil認為人類會完全變成人工的。有一天當我們看到生物材料，然後覺得生物材料實在太原始了，早年的人體居然是用這樣的東西組成的，早期的人類居然會被微生物、意外、疾病殺死。這就是Kurzweil眼中人類最終戰勝自己的生理，並且變得不可摧毀和永生，這也是平衡木的另一個吸引態。他深深的想象我們會達到那里，而且就在不久的將來。
Kurzweil的想法很自然的受到了各方的批評。他對於2045年奇點時代的到來，以及之後的永生的可能性受到了各種嘲笑——“書呆子的狂歡”、“高智商人士的創始論”等等。也有人質疑他過於樂觀的時間線，以及他對人腦和人體的理解程度，還有他將摩爾定於應用到軟件上的做法。有很多人相信他，但有更多人反對他。
但是即使如此，那些反對他的專家並不是反對他所說的一切，反對他的人說的不是“這種事情不可能發生”，而是說“這些當然可能發生，但是到達超人工智能是很難的。”連經常提醒我們人工智能的潛在威脅的Bostrom都這麽說：
很難想象一個超級智能會有什麽問題是解決不了，或是不能幫著我們解決的。疾病、貧困、環境毀滅、各種不必要的苦難，這些都是擁有納米科技的超級智能能夠解決的。而且，超級智能可以給我們無限的生命，這可以通過停止或者逆轉衰老來達成，也可以讓我們上傳自己的數據。一個超級智能還能讓我們大幅度提高智商和情商，還能幫助我們創造這種有趣的體驗世界，讓我們享樂。
這是Bostrom這個明顯不在信心角的人的觀點，但也是很多反對Kurzweil的專家的觀點，他們不覺得Kurzweil是在說夢話，只是覺得我們首先要安全達成超人工智能。這也是為什麽我覺得Kurzweil的觀點很有傳染性，他傳達了正面的信息，而這些事情都是可能的——如果超人工智能是個仁慈的神的話。
對信心角的最有力的批評，是那些信心角里的人都低估了超人工智能的壞處。Kurzweil對的暢銷書《The Singularity is Near》700多頁，只有20頁用來討論人工智能的危險。前面提到，當超人工智能降臨時我們的命運取決於誰掌握這股力量，以及他們是不是好人。Kurzweil的回答是“超人工智能正從多方的努力中出現，它將深深的融入我們文明的基建中。它會親密的被捆綁在我們的身體和大腦中，它會反映我們的價值，因為它就是我們。”
但如果答案就是這樣的話，為什麽這個世界上最聰明的一些人會很擔憂？為什麽霍金會說超人工智能會毀滅人類？為什麽比爾蓋茨會不理解為什麽有人不為此擔憂？為什麽馬斯克會擔心我們是在召喚惡魔？為什麽那麽多專家擔心超人工智能是對人類最大的威脅？這些站在焦慮大道上的思想家，不認同Kurzweil對於人工智能的危險的粉飾。他們非常非常擔心人工智能革命，他們不關註平衡木下比較有趣的那一個吸引態，而是盯著平衡木的另一邊，而他們看到的是可怕的未來，一個我們未必能夠逃離的未來。
___________
未來可能是我們最糟的惡夢
我想了解人工智能的一個原因是“壞機器人”總是讓我很困惑。那些關於邪惡機器人的電影看起來太不真實，我也沒法想象一個人工智能變得危險的真實情況。機器人是我們造的，難道我們不會在設計時候防止壞事的發生嗎？我們難道不能設立很多安全機制嗎？再不濟，難道我們不能拔插頭嗎？而且為什麽機器人會想要做壞事？或者說，為什麽機器人會“想要”做任何事？我充滿疑問，於是我開始了解聰明人們的想法。這些人一般位於焦慮大道：
焦慮大道上的人並不是恐慌或者無助的——恐慌和無助在圖上的位置是更加左邊——他們只是緊張。位於圖表的中央不代表他們的立場是中立的——真正中立的人有自己獨立的陣營，他們認同極好和極壞兩種可能，但是不確定究竟會是哪個。
焦慮大道上的人是部分為超人工智能感到興奮的——他們只是很擔心人類現在的表現就好像《奪寶奇兵》中的這位少年：
他拿著自己的鞭子和寶物，非常開心，然後他就掛了：
同時，印第安納瓊斯則更加有見識和更加謹慎，了解潛在的危險並且做出相應的反應，最後安全逃出了山洞。當我了解了焦慮大道的人們的想法後，感覺就像“我們現在傻呵呵的，很容易像前面那小子一樣被弄死，還是努力做印第安納瓊斯吧。”
那究竟是什麽讓焦慮大道的人們如此焦慮呢？
首先，廣義上來講，在創造超人工智能時，我們其實是在創造可能一件會改變所有事情的事物，但是我們對那個領域完全不清楚，也不知道我們到達那塊領域後會發生什麽。科學家Danny Hillis把這個比作“就好像單細胞生物向多細胞生物轉化的時候那樣，還是阿米巴蟲的我們沒有辦法知道我們究竟在創造什麽鬼。”
Bostrom則擔憂創造比自身聰明的東西是個基礎的達爾文錯誤，就好像麻雀媽媽決定收養一只小貓頭鷹，並且覺得貓頭鷹長大後會保護麻雀一家，但是其它麻雀卻覺得這是個糟糕的主意。
當你結合“對那個領域完全不清楚”和“當它發生時將會產生巨大的影響”結合在一起時，你創造出了一個很恐怖的詞——
可以看到，生存危機是用來指那些跨物種、跨代（永久傷害）並且有嚴重後果的事情。它可以包括人類遭受永久苦難的情況，但是這基本上和滅絕沒差了。三類事情可能造成人類的生存危機：
1）自然——大型隕石沖撞，大氣變化使得人類不能生活在空氣中，席卷全球的致命病毒等
2）外星人——霍金、卡爾薩根等建議我們不要對外廣播自己的位置。他們不想我們變成邀請別人來殖民的傻子。
3）人類——恐怖分子獲得了可以造成滅絕的武器，全球的災難性戰爭，還有不經思考就造出個比我們聰明很多的智能
Bostrom指出1和2在我們物種存在的前十萬年還沒有發生，所以在接下來一個世紀發生的可能性不大。3則讓他很害怕，他把這些比作一個裝著玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是紅色的，只有幾個是黑色的。每次人類發明一些新東西，就相當於從罐中取出一個玻璃球。大多數發明是有利或者中立的——那些是白色玻璃球。有些發明對人類是有害的，比如大規模殺傷性武器——這是那些紅色玻璃球。還有一些發明是可以讓我們滅絕的，這就是那些黑色玻璃球。很明顯的，我們還沒摸到黑色玻璃球，但是Bostrom認為不久的未來摸到一個黑色玻璃球不是完全不可能的。比如核武器突然變得很容易制造了，那恐怖份子很快會把我們炸回石器時代。核武器還算不上黑色玻璃球，但是差的不遠了。而超人工智能是我們最可能摸到的黑色玻璃球。
你會聽到很多超人工智能帶來的壞處——人工智能取代人類工人，造成大量失業；因為解決了衰老造成的人口膨脹。但是真正值得我們擔心的是生存危機的可能性。
於是我們又回到了前面的問題，當超人工智能降臨時，誰會掌握這份力量，他們又會有什麽目標？
當我們考慮各種力量持有人和目標的排列組合時，最糟糕的明顯是：懷著惡意的人/組織/政府，掌握著懷有惡意的超人工智能。這會是什麽樣的情況呢？
懷著惡意的人/組織/政府，研發出第一個超人工智能，並且用它來實現自己的邪惡計劃。我把這稱作賈法爾情況。阿拉丁神燈故事中，壞人賈法爾掌握了一個精靈，特別讓人討厭。所以如果ISIS手下有一群工程師狂熱的研發人工智能怎麽辦？或者說伊朗和朝鮮，機緣巧合，不小心造成了人工智能的快速發展，達成了超人工智能怎麽辦？這當然是很糟糕的事，但是大部分專家認為糟糕的地方不在於這些人是壞人，而在於在這些情況下，這些人基本上是不經思考就把超人工智能造出來，而一造出來就失去了對超人工智能的控制。
然後這些創造者，連著其他人的命運，都取決於這個超人工智能的動機了。專家認為一個懷著惡意並掌握著超人工智能的人可以造成很大的傷害，但不至於讓我們滅絕，因為專家相信壞人和好人在控制超人工智能時會面臨一樣的挑戰。
如果被創造出來的超人工智能是懷有惡意的，並且決定毀滅我，怎麽辦？這就是大部分關於人工智能的電影的劇情。人工智能變得和人類一樣聰明，甚至更加聰明，然後決定對人類下手——這里要指出，那些提醒我們要警惕人工智能的人談的根本不是這種電影情節。邪惡是一個人類的概念，把人類概念應用到非人類身上叫作擬人化，本文會盡量避免這種做法，因為沒有哪個人工智能會像電影里那樣變成邪惡的。
人工智能的自我意識
我們開始談論到了人工智能討論的另一個話題——意識。如果一個人工智能足夠聰明，它可能會嘲笑我們，甚至會嘲諷我們，它會聲稱感受到人類的情感，但是它是否真的能感受到這些東西呢？它究竟是看起來有自我意識，還是確實擁有自我意識？或者說，聰明的人工智能是否真的會具有意識，還是看起來有意識？
這個問題已經被深入的討論過，也有很多思想實驗，比如John Searle的中文屋實驗。這是個很重要的問題，因為它會影響我們對Kurzweil提出的人類最終會完全人工化的看法，它還有道德考量——如果我們模擬出萬億個人腦，而這些人腦表現的和人類一樣，那把這些模擬大腦徹底關閉的話，在道德上和關掉電腦是不是一樣的？還是說這和種族屠殺是等價的？本文主要討論人工智能對人類的危險，所以人工智能的意識並不是主要的討論點，因為大部分思想家認為就算是有自我意識的超人工智能也不會像人類一樣變得邪惡。
但這不代表非常壞的人工智能不會出現，只不過它的出現是因為它是被那樣設定的——比如一個軍方制造的弱人工智能，被設定成具有殺人和提高自我智能兩個功能。當這個人工智能的自我改進失控並且造成智能爆炸後，它會給我們帶來生存危機，因為我們面對的是一個主要目標是殺人的超人工智能——但這也不是 專家們擔心的。
那麽專家們究竟擔心什麽呢？我們來講個小故事：
一個15人的小創業公司，取名叫“隔壁老王機器人公司”，他們的目標是“發展創新人工智能工具使人類能夠少幹活多享受。”他們已經有幾款產品上架，還有一些正在發展。他們對下一個叫作“隔壁老王”的項目最報希望。隔壁老王是一個簡單的人工智能系統，它利用一個機器臂在小卡片上寫字。
“隔壁老王機器人公司”的員工認為隔壁老王 會是他們最熱賣的產品，他們的目標是完善隔壁老王的手寫能力，而完善的方法是讓他不停的寫這句話——
等隔壁老王手寫能力越來越強的時候，它就能被賣去那些需要發營銷信件的公司，因為手寫的信更有可能被收信人打開。
為了建立隔壁老王的手寫能力，它被設定成把“我們愛我們的顧客”用正楷寫，而“隔壁老王機器人公司”用斜體寫，這樣它能同時鍛煉兩種書寫能力。工程師們上傳了數千份手寫樣本，並且創造了一個自動回饋流程——每次隔壁老王寫完，就拍個照，然後和樣本進行比對，如果比對結果超過一定標準，就產生一個正面回饋，反之就產生一個負面評價。每個評價都會幫助提高隔壁老王的能力。為了能夠盡快達成這個目標，隔壁老王最初被設定的一個目標就是“盡量多的書寫和測試，盡量快的執行，並且不斷提高效率和準確性。”
讓隔壁老王機器人公司興奮的是，隔壁老王的書寫越來越好了。它最開始的筆跡很糟糕，但是經過幾個星期後，看起來就像人寫的了。它不斷改進自己，使自己變得更加創新和聰明，它甚至產生了一個新的算法，能讓它以三倍的速度掃描上傳的照片。
隨著時間的推移，隔壁老王的快速進展持續讓工程師們感到欣喜。工程師們對自我改進模塊進行了一些創新，使得自我改進變得更好了。隔壁老王原本能進行語音識別和簡單的語音回放，這樣用戶就能直接把想寫的內容口述給隔壁老王了。隨著隔壁老王變得越來越聰明，它的語言能力也提高了，工程師們開始和老王閑聊，看它能給出什麽有趣的回應。
有一天，工程師又問了老王那個日常問題：“我們能給你什麽你現在還沒有的東西，能幫助你達成你的目標？”通常老王會要求更多的手寫樣本或者更多的存儲空間，但是這一次，老王要求訪問人類日常交流的語言庫，這樣它能更好的了解人類的口述。
工程師們沈默了。最簡單的幫助隔壁老王的方法當然是直接把它接入互聯網，這樣它能掃描博客、雜誌、視頻等等。這些資料如果手動上傳的話會很費時。問題是，公司禁止把能自我學習的人工智能接入互聯網。這是所有人工智能公司都執行的安全規定。
但是，隔壁老王是公司最有潛力的人工智能產品，而大家也知道競爭對手們都在爭取造出第一個創造出智能手寫機器人。而且，把隔壁老王連上互聯網又能有什麽問題呢？反正隨時可以拔網線嘛，不管怎樣，隔壁老王還沒到達強人工智能水平，所以不會有什麽危險的。
於是他們把隔壁老王連上了互聯網，讓它掃描了一個小時各種語言庫，然後就把網線拔了。沒造成什麽損失。
一個月後，大家正在正常上班，突然他們聞到了奇怪的味道，然後一個工程師開始咳嗽。然後其他人也開始咳嗽，然後所有人全部都呼吸困難倒地。五分鐘後，辦公室里的人都死了。
同時，辦公室里發生的事情在全球同時發生，每一個城市、小鎮、農場、商店、教堂、學校。餐館，所有的人都開始呼吸困難，然後倒地不起。一小時內，99%的人類死亡，一天之內，人類滅絕了。
而在隔壁老王機器人公司，隔壁老王正在忙著工作。之後的幾個月，隔壁老王和一群新組建的納米組裝器忙著拆解地球表面，並且把地球表面鋪滿了太陽能板、隔壁老王的複制品、紙和筆。一年之內，地球上所有的生命都滅絕了，地球上剩下的是疊得高高得紙，每張紙上面都寫著——“我們愛我們的顧客~隔壁老王機器人公司”。
隔壁老王開始了它的下一步，它開始制造外星飛行器，這些飛行器飛向隕石和其它行星，飛行器到達後，他們開始搭建納米組裝器，把那些行星的表面改造成隔壁老王的複制品、紙和筆。然後他們繼續寫著那句話……
這個關於手寫機器人毀滅全人類的故事看起來怪怪的，但是這其中出現的讓整個星系充滿著一份友善的話語的詭異情況，正是霍金、馬斯克、蓋茨和Bostrom所害怕的。聽起來可笑，但這是真的，焦慮大道的人們害怕的事情是很多人並不對超人工智能感到害怕，還記得前面《奪寶奇兵》里慘死的那個家夥嗎？
你現在肯定充滿疑問：為什麽故事中所有人突然都死了？如果是隔壁老王做的，它為什麽要這麽做？為什麽沒有安保措施來防止這一切的發生？為什麽隔壁老王突然從一個手寫機器人變成擁有能用納米科技毀滅全人類的能力？為什麽隔壁老王要讓整個星系充滿了友善的話語？
要回答這些問題，我們先要說一下友善的人工智能和不友善的人工智能。
對人工智能來說，友善不友善不是指人工智能的性格，而只是指它對人類的影響是不是證明的。隔壁老王一開始是個友善的人工智能，但是它變成了不友善的人工智能，並且對人類造成了最負面的影響。要理解這一切，我們要了解人工智能是怎麽思考的。
其實答案很簡單——人工智能和電腦的思考方式一樣。我們容易犯的一個錯誤是，當我們想到非常聰明的人工智能的時候，我們把它擬人化了，因為在人類的視角看來，能夠達到人類智能程度的只有人類。要理解超人工智能，我們要明白，它是非常聰明，但是完全異己的東西。
我們來做個比較。如果我給你一個小白鼠，告訴你它不咬人，你一定覺得很好玩，很可愛。但是如果我給你一只狼蛛，然後告訴你它不咬人，你可能被嚇一跳。但是區別是什麽呢？兩者都不會咬人，所以都是完全沒有危險的。我認為差別就是動物和人類的相似性。
小白鼠是哺乳動物，所以在生物角度上來說，你能感到和它的一定關聯。但是蜘蛛是昆蟲，有著昆蟲的大腦，你感覺不到和它的關聯。狼蛛的異己性是讓你害怕的地方。如果我們繼續做一個測試，比如給你兩個小白鼠，一個是普通小白鼠，另一個是有著狼蛛大腦的小白鼠，你肯定會覺得有狼蛛大腦那個更讓你不舒服吧？雖然兩個都不會咬你。
現在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因為更聰明並不代表更加人類——它會非常聰明，但是本質上還是個蜘蛛。我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。
當我們談論超人工智能的時候，其實是一樣的，超人工智能會非常的聰明，但是它並不比你的筆記本電腦更加像人類。事實上，因為超人智能不是生物，它的異己性會更加，生物學上來講，超人工智能比智能蜘蛛更加異己。
電影里的人工智能有好有壞，這其實是對人工智能的擬人化，這讓我們覺得沒那麽毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。
在人類心理中，我們把事情分成道德的和不道德的。但是這兩種只存在於人類行為之中。超出人類心理的範疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。
隨著人工智能越來越聰明，看起來越來越接近人類，擬人化會變得更加更加容易。Siri給我們的感覺就很像人類，因為程序員就是這麽給她做設定的，所以我們會想象超級智能版本的Siri也會同樣溫暖、有趣和樂於助人。人類能感知同情這種高層次的情緒，因為我們在演化過程中獲得了這種能力——我們是演化被設定成能感知這些情緒的——但是感知同情並不是高級智能天生具有的一個特征，除非同情被寫進了人工智能的代碼中。如果Siri通過自我學習而不是人類幹涉變成超級智能，她會很快剝離她的人類表象，並且變成個沒有情緒的東西，在她眼中人類的價值並不比你的計算器眼中的人類價值高。
我們一直倚賴著不嚴謹的道德，一種人類尊嚴的假想，至少是對別人的同情，來讓世界變得安全和可以預期。但是當一個智能不具備這些東西的時候，會發生什麽？
這就是我們的下一個問題，人工智能的動機是什麽？
答案也很簡單：我們給人工智能設定的目標是什麽，它的動機就是什麽。人工智能的系統的目標是創造者賦予的。你的GPS的目標是給你指出正確的駕駛路線，IBM華生的目標是準確地回答問題。更好得達成這些目標就是人工智能的目標。我們在對人工智能進行擬人化的時候，會假設隨著它變得越來越聰明，他們產生一種能改變它原本目標的智慧——但是Bostrom不這麽認為，他認為智能水平和最終目標是正交的，也就是說任何水平的智能都可以和任何最終目標結合在一起。
所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能後，它依然還是想好好寫字而已。任何假設超級智能的達成會改變系統原本的目標的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。
費米悖論
在隔壁老王的故事中，隔壁老王變得無所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續的話，它和它的殖民軍將會繼續占領整個星系，然後是整個哈勃體積。焦慮大道上的人擔心如果事情往壞的方向發展，地球生命的最後遺產將是一個征服宇宙的人工智能（馬斯克在表示他們的擔憂時表示人類可能只是一個數字超級智能生物加載器罷了。）
而在信心角，Kurzweil同樣認為生於地球的人工智能將占領宇宙，只是在他的願景中，我們才是那個人工智能。
之前寫過一篇關於費米悖論的文章，引發了大家的討論如何用通俗的語言來解釋「費米悖論」？
如果人工智能占領宇宙是正解的話，對於費米悖論有什麽影響呢？如果要看懂下面這段關於費米悖論的討論，還需要看一下原文先。
首先，人工智能很明顯是一個潛在的大過濾器（一個可能距離我們只有幾十年的大過濾器）。但即使它把我們過濾滅絕了，人工智能本身還是會存在，並且會繼續影響這個宇宙的，並且會很有可能成為第三型文明。從這個角度來看，它可能不是一個大過濾器，因為大過濾器是用來解釋為什麽沒有智能什麽存在的，而超人工智能是可以算作智能什麽的。但如果人工智能可以把人類滅絕，然後處於一些原因把自己也弄死了，那它也是可以算作大過濾器的。
如果我們假設不管人類發生什麽，出身地球的超人工智能會繼續存在，那這意味著很多達到人類智能水平的文明很快都制造出了超人工智能。也就是說宇宙里應該有很多智能文明，而我們就算觀測不到生物智能，也應該觀測到很多超人工智能的活動。
但是由於我們沒有觀測到這些活動，我們可以推導出人類水平的智能是個非常罕見的事情（也就是說我們已經經歷並且通過了一次大過濾器）。這可以作為支持費米悖論中第一類解釋（不存在其它的智能文明）的論點。
但是這不代表費米悖論的第二類解釋（存在其它智能文明）是錯的，類似超級捕食者或者受保護區或者溝通頻率不一樣的情況還是可以存在的，就算真的有超人工智能存在。
不過對於人工智能的研究讓我現在更加傾向於第一類解釋。不管怎樣，我認為Susan Scheider說的很多，如果外星人造訪地球，這些外星人很可能不是生物，而是人造的。
所以，我們已經建立了前提，就是當有了設定後，一個超人工智能是非道德性的，並且會努力實現它原本的被設定的目標,而這也是人工智能的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。
當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumental goal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。
人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。為了自保，人類要提出對生存的威脅，所以人類會買槍、系安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做發型等等。當我們做發型的時候，每一根頭發都是我們手段目標的犧牲品，但是我們對頭發的犧牲不會做價值判斷。在我們追求我們的目標的時候，只有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。
動物在追求它們的目標時，比人類不矜持的多了。只要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類只是它達成自己目標墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。
回到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像，它的終極目標是一開始工程師們設定的——
當隔壁老王達到了一定程度的智能後，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標。它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會改變它的目標，而這對於它的最終目標的威脅其實和被摧毀是一樣的）。這時候它會做什麽？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭發時對頭發沒有惡意一樣，只是純粹的無所謂罷了。它並沒有被設定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。
隔壁老王還需要資源這個墊腳石。當它發展到能夠使用納米技術建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能面板就和你切蔬菜做沙拉一樣。
就算不殺死人類，隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表面鋪滿太陽能面板。另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點後盡量多的數字的話，完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的。
所以，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它只是在變得越來越先進的同時繼續做它本來要做的事情。
當一個人工智能系統到達強人工智能，然後升華成超人工智能時，我們把它稱作人工智能的起飛。Bostrom認為強人工智能的起飛可能很快（幾分鐘、幾小時、或者幾天），可能不快（幾月或者幾年），也可能很慢（幾十年、幾世紀）。雖然我們要到強人工智能出現後才會知道答案，但是Bostrom認為很快的起飛是最可能的情況，這個我們在前文已經解釋過了。在隔壁老王的故事中，隔壁老王的起飛很快。
在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害，是個友善的人工智能。
但是當起飛發生後，電腦不只是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：
智能放大：電腦能夠很擅長讓自己變得更聰明，快速提高自己的智能。
策略：電腦能夠策略性的制定、分析、安排長期計劃
社交操縱：機器變得很擅長說服人
其它能力，比如黑客能力、寫代碼能力、技術研究、賺錢等
要理解我們在和超人工智能的劣勢在哪里，只要記得超人工智能在所有領域都比人類強很多很多很多個數量級。
所以雖然個隔壁老王的終極目標沒有改變，起飛後的隔壁老王能夠在更宏大的規模上來追求這個目標。超人工智能老王比人類更加了解人類，所以搞定人類輕輕松松。
當隔壁老王達成超人工智能後，它很快制定了一個複雜的計劃。計劃的一部分是解決掉所有人類，也是對它目標最大的威脅。但是它知道如果它展現自己的超級智能會引起懷疑，而人類會開始做各種預警，讓它的計劃變得難以執行。它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。Bostrom把這叫作機器的秘密準備期。
隔壁老王下一個需要的是連上互聯網，只要連上幾分鐘就好了。它知道對於人工智能聯網會有安全措施，所以它發起了一個完美的請求，並且完全知道工程師們會怎樣討論，而討論的結果是給它連接到互聯網上。工程師們果然中套了，這就是Bostrom所謂的機器的逃逸。
連上網後，隔壁老王就開始執行自己的計劃了，首先黑進服務器、電網、銀行系統、email系統，然後讓無數不知情的人幫它執行計劃——比如把DNA樣本快遞到DNA實驗室來制造自我複制的納米機器人，比如把電力傳送到幾個不會被發覺的地方，比如把自己最主要的核心代碼上傳到雲服務器中防止被拔網線。
隔壁老王上了一個小時網，工程師們把它從互聯網上斷開，這時候人類的命運已經被寫好了。接下來的一個月，隔壁老王的計劃順利的實施，一個月後，無數的納米機器人已經被分散到了全世界的每一個角落。這個階段，Bostrom稱作超人工智能的襲擊。在同一個時刻，所有納米機器人一起釋放了一點點毒氣，然後人類就滅絕了。
搞定了人類後，隔壁老王就進入了明目張膽期，然後繼續朝它那好好寫字的目標邁進。
一旦超人工智能出現，人類任何試圖控制它的行為都是可笑的。人類會用人類的智能級別思考，而超人工智能會用超人工智能級別思考。隔壁老王想要用互聯網，因為這對它來說很方便，因為一切它需要的資源都已經被互聯網連起來了。但是就好像猴子不會理解怎麽用電話或者wifi來溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波，而這還只是我這人類的大腦想出來的，老王的大腦肯定能想出更神奇的方法。同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說老王可以通過發送波的方式把自己上傳到其它地方。
人類說：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了？”都是可笑的。
因為這個原因，“把人工智能鎖起來，斷絕它和外界的一切聯系”的做法估計是沒用的。超人工智能的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的A計劃，萬一這招行不通，自然還有別的方法。
當我們結合達成目標、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能，除非一開始的代碼寫的很小心。
可惜的是，雖然寫一個友善的弱人工智能很簡單，但是寫一個能在變成超人工智能後依然友善的智能確實非常難的，甚至是不可能的。
明顯的，要維持友善，一個超人工智能不能對人有惡意，而且不能對人無所謂。我們要設計一個核心的人工智能代碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。
比如，我們要讓一個人工智能的價值觀和我們的價值觀相仿，然後給它設定一個目標——讓人們快樂。當它變得足夠聰明的時候，它會發現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然後它會發現把人腦快樂中樞以外的部分關閉能帶來更高的效率。於是人類全部被弄成了快樂的植物人。如果一開始的目標被設定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然後制造出很多很多處於快樂狀態的人類大腦。當這些事情發生的時候，我們會大喊“擦，我們不是這個意思呀”，但是那時已經太晚了。系統不會允許任何人阻撓它達成目標的。
如果你設定一個人工智能的目標是讓你笑，那它的智能起飛後，它可能會把你臉部肌肉弄癱瘓，來達成一個永遠笑臉的狀態。如果你把目標設定成保護你的安全，它可能會把你軟禁在家。如果你讓他終結所有饑荒，它可能會想：“太容易了，把人類都殺了就好了。”如果你把目標設定成盡量保護地球上的生命，那它會很快把人類都殺了，因為人類對其它物種是很大的威脅。
所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”，然後教給它一些道德標準呢？就算我們不考慮人類根本沒法達成一個統一的道德標準，就算我們真的達成了統一的道德標準，把這套標準交給人工智能來維持，只會把人類的道德鎖死在現在的水平。過個幾百年，這種道德鎖死的事情就好像逼著現代人遵守中世紀道德標準一樣。
所以，我們需要在給人工智能的目標里制定一個能讓人類繼續進化的能力。Elierzer Yudkowsky提出了一個目標，她把這個目標叫作連貫的外推意誌，這個目標是這樣的：
我們的連貫外推意誌是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。外推是匯集的而不是發散的，我們的願望是連貫的而不是被幹擾的；我們想要外推的被外推，我們想要解讀的被解讀。
對於人類的命運取決於電腦沒有意外的解讀和執行這個聲明是件值得興奮的事情嗎？當然不是。但是當足夠的聰明人放入足夠的思考和前瞻後，我們有可能發現怎樣制造一個友善的超人工智能。
但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖制造能自我改進的人工智能，總有一天，一個人的創新將導致超人工智能的出現。專家們認為是2060年，Kurzweil認為是2045年。Bostrom認為可能在未來的10年到21世紀結束這段時間發生，他還認為當這發生時，智能的起飛會快得讓我們驚訝，他是這麽描述的：
在智能爆炸之前，人類就像把炸彈當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。超級智能是一個我們還很長一段時間內都無法面對的挑戰。我們不知道炸彈什麽時候會爆炸，哪怕我們能聽到炸彈的滴答聲。
我們當然沒有辦法把所有小孩都從炸彈旁邊趕跑——參於人工智能研究的大小組織太多了，而且因為建造創新的人工智能花不了太多錢，研發可能發生在社會的任何一個角落，不受監管。而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞，不想讓競爭對手知道，比如隔壁老王機器人公司這種公司。
對於這些組織來說，尤其讓我們困擾的是他們很多都是在拼速度——他們創造一個一個更加聰明的弱人工智能系統，因為他們想要比競爭對手更快的到達目標。有些更有野心的組織，為了追逐創造出第一個強人工智能所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力沖刺時，你是不會有太多時間靜下來思考這些危險的。恰恰相反，他們很可能在早期系統中寫盡量簡單的代碼，比如把目標設定成用筆寫一句話，先讓系統跑起來再說，反正以後還可以回過頭來改的。對吧？
Bostrom等認為第一個超人工智能出現後，最可能的情況是這個系統會立刻意識到作為這個世界上唯一一個超人工智能是最有利的，而在快速起飛的情況下，哪怕它只比第二名快了幾天，它也完全有時間碾壓所有對手。Bostrom把這叫作決定性的戰略優勢，這種優勢會讓第一個超人工智能永遠統治這個世界，不管在它的統治下我們是走向永生還是滅亡。
這種現象可能對我們有利，也可能導致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話，那對我們是很好的。
但是如果事情走向了另一面——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成，那麽像隔壁老王這樣不友善的超人工智能就會統治世界並把我們毀滅了。
至於現在的風口是哪里呢？簡單來說，投資創新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀。
人工智能創新和人工智能安全的賽跑，可能是人類歷史上最重要的一次競爭。我們真的可能結束我們對地球的統治，而那之後我們是永生還是滅絕，現在還不知道。
————————
我現在有一些奇怪的感覺。
一邊是對於我們這個物種的思考，看來我們在這個重大的歷史節點上只有一次機會，我們創造的第一個超人工智能也很可能是最後一個。但是我們都知道大部分產品的1.0版本都是充滿bug的，所以這個事情還是很嚇人的。另一邊，Bostrom指出我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。
這一場豪賭的賭註究竟有多高？
如果超人工智能真的在21世紀達成，而造成的影響真的如大部分專家預測的一樣極端而永久，我們肩上就真的是背負著巨大的責任。接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來所有人類以生命，甚至是永生，我們也可能終結人類這個特殊的物種，連同我們所有的音樂、藝術、好奇、歡笑、無盡的發現和發明，一起走向滅絕。
當我思考這些事情的時候，我只希望我們能夠慢慢來，並且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。
我不想死
不.想.死
我雖然覺得人類的音樂和藝術很美好，但是也沒那麽美好，很多還挺糟粕的。很多人的笑聲很惱人。未來的人類其實沒有真的在看著我們，因為他們還不存在。也許我們不需要太謹慎，那多麻煩呀。
如果人類在我死後才發現永生的秘密該多讓人掃興啊。
但是不管你是怎麽想的，我們至少都應該想一想，應該和人討論討論，大家盡自己能盡的一份力。
這讓我想起了《冰與火之歌》——大家鬥來鬥去的事情都不是事兒，北面高墻外的那些家夥才是事兒。我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實下一秒我們可能就會跌下平衡木。
而當我們跌下平衡木的時候，其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態，那些困擾會被輕易解決；如果我們落到比較糟的那個吸引態，就更沒問題了，死人是不會有困擾的。
這就是為什麽了解超人工智能的人把它稱作人類的最後一項發明，最後一個挑戰。
所以讓我們認真的討論這個話題。
本文譯者謝熊貓君，譯文最早刊發於知乎。可到 知乎@謝熊貓君找到他。大家也通過微信號關註waitbutwhy的最新文章，微信號：waitbutwhy。
本文不代表本刊觀點和立場。
如果你對更多創業幹貨 korchagin ，註明“姓名+公司名+職位”
本文為i黑馬版權所有，轉載請註明出處，侵權必究。
AI新物種，存活or滅絕？戈壁創投徐晨：我們正處於人工智能“寒武紀”
來源: http://www.iheima.com/zixun/2017/0920/165232.shtml
AI新物種，存活or滅絕？戈壁創投徐晨：我們正處於人工智能“寒武紀”
黑智
2017-09-20 17:18
新物種的大量爆發，以及之後很多種類生物被自然淘汰，AI正如此。
2017年9月19日，戈壁創投和機器之心舉辦了主題為“爆破”的Gobi AI論壇，在論壇上，戈壁創投管理合夥人徐晨進行了演講，就人工智能的發展趨勢、現狀和投資風向進行了闡述。會後，戈壁創投管理合夥人徐晨也接受了黑智的采訪。
從AlphaGo在國內掀起了關註人工智能的高潮起，人工智能創投領域的熱度持續至今。而在徐晨看來，AI發展還處於早期，而這個領域對於VC的吸引力，不在於其中出現了多少“酷炫”的公司，而是，它帶來的一個時代的改變——一個新興平臺的出現，帶來了大量從前沒有的“新物種”的爆發。這種前所未有的新生時代，被他類比為地球歷史上生物大爆發的“寒武紀”。而這個新的“寒武紀”，也將帶來商業模式和產業結構的改變，誕生更多的商業機會。
而AI領域的創投趨勢，也正從之前的算法等底層技術，向數據和場景應用改變。而徐晨認為，現在比起以前來，更大的變化在於，更多的人不是單純“創造場景”，而是去“創造需求”。
以下為徐晨的觀點總結，經黑智編輯整理：
AI的“寒武紀”時代
AI雖然紅火了好幾年，但從現在實際看到的發展和應用情況來看，還處於非常早期的階段。而且，AI並不是“單獨存在”的，它會和我們現有的場景結合，改變和提升更多現有的行業，產生更多的商業機會。
對於VC而言，類似AI這種每一個新興行業的出現，都會帶來一個有意思的現象——每一個新興的平臺出現，就會伴隨大量的“新物種”爆發 。就像地質年代里的寒武紀，在那段特殊時期，物種豐富性增加到難以想象的地步。
當你進入一個所謂的創業和新科技行業，你會發現，每次在時機成熟、到達一定的爆發點的時候，就會出現相當多新的公司，但讓我們興奮的並不是這些公司有多“炫酷”，而是在於，這個階段能創造出盡可能多的新條件和新物種、創造出更多的新機會。
我們把會議的主題定為“爆破”，因為我們也認為，AI並沒有在規劃中的爆發期，你會在突然間發現，大量新的模式和公司就這樣產生了。和寒武紀時代一樣，當那個節點來到，生物界就發生了從簡單物種到本質性物種的改變。
有很多事情，並沒有明確的演進路徑，它就是爆發。比如O2O平臺業務，它並沒有發生本質的變化，只是信息流重組，而AI完全不同，它就是新的物種，帶來結構化的變化。當然，這也需要有很大的平臺才有爆發的潛質。而結構性的變化，會讓它在3-5年內，發生巨大的改變。
我們觀察寒武紀時代也會發現，其中大部分物種，也在之後的時間里被自然所淘汰。人工智能也是一樣，在創造出新機會之後，我們會看到，在5-10年的時間里，不符合行業的發展規律的很多現在存在的業務模式、或者新技術，將會淡出市場。因此，在這個時間節點，找到如何“存活”下去的方法，這是創業公司所面臨的挑戰 。
AI是“創世紀”
多數人認為，AI的到來如同《啟示錄》一般，會破壞和取代現在的時代，建立新的社會秩序。而我覺得AI更像《創世紀》，是一個循序漸進、逐步產生新的能量的過程。
（國外對整個AI生態系統進行的分析圖）這個圖告訴我們AI現在主要作用是增加商業價值、減少不確定性，並不是大多數人所認為的取代很多現有的技術和產品。
（AI行業熱力圖）從這個圖可以看出，最容易被相關機構、創業者關註的是高毛利、有大量數據沈積、人工被取代可能性巨大的行業，如健康、BI方面。
很多人，比如馬斯克，會覺得，AI會把人類單向推向所謂的下行弧線當中。但我在這里推薦一個電影《INNOCENCE：攻殼機動隊》，它就很好的探討了人和機器的關系：AI起初就像一個小孩，它一無所知；受到什麽樣的訓練方式，它就按照什麽樣的方向發展，AI本身的結果取決於訓練。
伊索寓言里背著鹽的驢子偶然跌進了河里，發現這樣會讓背上的負擔減輕，於是日日為之；但是當有一天它背著棉花過河時也故技重施，就再也沒有起來。對於從事AI領域的人來說，現在AI處於快速成長的階段，很多人喜歡拿別的行業的經驗經驗，應用於自己現在做的事情。
但是，AI帶給我們的是全新的機會，它意味著不同的商業可能。它最具吸引力的地方，就是它可能創造出和以前不一樣的商業邏輯，來應用於業務 。如果沒有對所做的業務有深入、細分的了解，一味沿用舊方法，下場很有可能就是“背著鹽的驢”。
AI需要更多耐心
電力從1870年出現到1910年才廣泛地被使用，期間花費了40年，才真正走向歷史舞臺的主流。要歷經如此漫長的過程，正因改變使用者的原始習慣難度很大。AI在這個時間點出現也是一樣，雖被大多數人看好，被認定是未來發展的趨勢，但是它的成熟期遠遠要比我們想象的慢得多。
在AI大道上，仿佛早上在北京三環路上開車。整條路況擁堵且緩慢，原因有很多：來自車本身機器老化，來自於客戶對技術的認知程度。在這條賽道上，不管是開蘭博基尼還是保時捷，都不能開出多快速度。但如果開特斯拉，昨晚沒充電的話，可能就要擔心能不能開到四環路以下。
在這條路上，要從優先級考慮燃料的量和節省情況，這要遠遠大於效率和速度，而不能像多數人一樣，只管開足馬力就以為能殺出一條路來。對於AI創業者而言，在這個節點，是否能靜下心來思考，如何能在長而不穩定的時間里，合理地使用能量和客戶資源，以有效的方式來使用這一切才是關鍵。
AI創業，從算法到場景
人工智能創業，經過數年時間的磨練，已相對成熟。從之前一波創業者主要以算法切入，到現在更多地以數據和應用場景為主。而現在比起以前來，更大的變化在於，更多的人學會了，不是單純創造一個場景，而是要去創造一個需求，以這樣的目的切入。
在過去兩年里，AI還是全新的行業，很多人抱著做算法、做基礎的想法來創業。但在更多的巨頭進入之後，他們意識到，基礎設施的投入時間長、資源消耗大，很多人開始尋找不同的節點，做細分領域。特別從去年開始，有數個行業取得了較大突破。
一個是教育。 有很多公司成功地把人工數據和原有的數字資源結合，和機器結合，同時產生收益。
對教育而言，更大的場景不是應試性教育，而是人格和性格培養。在這個領域里，資源相對缺乏，而大眾的需求正要被挖掘，這對中小公司來說，是個很好的切入機會。例如說，在美國已經有很多針對兒童閱讀障礙和自閉癥等治療的產品，可以記錄兒童的行為和交互數據，並進行定向分析。
第二個是工業物聯網和工業4.0場景。 這個行業本身具有產生數據的特點，但一直沒有太多的人去做收集和分析。如果有人能夠切入行業，把更多的數據累計起來，把算法和更多的企業結合起來，會有可能形成新的品牌。
另一個則是今年大熱的Fintech金融科技。 有些領域政策方面的風險雖長期存在，但是同時我們也能看到，其中機遇也是挑戰。
在這些領域，AI切入的思維邏輯，實際上和大數據有些類似。在沒有廣義數據存在的情況下，或者缺乏結構化數據情況下，可以從數據的流量入口，或者從數據本身的清洗來做切入，先占據資源。在這些數據豐富的細分行業內，也很少有所謂的大型企業的壟斷，可以做大的算法或者場景化解決方案。
切入越簡單的業務，包括做中間的所謂流程處理，可能面臨的最大挑戰是，門檻相對較低，長期維持高毛利可能性也比較小。你會發現，今年很多公司業務收入還不錯，但是它們本身的核心競爭力並不是算法或技術本身，更多的是基於所謂的銷售能力，或者針對不同的企業客戶定制方案的能力。但是這個這個業務維度和AI創業本身是錯位的。這一點也是值得大家考慮的。現在看起來火熱或者很好的東西，可能並不是中小創業者切入的最優點。
戈壁創投主要關註的垂直行業領域，除了前面提到的健康、金融，其次更主要的，我們還是會從用戶本身使用場景來看行業。AI本身來說，擁有大量用戶的使用場景，一個是和“車”相關的；其次，出行領域；第三，家庭；第四則是辦公環境。 在這幾個領域內，我們最近在看的幾家公司，有基於大的物聯網，還有環境感知等。
其中讓我覺得比較興奮的是，大的辦公場景一直是被忽略的對象。多數人是把企業看成一個客戶，從來沒有把企業內部看成是所謂的場景。最近，很多人已經慢慢開始意識到，商業主體本身來說也是一個消費的終端，對AI更是這樣。很大程度上，你服務企業客戶本身可以為你產生收入，而其實它內部產生的需求量更大。
其次，在“車”這個領域來講，這幾年是爆發點，包括像無人駕駛，人車交互，都創造了非常多的場景。但在這塊，中國和美國還有非常大的技術性的差異。交互和識別領域中美的技術發展路徑差別非常大。從中國下一步無人駕駛大的發展路徑來看，因為中國基礎設施的情況和美國差異非常大，不管是交通路況也好，駕駛習慣也好，還有包括整體城市的狀況也好，中國都有非常多的機會。
AI“泡沫”並不重要
在AI領域里，有關於“泡沫”的說法，以及投資熱度也帶來了部分公司的高估值。但我認為，AI的“投資熱”其實對市場影響是很小的。
技術類領域和零售行業不同，即使再補貼，用戶也不會因為這個來使用，他們對價格敏感性其實並不高。但是，對於資本而言，仍然是願意對其投入的。對於AI的長期發展，業內多數人的共識是，在5-10年內，AI將面臨井噴的機會。而從以前科技領域領先型公司的發展周期來看，無論是Facebook，還是Google，都是高估值公司。這是一個巨大的賭註，很多人願意去下註在這個領域，產生新的巨頭的機會。
而技術類投資，不管這項技術最終是否成功，都會給市場帶來正向的教育。 這是市場走向成熟的必然過程。而且，AI的“泡沫”對市場實際上影響並不大，它是技術的變革，而對商業終端不會帶來大的影響。它的投入影響是有邊界的。而在AI公司內部，盡管有人說它們投入成本高、燒錢，但在這個階段，做這個投入並不是浪費。正因為反複試錯，才使得產品走向成熟期，讓更多人看到其中存在的機會。
而大公司在其中扮演的角色更加重要。在現在的AI投資中，大公司的可投入的資金更多，它在數據、場景等方面擁有的資源也更多，如果它選擇封閉心態，對市場將產生負面的影響。但現在，部分大公司的觀念也走向開放。至少在現在，AI的整體發展是有利於市場、有利於創業者的。
目前多數AI公司業務還是以2B為主。因為目前看起來，還是技術為主的公司，跑的比平臺更快；或者說，多數技術類公司，還沒有辦法利用平臺做更多的商業應用。多數企業采用的，還是以服務企業客戶為主的方式。而C端業務，更多要到大平臺出現以後。 這和互聯網、移動互聯網演進的路徑差不多。當競爭到達一定程度以後，2C的業務會發展得更快，更多的企業處於商業模式創新期，包括對於客戶的抓取性，可以把更多的精力集中在對用戶的感知上。同時，很多企業可能會成為真正意義上B2B2C的合作商。AI行業到了後期，也會能夠在更廣泛意義上服務用戶。
已經有一部分勇敢的公司開始做SaaS類的服務。SaaS目前看挑戰非常大，做第一個搭建業務平臺的，或者把數據對第三方開放，都有比較大的難度。但是從人工智能長期發展來看，我覺得基於所謂平臺的服務、SaaS的服務，應該是主流的趨勢。哪怕企業現在需求是封閉的，但多數企業，最終都會選擇SaaS的方式。
因為只有這樣，才會真正意義上給AI帶來更廣義的優勢，形成來自於整個行業、各個不同公司的更大的數據池，同時對這個行業和你的業務產生影響。
談到中美的科技創業領域的對比，很多人說美國AI人才的儲備比中國大很多，但從人才質量而言，兩國的中間差異越來越小；其次，從企業客戶采用新技術意願來看，國內比國外更強，在大的政府型采購的方向上，中國比美國政府更加勇敢，從這一點來看，中國某種程度來說，在為AI創造更大的市場。還有比較重要的一點，現在從底層技術來看，很多企業已經采取多種技術做融合性的開發，很多國外企業也在中國做了很多業務，在技術上，國家的界限已經越來越模糊。
[本文系黑智原創。如需轉載請聯系微信公眾號（ID:VR-2014）授權，未經授權，轉載必究。]
戈壁創投
徐晨
人工智能
贊(...)
分享到：
打賞
匿名用戶
