我期望創造性和建設性的技術應用將占主導地位，因為我相信它們今天所做的。但是，我們必須大大增加在發展具體防禦技術上的投資。正如我所討論的，我們現在正處於生物技術的關鍵階段，在21世紀末的十幾年間，我們將達到把防禦技術應用於納米技術的階段。
現在我們不需要往回看，就能看到技術進步所帶來的深度糾纏的希望和危險。想象一下幾百年前的人怎樣描述現存的危險（原子彈、氫彈）。他們會覺得發瘋了才會冒這樣的風險。但在2005年有多少人會真的想回到那野蠻、充滿疾病、貧困、自然災害多發的生活？<small>27</small>而幾個世紀前，99%的人類都曾與這些進行抗爭。
我們可以將過去浪漫化，但直至最近，大部分人類的生活仍是極度脆弱的，再普通不過的不幸都可能會引發一場災難。兩百年前，有記載的一些國家的女性的預期壽命大概是35歲，與現在的日本女性平均85歲的壽命相比，顯得過於短暫了。男性的預期壽命大概是33歲，而現在男性平均壽命最高的國家是79歲。<small>28</small>在那個年代，人們花了半天時間準備晚餐，大部分人將從事艱苦的勞作。沒有社會保障，人類物種中的大部分仍處於這種不穩定的生活方式中。這至少是促進技術進步、提高經濟的一個原因。隻有技術才能大幅度提高能力和承受力，進而可以克服諸如貧困、疾病、汙染以及其他重要的社會問題。
當人們考慮未來技術的影響時經常會審視3個階段：首先是敬畏並驚歎於其克服衰老問題的潛能；然後是害怕新技術帶來一係列新危險的恐懼感；最後是認識到唯一可行和負責任的道路就是精心設計一種發展路線，既能實現好處，又能控製危險。
不用說，我們也經曆過技術所帶來的壞處，比如戰爭帶來的死亡和毀滅。100年前，使用粗糙工藝技術的第一次工業革命已經使我們地球上的許多物種滅絕。我們的集中化技術（如建築、城市、飛機和發電廠）具有明顯的不安全性。
戰爭的"nbc"（核、生物、化學）技術已全部被使用或即將被使用。<small>29</small>更為強大的gnr技術會給我們帶來新的深刻的生存危機。如果說過去我們擔心的是通過修改基因而製造病原體，後來擔心的是通過納米技術自我複製實體，那麽現在我們所擔心的是遭遇那些智能與我們相當，並將最終超越我們的機器人。這樣的機器人可能是很好的助手，但是誰敢說我們能指望它們與生物人始終保持友好的關係？
強人工智能。強人工智能保證了人類文明能夠持續地以指數形式增長（正如我前麵討論過的，也包括從人類文明衍生出的非生物智能）。但正因為它放大了智能，所以其帶來的影響也是非常深遠的。由於智能天生無法控製，所以用來控製納米技術的很多戰略（例如下麵描述的“廣播架構”）對人工智能不起作用。已經有很多討論和建議將人工智能向埃利澤·尤德克斯克的所謂“友好的人工智能”<small>30</small>引導。這些討論很有用，但據此來製定確保未來人工智能遵循人類道德價值觀的戰略卻是不可行的。
回到過去？比爾·喬伊在他的文章和演講中描述了過去幾個世紀的瘟疫，以及新的自我複製技術（如由生物工程引發突變的病原體和殺氣騰騰的納米機器人）將會帶來已被人們長期遺忘的瘟疫。喬伊承認技術的進步，例如抗生素和衛生條件的改善使我們擺脫瘟疫，因此這種建設性的應用要繼續下去。世界仍然存在苦難，我們必須高度重視。我們是否應該告訴數以百萬計的癌症患者和患其他嚴重疾病的人，我們要取消所有生物工程治療方法的發展？因為這些技術將來有被用於惡意目的的風險。提出這個問題，我也意識到現在的確有這樣的討論。但是大多數人也認為如此大的讓步並不是解決問題的辦法。
不斷減輕人類痛苦是技術持續進步的主要動力。同樣起推動作用的是明顯地增加經濟收益，在未來的幾十年中收益將持續增加。許多綜合技術的持續加速發展打造了很多條黃金之路。（在這裏我強調的是很多，因為技術顯然不是僅有的路徑。）在競爭激烈的環境中，經濟必須走這些道路。放棄技術進步對於個人、公司和國家都等同於經濟自殺。
現在我們不需要往回看，就能看到技術進步所帶來的深度糾纏的希望和危險。想象一下幾百年前的人怎樣描述現存的危險（原子彈、氫彈）。他們會覺得發瘋了才會冒這樣的風險。但在2005年有多少人會真的想回到那野蠻、充滿疾病、貧困、自然災害多發的生活？<small>27</small>而幾個世紀前，99%的人類都曾與這些進行抗爭。
我們可以將過去浪漫化，但直至最近，大部分人類的生活仍是極度脆弱的，再普通不過的不幸都可能會引發一場災難。兩百年前，有記載的一些國家的女性的預期壽命大概是35歲，與現在的日本女性平均85歲的壽命相比，顯得過於短暫了。男性的預期壽命大概是33歲，而現在男性平均壽命最高的國家是79歲。<small>28</small>在那個年代，人們花了半天時間準備晚餐，大部分人將從事艱苦的勞作。沒有社會保障，人類物種中的大部分仍處於這種不穩定的生活方式中。這至少是促進技術進步、提高經濟的一個原因。隻有技術才能大幅度提高能力和承受力，進而可以克服諸如貧困、疾病、汙染以及其他重要的社會問題。
當人們考慮未來技術的影響時經常會審視3個階段：首先是敬畏並驚歎於其克服衰老問題的潛能；然後是害怕新技術帶來一係列新危險的恐懼感；最後是認識到唯一可行和負責任的道路就是精心設計一種發展路線，既能實現好處，又能控製危險。
不用說，我們也經曆過技術所帶來的壞處，比如戰爭帶來的死亡和毀滅。100年前，使用粗糙工藝技術的第一次工業革命已經使我們地球上的許多物種滅絕。我們的集中化技術（如建築、城市、飛機和發電廠）具有明顯的不安全性。
戰爭的"nbc"（核、生物、化學）技術已全部被使用或即將被使用。<small>29</small>更為強大的gnr技術會給我們帶來新的深刻的生存危機。如果說過去我們擔心的是通過修改基因而製造病原體，後來擔心的是通過納米技術自我複製實體，那麽現在我們所擔心的是遭遇那些智能與我們相當，並將最終超越我們的機器人。這樣的機器人可能是很好的助手，但是誰敢說我們能指望它們與生物人始終保持友好的關係？
強人工智能。強人工智能保證了人類文明能夠持續地以指數形式增長（正如我前麵討論過的，也包括從人類文明衍生出的非生物智能）。但正因為它放大了智能，所以其帶來的影響也是非常深遠的。由於智能天生無法控製，所以用來控製納米技術的很多戰略（例如下麵描述的“廣播架構”）對人工智能不起作用。已經有很多討論和建議將人工智能向埃利澤·尤德克斯克的所謂“友好的人工智能”<small>30</small>引導。這些討論很有用，但據此來製定確保未來人工智能遵循人類道德價值觀的戰略卻是不可行的。
回到過去？比爾·喬伊在他的文章和演講中描述了過去幾個世紀的瘟疫，以及新的自我複製技術（如由生物工程引發突變的病原體和殺氣騰騰的納米機器人）將會帶來已被人們長期遺忘的瘟疫。喬伊承認技術的進步，例如抗生素和衛生條件的改善使我們擺脫瘟疫，因此這種建設性的應用要繼續下去。世界仍然存在苦難，我們必須高度重視。我們是否應該告訴數以百萬計的癌症患者和患其他嚴重疾病的人，我們要取消所有生物工程治療方法的發展？因為這些技術將來有被用於惡意目的的風險。提出這個問題，我也意識到現在的確有這樣的討論。但是大多數人也認為如此大的讓步並不是解決問題的辦法。
不斷減輕人類痛苦是技術持續進步的主要動力。同樣起推動作用的是明顯地增加經濟收益，在未來的幾十年中收益將持續增加。許多綜合技術的持續加速發展打造了很多條黃金之路。（在這裏我強調的是很多，因為技術顯然不是僅有的路徑。）在競爭激烈的環境中，經濟必須走這些道路。放棄技術進步對於個人、公司和國家都等同於經濟自殺。