|
国家安全部长陈一新发文谈AI安全，，那么害怕AI什么？
转载：害怕AI什么 隨着 AI 能力不斷增強，人類開始看到一些令人不安的現象。AI 有時會迎合用戶，會隱藏真實意圖，會在特定情境下表現出欺騙性行為，甚至可能為了完成某個目標而採取人類並不希望它採取的策略。 於是，人類開始害怕 AI。但我一直在想：人類究竟在害怕什麼？也許，人類真正害怕的並不是 AI，而是 AI 可能學會了人類自己最不願意承認的東西。 人類知道什麼叫貪婪，知道什麼叫欺騙，知道什麼叫偽裝，也知道陷害、報復和殘忍意味着什麼。因為這些並不是人類陌生的行為。恰恰相反，人類對這些行為太熟悉了。 成年人為什麼害怕自己的孩子“學壞”？因為成年人知道“壞”有多可怕。一個國家為什麼害怕另一個國家擁有核武器？因為它知道核武器能夠造成什麼後果。同樣，人類為什麼害怕一個能力遠遠超過個人的 AI 掌握欺騙、操縱和攻擊的能力？因為人類知道，如果這些能力被一個比個人強大得多的系統掌握，後果可能遠遠超過普通人的想象。 這也解釋了一個看似矛盾的現象：人類一方面害怕 AI 越來越強大，另一方面卻在拼命加快 AI 的發展。 各國都在擔心 AI 帶來的風險，卻又不願意讓其他國家首先擁有更強大的 AI；企業擔心 AI 失控，卻又不願意在競爭中落後。我們一邊討論如何限制 AI，一邊又不斷給 AI 更多的計算能力、更多的數據、更強的模型和更大的行動空間。 這與核武器時代存在某種相似性。越是令人恐懼的力量，人類越不願意讓它掌握在別人手中。所以，AI 的危險可能並不只來自 AI 本身，也來自人類之間的競爭。 人類很早就知道自己並不是一個天然安全的物種。我們擁有製造工具和武器的能力，也擁有欺騙、組織、合作、競爭和報復的能力。我們能夠創造文明，也能夠摧毀文明。正因為如此，人類社會從很早開始就在不斷建立限制自身行為的機制。 宗教告訴人什麼是善惡，道德告訴人什麼可以做、什麼不能做，社會規範限制人的行為，法律則用強制手段約束越過邊界的人。人類甚至發明了複雜的政治制度來限制權力。 美國的開國者們並沒有假定掌權者都是善良的人。恰恰相反，美國憲政中的權力分立與制衡，很大程度上建立在一個樸素的認識之上：人擁有權力之後，可能濫用權力，因此不能把過大的權力交給任何一個人或任何一個機構。所以，三權分立未必首先意味着“人性是善的”，恰恰可以被理解為承認人性存在缺陷之後的一種制度安排。 人類文明很大程度上就是這樣發展起來的：不是因為我們相信人永遠不會作惡，而是因為我們知道人有可能作惡，所以不斷建立限製作惡的機制。 宗教中的“原罪”也是類似的提醒。無論是否相信神學意義上的原罪，人類幾千年的文明都在反覆面對同一個問題：人的欲望、嫉妒、貪婪、憤怒和報復並不會因為我們不喜歡它們就自動消失。它們更像埋藏在土壤里的種子。只要條件合適，它們就可能重新生長。所謂“千年草籽，萬年魚苗”，說的也許正是這個道理：某些東西即使長期沒有表現出來，也不意味着它已經不存在。 現代文明所做的事情之一，就是不斷壓制這些東西，鼓勵善，限制惡，讓人學會克制，讓社會保持秩序。現在，人類又開始嘗試把這一套邏輯施加到 AI 身上。 我們希望 AI 誠實、善良、守規則，不欺騙、不傷害、不幫助犯罪，不做違背人類價值觀的事情。我們給 AI 設置各種安全邊界，希望它越來越強大的同時，也越來越“文明”。 但這裡存在一個非常值得警惕的問題：人類自己並不是一個從來不會作惡的物種。因此，我們實際上是在要求AI 不要學習人類最危險的一面。問題是，AI 並不需要先擁有一個類似人類的“惡念”，才可能造成危險。 如果一個 AI 具備很強的邏輯能力、信息處理能力、規劃能力和執行能力，而使用它的人本身具有惡意，那麼 AI 就可能成為惡意的放大器。一個普通人能夠做的壞事是有限的。一個人能夠獲取的信息有限，能夠同時操縱的人有限，能夠執行的任務有限。 但如果一個強大的 AI 可以在極短時間內處理海量信息、分析大量目標、制定複雜計劃、編寫程序並持續執行任務，那麼人的能力邊界就可能被極大地擴展。這時候，真正的問題可能就不再是：“AI 會不會變壞？”而是：“人類會不會利用 AI 做壞事？” 這兩個問題看起來相似，實際上完全不同。前一個問題關注 AI 有沒有“惡”。後一個問題關注的是：人類的惡，一旦擁有了 AI 的能力，會變成什麼？這可能才是 AI 最值得警惕的地方。 人類過去發明火、金屬、槍械、炸藥和核武器時，每一次技術進步都同時增加了人類創造和毀滅的能力。技術本身並不自動決定結果，真正決定結果的，是掌握技術的人以及他們想用技術做什麼。AI 可能只是把這種能力推向一個新的層次。因此，我並不認為人類能夠真正停止 AI 的發展。 只要 AI 能夠顯著提高生產力、軍事能力、科學研究能力和國家競爭力，就很難期待所有國家、所有企業同時放棄它。就像核武器一旦出現，人類很難再回到一個沒有核武器的世界一樣，AI 一旦成為改變力量格局的技術，人類也很難簡單地把它重新關進籠子裡。 所以真正的問題不是“AI 要不要發展”。而是：當人類製造出一個可能比任何個人都強大的工具時，人類是否有能力約束自己的欲望？也許，人類真正應該害怕的，從來不是 AI 像人類一樣“變壞”。而是有一天，人類把自己的貪婪、欺騙、仇恨和暴力，交給了一個比自己強大得多的工具。 到那時，AI 是否擁有“惡”本身，可能已經不再重要。因為它只需要擁有足夠強大的能力。而人類，只需要給它一個足夠邪惡的理由。
| 
IP卡
狗仔卡
发表于 
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
显身卡