作者：曾毅 中國科學院自動化研究所研究員、中英人工智能倫理與治理中心主任；北京智源人工智能研究院人工智能倫理與可持續發展中心主任；清華大學人工智能國際治理研究院首席專家。國家新一代人工智能治理專委會委員；聯合國教科文組織人工智能倫理特別專家組專家

從艾薩克·阿西莫夫的機器人三定律、斯蒂芬·霍金對人工智能與人類生存風險的預見，到諾伯特·維納對自動控制系統安全的擔憂，近五年來各個國家、科研機構和企業相繼提出的人工智能發展、倫理與治理原則，相關的思考與行動見證著人類為推進人工智能向對人類有益的方向發展所做出的努力。當人工智能的進展如此深入地與人類社會深度融合時，一方面，我們看到的是人工智能作為賦能技術推進社會的進步；另一方面，人工智能發展中的隱患與不確定性使得我們無法完全脫離彷徨與擔憂。也正是因為這種不確定性與風險、挑戰的存在，才凸顯出人工智能倫理與治理研究、實踐的現實和長遠意義，更需在人類負責任的創新與呵護下推進人工智能以更穩健的方式向未來探索前行。

我在此借曠視AI治理研究院與人民智庫組織的“2020全球十大AI治理事件”評選中的部分案例進行回顧與討論，并再補充年底發生的一例事件。回望過去，并非僅僅去看走過的路，更是為了反思我們尚未取得的進展。

隱私保護：從意識到行動

針對“歐美、韓國相繼出臺AI 治理新規，嚴格限制、甚至禁用相關人工智能技術在某些場景的發展和應用”事件。我仍然認為在國家與社會安全等特殊的需求下應用人臉識別等技術有其意義，仍然應當鼓勵人臉識別等技術在十分必要的場景進行合理使用，例如應用于追蹤嫌疑人和打拐尋親。但同時應當指出，人臉識別的潛在風險確實存在，不可忽視，甚至解決其風險仍迫在眉睫。首先，從技術的角度講，生成對抗網絡的進展使得人臉作為加密技術不再絕對安全。其次，從隱私的角度講，由于人臉等生物特征的相對穩定性，一但泄露即面臨終身風險。不僅如此，從人臉圖像和視頻中甚至有研究嘗試可以部分提取出心跳、健康狀況、基因缺陷、性取向等隱私信息。此外還應當指出：人臉識別潛在的性別偏見、種族偏見等廣泛存在于其他類型的生物特征識別技術中，例如指紋識別、步態識別、虹膜識別、聲紋識別。由于人臉識別應用部署最廣泛，得到公眾普遍關注引發的擔憂相對更多，為此，現在部分國家和相關企業出臺了暫時性的禁令。然而如果對其他類似技術中的風險與隱患不采取行動盡可能避免潛在問題，將與人臉識別技術一樣遭受到同樣的挑戰。禁用不能完全解決問題，積極采用技術和非技術手段解決隱患才是真正負責任的創新。

針對“技術預警獨居老人水表及校園暴力行為”事件。雖然通過水表監測實現對獨居老人健康狀況的關注是一個另辟蹊徑的設計。然而在其實現設計初衷的探索中，我們仍然要進行謹慎地討論。在這個應用中除了實現對老人身體狀況的關注，是否仍然泄露了老人的部分隱私？例如除了呵護健康，似乎也可以基于相關數據推理出老人何時在家，是否外出旅行、探親，何時回來等信息，這些信息應該被誰掌握？可否確保這些信息不被泄露？倘若是為了防止校園暴力，無論是視覺識別還是語音偵測設備，都有其不同場景的意義。然而這樣看似“善用”背后的細節仍然是值得關注的。沒有采集人臉和動作等視覺信息就保護了隱私是一種誤區，視頻和聲音信號都可能包含隱私信息。只要是監測設備，可否在沒有暴力事件的情況下盡可能地保護隱私？這是人工智能服務的技術創新者應當探索的疆域。

年終：大量明星核酸檢測照片在網絡傳播這一事件引發廣泛關注。“只要知道姓名和身份證號，就可以查看他人核酸檢測素顏照”引發公眾對健康寶系統安全性的擔憂。通過這一事件可以看到：一方面，某些承接政府機構信息系統建設的企業并沒能很好地實現對公民關鍵隱私數據的有效保護。另一方面，相關政府機構和企業對包含公民隱私數據的應用，特別是政府委托的相關應用服務，在數據保護方面應需加強管理和監督。之所以通過輸入部分信息就可以獲取他人核酸檢測相關細節信息，從系統設計角度而言存在不嚴格的倫理設計。雖然他人代查這項功能仍具有現實意義，例如子女和朋友幫助老年人等非手機用戶代查這樣的需求仍然存在，但是如何確認代查結果經過當事人授權，確保其知情同意，是在系統設計與實現過程中必須思考清楚并通過技術實現的。

從隱私風險到身份認同的挑戰：腦機接口倫理研究需跟上步伐

針對“??智能可以翻譯?腦想法將?腦信號轉化為?本數據，讓隱私?處遁藏”案例。現代腦機接口相關技術的發展使得有可能采用一些映射模型解碼部分人類思維的模式，借助腦機接口設備實現打字、遙控玩具與機械臂等“讀腦術”的應用已日趨商用。雖然從20年前借助核磁數據解讀人腦思考的語義概念到這次基于腦電模式進行文本解碼的工作都還是一種端到端的模式分類。但是我們必須未雨綢繆，為其中潛在的倫理問題做好準備。人類的記憶及其激活過程從抽象的層次講可以認為是特定模式的存儲、關聯和提取。如果訓練的數據以及做的任務類型足夠豐富，加以腦機接口算法的改進，我們無法確保人腦中的隱私不會被解讀出來。當我們看到“讀腦術”有進展時，更希望學術界能夠同步產生負責任的創新，研究在算法、實驗步驟、應用約束等各方面如何盡可能地保證被試者的隱私得到保障。但僅此而已嗎？在“讀腦”的過程中是否會產生“誤讀”？如果是實驗性的文本解碼甚至是做遙控玩具游戲，似乎風險是有限的。然而如果是用腦機接口操作機械臂，“誤讀”將有極大風險會引起后果嚴重的“誤操作”。由腦機接口引起誤操作傷及受試者、用戶本人或者周圍的人和環境都是極有可能發生的事情。此外腦機接口技術可能會對人類的能動性產生負面影響，這甚至是會影響到用戶對自身的身份認同乃至責任的劃分。然而其在醫療、民用領域的意義仍然是積極和廣泛的。我們是否能夠做到一方面受益于以腦機接口為代表的智能增強技術，另一方面需要讓技術發展與應用同步甚至是先一步，采取行動盡可能避免其“侵犯隱私”，消除“誤讀”導致后果嚴重的“誤操作”等隱患。

來自人工智能的利益：權力與責任并存

針對“全國首例：法院認定人工智能生成文章構成作品，擁有著作權”案例。這讓我回想起2019年“歐盟專利局拒絕AI發明專利申請”的案例。正如我對“發明專利”案例的評價：“人工智能在某種受限的領域和場景下確實有可能進行一定程度的發明創造，未來人工智能最重要的探索方向之一就應當是使人工智能真正具備發明和創造的能力”。在“專利”案例中，我不支持人工智能作為專利申請者。原因是權力與義務共存。如果參照人工智能設計的專利研發的產品存在缺陷、風險和安全隱患(如人工智能用于制藥)，若發生事故，由于人工智能尚不是責任主體，并不能實質性承擔責任。與此類似，如果人工智能生成的文章構成著作權，并由作品自動生成系統的使用人員享有這個著作權，那么文章可能對社會產生的負面影響及相關連帶責任也應當由著作權享有者承擔。在賦予“著作權”的同時，我們是否合理強調了責任和義務？在人工智能還不能成為責任主體的情況下，倘若我們要享有使用人工智能帶來的利益，就必然同時要做好為此承擔責任的準備。

從企業誠心自律到政府與社會多方治理

針對“AI 成監工：算法下外賣騎手挑戰交通規則，助手可能變殺手”案例。有兩件事情可以確定：一是目前的人工智能只有處理數據的能力，沒有真正理解的能力。在這個案例中，配送規劃算法做的只是基于統計的優化，而對于這種所謂的“優化”過程騎手將如何去執行以及可能導致的后果沒有任何理解能力。1950年的“圖靈之問”圍繞“機器是否能思考”，我認為沒有真正的理解何談思考。在對“交通違規”“生命危險”直至“生”“死”這些對于個人存在具有深刻意義的概念沒有真正理解的情況下，騎手卻被算法“操控”。算法的設計者和服務提供者可曾認真想過算法“操控”的是人？二是我很難相信相關的算法設計者和服務提供商從未想過“助手”可能變“殺手”。然而什么使得他們做出選擇仍然這樣做，直至得到社會強烈的反彈？同行之間的惡性競爭使得企業在道德選擇上彷徨，直接將風險從服務提供商轉到了騎手身上，犧牲掉的是那些將風險與幾元配送費反復較量的生命。通過這個案例，我們當然能夠得到企業需要反思以及做出改變的結論，但我們能寄希望于所有的人工智能研發、應用、服務企業完全做到自律自治嗎？社會輿論的關注、監督與政府的頂層監管必不可少。

軍用人工智能：即使無可避免，也要正視風險

針對“人工智能首次控制美國軍用系統，或將開啟算法戰新時代”案例。世界上很多國家都致力于發展軍事人工智能，然而人工智能給軍用設備與武器帶來能力提升的同時，更帶來了諸多隱患。如果這已經是不可避免的發展趨勢，各國政府、學者及相關機構務必攜手應對，盡可能避免由于人工智能的現存風險引發的災難。人工智能模型存在設計缺陷、難于抵御不可預期類型的外部攻擊，這只是人工智能內部、外部安全的冰山一角。現代人工智能技術的進展幾乎難以確保系統實現的目標與人類真正的意圖完全一致。加之人工智能模型目前普遍缺乏可理解性，并對真實世界不具備理解能力，如果我們不能確保實質性有意義的人類控制，加之復雜多變的戰場環境，使用軍事人工智能將不可避免的增加不必要的風險。此外，已有研究指出軍事人工智能可能的衍生品有可能發展為攻擊社會的工具的可能性，我們如何確保這樣的事情不會發生？至于致命性自主武器，更應該是全人類聯合禁止使用的。

長遠人工智能的倫理風險：未雨綢繆，防患于未然

針對“人工智能技術突破現有邊界，具備‘ 自主意識’，可實現獨立研發、自我修復等功能”案例。生物機器Xenobot的進展是通過算法重塑干細胞的組織方式，使其能夠按照程序設定的方式生成身體形態，能夠實現一定的功能并且具有可修復能力。它將在醫療與環境保護領域具有廣泛應用潛力，但卻遠遠不能說明Xenobot是一種新的生命，更不能說明其具有“自主意識”。沒有繁衍和演化能力的Xenobot實際上仍然是一臺信息處理機器。Xenobot的自我修復能力來自于原始的干細胞的分化再生能力。而細胞間的自組織使得Xenobot獲得一定移動能力，卻不具備從自我視角整合身體自身及環境信息的能力。倘若未來人工智能模型能夠實現真正意義的“自主意識”，并具有理解能力，那么首先需要做的事情就是發展其認知共情能力，讓其在理解和共情的基礎上遵循(演化中的)人類倫理道德。這幾乎是人類與通用人工智能和諧共生的唯一方式。有人指出通用智能和超級智能可能幾十年甚至更長時間之后才能實現，然而我卻認為為保證通用智能與超級智能不給人類帶來生存風險，我們從現在開始準備也未見得來得及。對于長遠人工智能可能帶來的倫理風險及可能的解決道路，我們必須未雨綢繆，防患于未然。

人工智能技術與應用日新月異，發展中的不確定性也日益凸顯。人類在各種可能性和新奇發展中不免彷徨。聚焦近年來全球相關典型事件，科技界、公眾與政府已然意識到人工智能風險、倫理與治理的重要性。未來，如何將對風險、安全、倫理的思考轉化為通過技術與社會手段的務實治理，不僅需要全社會的關注和實踐，更需要在全球視野下深度協作、長遠布局，確保人工智能負責任地前行，為人類的未來保駕護航。