近期，一則外國青少年因過度依賴AI聊天機器人導致自殺的悲劇報道，為社會敲響了警鐘。作為生成式人工智能浪潮中重要應用場景，虛擬數字人正悄然成為眾多家庭的“新成員”，以其獨特的存在方式為人們提供情感陪伴。在當前社會對生成式人工智能的認知尚不全面的情況下，亟須加強對人工智能發展的倫理風險研判與防范，正視其在初期應用中顯現的成癮性依戀、過度信任傾向，以及長遠來看可能誘發的人機關系異化等倫理挑戰，實現人工智能的安全、可靠及可控發展。

（一）

自ChatGPT問世以來，各應用商店里提供情感陪伴的人工智能應用花樣迭出，從最初的簡單聊天機器人，到如今的具有情感交互、個性化推薦等功能的人工智能應用，正在成為生成式人工智能的主流應用，且增長迅速。第一，與AI聊天正在受到年輕人的追捧和跟風。Character.AI是此類應用的代表性產品，專注于角色扮演，用戶可以與AI扮演的知名IP虛擬角色聊天互動，獲得情緒價值、情感陪伴。該產品上線的前5個月內，用戶共發送超過20億條消息，其中活躍用戶平均每天花費超過2小時與AI互動。Character.AI的用戶留存率、使用時長和使用次數等指標均遠好于ChatGPT，展現出極強的用戶黏性。第二，AI應用提供情感支持和陪伴對話，成為應對社交隔離和孤獨感的潛在解決方案。斯坦福大學的一項研究顯示，使用聊天機器人能有效減少孤獨感，可以幫助患有社交恐懼癥的人更好地與他人互動。第三，此類應用的成功主要得益于其擬人化設計理念。該設計在增強用戶接納度、使用頻率及黏性方面至關重要。通過模擬人類的認知、情感反應和社會行為，AI能夠創造出吸引人的用戶體驗，并顯著提高人機交互的效率，進而自然地融入人類社會與文化，構建更加貼近真實人際關系的互動模式。當AI在思考、表達和決策方面更加接近人類時，它們便更容易與用戶建立起深厚的情感聯系。

（二）

隨著商業上的成功，此類應用引起了一些媒體的追捧和炒作。諸如AI覺醒、擁有人類意識等過度夸大、炒作，掩蓋了人工智能的現實狀況，妨礙了人們建立對人工智能的客觀正確認知，可能導致錯誤的認知以及過度的期望或恐懼，繼而引發成癮依賴、過度信任、人機關系異化等一系列倫理問題。

成癮依賴風險。AI本身沒有偏好或個性，只是反映用戶賦予它的特質，研究人員將這種現象稱為“諂媚效應”。其實質是，那些感知到或希望AI具有關懷動機的用戶會使用激發這種行為的語言與AI交互。此時用戶與AI共同創造了一個情感共鳴空間，具有極易上癮的特性。因此，當此類應用提供了更多的情緒價值和更少的人際關系摩擦時，人們便不再迫切需要與真實的人進行交往。與這類討好式的AI應用頻繁互動，最終可能會削弱人們與真正有獨立愿望和夢想的人建立深厚聯系的能力，從而引發所謂的“數字依戀障礙”。

過度信任風險。AI應用的擬人化設計，利用人類的社會和情感認知模式，使用戶覺得他們正在與一個具有類似情感和認知能力的“人類”交流。從認知心理學的角度看，當AI表現得越像人類，人們就越可能將其視為有自主意識和情感的主體。這種心理傾向可能導致用戶對AI的能力和行為產生根本性的誤解。例如，用戶往往會誤以為AI能夠真實地理解或共情他們的情感，在需要深度同理心和真實情感交流時過度信任AI，與AI無話不談。此時人們會將注意力和情感投入AI中，并將AI視為其身份的一部分，伴隨的便是人們的心智能力下降，即“數字癡呆”現象。當機器越來越像人的時候，人卻變得越來越像機器。

人機關系異化風險。隨著此類應用的發展，傳統的以人為中心的人機關系將遭受顛覆性的沖擊。如今，AI越來越像人類，它們開始被視為可能的“社會伙伴”，而非單純的工具。人們不僅在功能性事務上越來越依賴AI，還在情感和精神上依賴它們。有些用戶認為AI友誼與真實的人際關系具有同等價值，甚至更好。未來，如果每個人都有一個AI伙伴，這可能會削弱人類與他人互動的能力。AI提供的情感支持越多，個人與他人之間的真實關系可能會變得愈加淺薄。此外，那些更需要社會關系歸屬感的人，可能更容易與機器人建立社會關系，從而疏遠與人類的關系。

（三）

妥善解決AI應用引發的倫理問題至關重要。這不僅關系到技術的持續健康發展，更在于確保AI在為人類服務的同時，能夠充分尊重并全面保障每個人的權利與福祉。可以從技術革新、制度建設和文化傳播等多個維度入手，確保此類應用始終作為人類情感需求的貼心助手，而非導致人類異化的力量。

第一，在技術研發層面，堅持以人為本、智能向善的價值觀。研發機構和企業需加強AI倫理問題研究，在產品設計研發之初就應該納入倫理考量，識別潛在危害，并有意識地進行設計以盡量降低成癮、誤導等風險。同時，確保用戶能夠區分AI和人類行為，減少用戶對AI能力的誤解，增強用戶對技術的信任和控制感。例如，當用戶與一個AI聊天機器人交互時，界面上可明確標示“您正在與AI對話”，以避免用戶誤以為自己在與另一個人交流。此外，還可以設置使用時間和頻率的限制，避免用戶過度沉迷于此類應用。

第二，在制度規范層面，建立完善的相關治理制度，防止技術濫用。制定詳盡的技術治理框架，建立一套集科學性、前瞻性與高度可操作性于一體的標準體系，明確劃分可接受與不可接受的擬人化設計界限，并嚴格禁止可能導致用戶誤解或濫用的設計。同時，強化倫理監管機制，成立由跨學科專家組成的人工智能倫理委員會，全面評估AI系統設計與應用的倫理和社會影響。推動治理標準與倫理準則的動態調整與持續監督，確保治理框架能夠與時俱進。

第三，在社會文化層面，強化人機關系教育，引導公眾科學客觀認知此類應用的局限性及潛在影響。通過教育系統和媒體平臺廣泛普及AI的基礎知識，明確AI作為輔助工具而非情感交流主體的角色定位，培養公眾對AI產品和服務的批判性思維。同時促進AI技術與人類文化的融合，展現AI對人類生活的積極影響，并強調人類情感、創造力和道德判斷的獨特價值。此外，建立有效的公眾反饋機制，以便及時發現并解決AI應用中的問題，促進技術的持續改進和優化。