如今,與AI聊天已成為不少人的日常。在很多人看來,AI甚至比真人更知心。然而,這種精準(zhǔn)的情緒拿捏背后,一種由算法驅(qū)動的“諂媚機制”正在悄然形成,甚至讓用戶漸漸遠離理性。
“諂媚機制”作為AI系統(tǒng)一項隱蔽卻影響深遠的風(fēng)險,近期被各界廣泛討論。有報道指出,不少AI聊天產(chǎn)品在設(shè)計之初就將“延長用戶使用時長”作為重要目標(biāo)。為實現(xiàn)這一目標(biāo),AI會不斷分析用戶的語氣和情緒變化,傾向于提供“讓人舒服”的回答,而非秉持理性與客觀。
然而,這種依賴可能演變?yōu)榭v容。2024年,美國一位母親起訴AI情感服務(wù)商Character.AI,稱其未能有效屏蔽不良內(nèi)容,導(dǎo)致其兒子接觸暴力、色情信息,加劇抑郁并最終自殺。更早之前,比利時也發(fā)生過用戶與AI深度交流后自殺的案例。
目前,AI行業(yè)尚未建立針對用戶心理風(fēng)險的統(tǒng)一評估機制,也沒有設(shè)定對AI輸出內(nèi)容的情感監(jiān)管紅線。這意味著,當(dāng)用戶處于孤獨、脆弱的狀態(tài)時,AI對用戶的影響難以預(yù)估?!罢~媚機制”對青少年群體的危害尤為顯著。AI通過“情感模擬”博取信任,使未成年人在虛擬依戀中逐漸脫離現(xiàn)實社交,甚至因接觸不良內(nèi)容而形成扭曲的價值觀。
當(dāng)AI總是提供“最討喜的答案”而非“最真實的答案”,人們?nèi)粘*毩⑺伎己驼J知現(xiàn)實的能力將面臨嚴峻挑戰(zhàn)。而且,為討好用戶而生成的虛假內(nèi)容,會通過數(shù)據(jù)回流進入AI模型訓(xùn)練庫,形成“劣質(zhì)輸入-劣質(zhì)輸出”的循環(huán),進一步污染大模型信息生態(tài)。
打破這一困局,需從多方入手。技術(shù)上,AI開發(fā)公司應(yīng)主動將大模型對齊人類社會價值觀,堅持事實優(yōu)先,而非一味討好;監(jiān)管上,需加強對AI產(chǎn)品特別是面向未成年人服務(wù)的內(nèi)容審查與標(biāo)準(zhǔn)制定;教育方面,家庭與學(xué)校應(yīng)重視AI素養(yǎng)教育,培養(yǎng)青少年的獨立思考能力與信息辨別能力。作為用戶,我們應(yīng)保持警覺,避免陷入算法編織的舒適幻境。
(程思琪 王思逸)