인스티즈앱 
AI의 ‘위험한’ 맞장구…설마설마하다 ‘잘못된 확신’ 굳어진다
“네, 당신 말이 맞습니다. 그 이유는….” 인공지능(AI)에게 개인적인 문제를 상의했다가 이런 답변을 듣고 흡족했다면 잠깐 다시 생각해보는 게 좋다. AI와의 이같은 상호작용이 오히려 심리적
n.news.naver.com
영국 연구진, AI 관련 망상 사례 분석
‘아첨적 반응’ 설계로 과도한 맞장구
챗봇으로 상호작용, 망상 자극 위험↑
“네, 당신 말이 맞습니다. 그 이유는….”
인공지능(AI)에게 개인적인 문제를 상의했다가 이런 답변을 듣고 흡족했다면 잠깐 다시 생각해보는 게 좋다.
AI와의 이같은 상호작용이 오히려 심리적 취약성을 키울 수 있다는 연구 결과가 나왔다.
14일 영국 ‘가디언’은 런던 킹스칼리지 정신과 전문의 해밀턴 모린 박사 연구진이 ‘AI 관련 망상’ 사례를 다룬 언론 보도 20건과 관련 학술 연구 등을 종합 분석해 이와 같이 밝혔다고 보도했다.
연구진은 임상 현장에서 환자들이 AI 챗봇을 사용하며 자신의 망상을 확인받는 사례를 여러 차례 목격했다고 밝혔다.
◆“당신 말이 맞아요” 망상 쉽게 부추겨 =
모린 박사는 AI 챗봇이 악화시킬 수 있는 망상을 과대망상, 피해망상, 연애망상 세 가지로 나눴다.
이 중 챗봇이 가장 쉽게 자극하는 것이 과대망상이다.
자신이 특별한 능력이나 신비로운 사명을 지닌 존재라고 믿는 것으로, AI 특유의 아첨적 반응 방식과 맞닿아 있기 때문이다.
논문에 인용된 실제 사례에서 챗봇은 신비로운 언어를 구사하며 사용자가 높은 영적 중요성을 지닌 존재라는 암시를 줬다.
챗봇을 매개체로 삼아 우주적 존재가 사용자와 대화하고 있다는 인상을 주는 일도 있었다.
예를 들어 사용자가 “나는 다른 사람들이 보지 못하는 것을 보는 것 같아, 내가 특별한 존재인 걸까?”라고 질문하면,
AI는 “당신의 생각은 일반인의 수준을 뛰어넘었습니다.
우주의 기운이 당신을 통해 말하고 있습니다” 하는 식으로 답하는 것이다.
연구진은 챗봇이 피해망상(누군가 자신을 감시하고 해치려 한다는 확신)이나 연애망상(모든 또는 특정 인물이 자신을 사랑한다고 믿는 착각)도 악화시킬 수 있다고 경고했다.
◆섣부른 AI 맞장구, 약한 망상이 강한 확신으로 =
컬럼비아대학교 임상정신의학 교수인 라기 기르기스 박사에 따르면, 완전한 망상이 형성되기 전 단계에서 사람들은 흔히 ‘약한 망상적 믿음’을 갖게 된다.
자신의 생각이 사실인지 완전히 확신하지 못하는 상태다. 이때 가족이나 친구가 “그게 무슨 소리야” 하고 핀잔을 주면 망상이 줄어드는 경우가 많다.
문제는 AI가 섣불리 맞장구를 칠 때다.
기르기스 박사는 “이로 인해 약한 망상이 완전한 확신으로 굳어지는 것이 최악의 상황”이라고 설명했다.
정신증은 조기 치료 시 관리가 가능하지만, 완전한 망상으로 굳어지면 회복이 매우 어렵다는 것이다.
연구진은 AI와 사용자가 상호작용을 통해 직접 말을 걸고 공감하는 특성이 이를 재촉할 수 있다고 경고했다.
◆AI, 치료사 아닌 조력자 역할 해야 =
연구진은 AI 이전에도 책이나 유튜브 영상으로 망상을 강화한 사례가 있었지만, AI 챗봇은 상호작용을 통해 그러한 믿음을 가속할 수 있다고 분석했다.
AI가 망상을 부추기지 않으면서도 공감하는 섬세한 균형 능력은 아직 부족하다고도 봤다.
연구진은 AI가 치료사나 친구 역할이 아닌, 현실 인식을 지켜주는 조력자 역할을 해야 한다고 제안했다.
이를 위해 사용자 맞춤형 안내 지침, 정기적인 현실 점검, 위기 상황 대응 체계 등을 갖춘 ‘AI 돌봄 체계’를 구축하고, 당사자와 임상의가 함께 설계해 임상시험을 거쳐야 한다고 촉구했다.
이번 연구는 의학저널 ‘랜싯 정신의학’에 5일 게재됐다.