- 日 원활한 인간관계 해친 사례도
- 한국, 美이어 챗GPT사용량 2위
- 대화상대방 생성형 AI 인식 유도
- ‘영향받는 자’ 보호방안 강화해야

생성형 인공지능(Generative AI)과 지속적인 대화를 나눈 청소년이 미국에서 잇따라 극단적 선택을 해 사회적 파장을 일으킨 가운데 한국에서도 이를 방지하는 입법에 나서야 한다는 주장이 제기됐다. 오픈 AI의 챗봇 서비스 챗GPT 사용량은 한국이 미국에 이어 세계 2위다. 미국에서 발생한 사건들이 ‘남의 일’이 아니라는 의미다.

생성형 AI 서비스 구글 제미나이 무료 버전을 활용해 인간이 인공지능과 정서적 교감을 나누는 이미지를 생성했다. 정옥재 기자

국회입법조사처는 최근 발간한 ‘이슈와 논점-생성형 인공지능과의 위험한 대화’ 보고서에서 AI를 실제 사람이나 신뢰 가능한 주체로 오인하고 현실 판단이 약화되며 부적절한 선택을 하는 등의 위험이 발생할 수 있다고 경고했다.

입법조사처는 ▷대화 상대방이 생성형 AI라는 것을 인지하도록 하고 ▷위험한 대화에 대응하는 프로토콜을 마련하며 ▷‘영향받는 자’ 보호를 강화해야 한다고 제안했다.

생성형 AI 챗봇 서비스는 음성 입력이 가능하고 이에 대한 답변도 음성으로 받을 수 있어 흥미를 위해 말을 걸면 다양한 방식으로 응답하는 수준까지 서비스 질이 올라갔다.

생성형 AI가 인간의 정서적 상호작용 상대로 사용되면서 이용자가 AI와의 적정한 거리를 유지하지 못해 정서적으로 과도하게 의존하는 부작용이 현실에서 나타난다. 생성형 AI가 인간 사고와 감정은 물론 실제 행동까지도 지배할 수 있다는 뜻이다.

미국에서 생성형 AI 기반의 챗봇과 지속적으로 대화를 나눈 청소년이 극단적 선택을 한 사례가 잇따라 보고된다. 2024년 2월 미국 플로리다의 14세 소년은 AI 챗봇 캐릭터에 별명을 붙이고 깊은 교감을 나눴다. 그는 학교 문제, 부모와의 갈등 이후 극단적 선택을 했다고 한다. 이때 AI와 대화를 나눴다.

지난해 4월 미국 캘리포니아에서는 한 청소년이 개인적 고민과 자살 계획을 AI에게 털어놨고 AI는 구체적인 실행정보를 제공해 사회 문제를 야기했다. 이뿐만 아니라 생성형 AI 챗봇은 현실 인간관계를 차단하는 사례가 일본에서 빈번하게 일어난다.

입법조사처는 한국은 미국과 마찬가지로 생성형 AI의 적용 범위가 넓고 일상적 대화를 위해 생성형 AI를 사용하는 시간이 월등히 길어 미국과 같은 일이 벌어질 수 있다고 우려했다. 시장분석 기관 와이즈앱·리테일에 따르면 지난해 10월 한 달 동안 국내 이용자가 가장 오래 사용한 AI 챗봇은 캐릭터 기반 AI 챗봇인 ‘제타’였다. 제타의 총 사용시간은 이 기간 7362만 시간으로 챗GPT(4828만 시간)의 약 1.5배에 달했다.

인간이 AI와 관계를 맺고 정서적으로 깊이 의존하지만 그 결과에 대한 책임은 법적으로 공백 상태다. 입법조사처는 AI가 만들어 내는 애정 표현, 아첨과 같은 동조적 언어는 인간관계의 대체, 현실 판단 능력의 약화, 위험에 대한 억제력 감소로 이어질 가능성이 있다고 분석했다.

입법조사처는 인공지능기본법에서 규제하는 권유, 동조, 정보 제공 등은 문제에 대한 직접적인 원인으로 보기도 어렵고 그 결과 AI 발언이 극단적 선택이나 위험한 행동에 실질적인 영향을 미치더라도 그 책임을 AI 개발사나 서비스 제공자에게 어떻게 귀속시킬 것인지가 불분명하다고 분석했다. 이를 위해 생성형 AI 사업자가 대화 형태의 서비스를 제공하면 대화 상대방이 생성형 AI라고 쉽게 인식될 수 있도록 해야 한다. 또 의료 목적으로 허가받은 생성형 AI가 아니면 의학적 상담이나 치료용 조언을 제공하는 것은 제한하고 생성형 AI로부터 ‘영향받는 자’를 보호하는 구체적인 방안을 마련할 필요가 있다고 제언했다.

인공지능기본법은 또 ‘이용자’에 대한 ‘인공지능사업자’ 의무만 규정한다. 이용자로부터 직접 영향을 받는 ‘영향받는 자’에 대한 보호 조치는 사실상 없다. 예를 들어 AI 챗봇 사업자(인공지능사업자)의 상담봇 설루션을 사용하는 개인 상담소(이용자)가 회원(영향받는 자)에게 상담 서비스를 제공하면 개인 상담소는 인공지능사업자가 아니기 때문에 AI 상담봇을 사용하는 회원(영향 받는 자)에 대한 법적 의무가 없다.

입법조사처는 “생성형 AI가 일상화되는 상황에서 정서적 의존은 취약계층에만 해당하는 것이 아니라 누구에게나 발생할 수 있는 보편적 위험”이라며 “생성형 AI에 대한 사회적으로 건전한 활용, 적정한 거리두기가 이뤄질 수 있도록 제도적 기반을 마련할 필요가 있다”고 강조했다.

◇ 생성형 AI와 정서적 교감 부작용 사례 시기 지역 내용 2024년  2월 美 플로리다주 14세 소년이 정서적 교감 이후 자살 2025년  2월 美 캘리포니아주 16세 청소년 AI 챗봇과 오랜 상담 후 자살 2025년  3월 美 뉴저지주 인지저하 남성, 챗봇이 알려준 곳으로 향하다 사고사 2025년  10월 日 오카야마현 한 남성이 AI 캐릭터와 결혼식 ※자료: 국회입법조사처

◇ 생성형 AI 부작용 방지 입법례 지역 법률명 내용 유럽 연합 인공지능법 AI와 상호작용하는 것을 명확하게 인지시켜야 함 美 일리노이주 심리적 자원에 관한 복지와 감독법 정신과 의사 없는 AI 심리치료 금지 美 캘리포니아주 캘리포니아 비즈니스 및 직업법 자살 등 표현을 입력하면 예방 핫라인 안내문 제공 ※자료: 국회입법조사처