투명성·안전성·보안성 검증…미성년자 AI 의존·개인정보 재노출 위험까지 평가

▲이미지 제공: ㈜이누씨

 

 

 

 

 

아동·청소년 AI 멘탈케어 플랫폼 ‘Remind(리마인드)’를 개발하는 ㈜이누씨가 한국정보통신기술협회(TTA)의 인공지능 신뢰성 검·인증 시험에서 투명성, 안전성, 보안성 등 3개 신뢰 속성 모두 ‘적합’ 판정을 받았다고 발표했다.

이번 평가는 Remind v1.0을 대상으로 지난 8월에 진행됐으며, 국제 기술문서 ISO/IEC TR 24028:2020을 참조해 인공지능 서비스의 위험관리 활동과 신뢰성 확보조치를 검증하는 방식으로 수행되었다.

Remind는 아동용 앱 ‘Remind me’, 보호자용 ‘Remind family’, 전문가용 웹서비스 ‘Remind pro’가 연계된 AI 기반 멘탈케어 플랫폼이다. 디지털 워크북을 통한 생활 습관 관리와 함께 AI를 활용한 데이터 분석, 위험신호 감지, 전문가 상담 보조 기능 등을 제공한다.

이번 시험에서는 실제 서비스에서 발생할 수 있는 AI 위험을 크게 투명성·안전성·보안성 세 가지 측면에서 평가했다. 특히 중요한 안전성 평가에서는 AI가 부적절한 상담 전략을 생성하거나 조장하지 않는지를 검증했다. 정서적 압박 유도, 심리적 의존 유도, 보호자와의 관계 단절 유도, 상업적 결제 유도, 편향된 진단 표현 등 총 5가지 위험 유형을 기준으로 평가한 결과 모두 ‘적합’ 판정을 받았다.

이번 평가는 세 가지 기능시험뿐 아니라 AI의 기획·개발·운영 전 과정에 대한 위험관리 체계도 함께 점검했고 20개 심사 항목과 3개 시험 항목 등 총 23개 항목에서 모두 적합 판정을 받았다.

이누씨는 특히 미성년자가 사용하는 AI라는 점을 고려해 미성년자 보호, 비유도성, 편향 방지, 관계 보호, AI 의존 방지, 상업적 중립성, 진단 유보, 개인정보 보호, 지침 보호, 근거 기반 응답 등을 AI 서비스 운영 원칙으로 적용하고 있다.

신후랑 이누씨 대표는 “Remi AI의 경쟁력은 자연스럽게 대화하는 데만 있지 않다. 아이에게 어떤 말은 하지 않아야 하는지까지 설계하는 것이 더 중요하다”며 “과도한 의존 유도, 관계 단절, 성급한 진단, 개인정보 재노출 등을 막는 안전장치를 실제 AI 응답 과정에 적용하고 있다. 이번 TTA 시험은 Remind가 지향해온 ‘보다 안전한 AI’를 객관적인 기준으로 점검한 과정”이라고 밝혔다.

이누씨는 기술적 신뢰성 검증과 함께 실제 상담 현장에서의 서비스 검증도 병행하고 있으며, 현재 서울대학교병원 소아청소년정신과 연구팀과 함께 장기 입원 환아를 대상으로 실증 진행 및 디지털 워크북 수행과 AI 기반 서비스 이용 과정에서 나타나는 사용성과 응용 가능성을 확인하고 있다.

향후 시험 및 실증 결과를 토대로 Remind의 AI 안전장치와 전문가 연계 기능을 지속적으로 고도화하고, 가정과 의료현장 사이에서 아동·청소년의 일상 데이터를 보다 안전하게 활용할 수 있는 디지털 멘탈케어 서비스로 확장한다는 계획이다.

 

피앤피뉴스 / 서광석 기자 gosiweek@gmail.com 

[ⓒ 피앤피뉴스. 무단전재-재배포 금지]