당당한 말투 속 거짓…말의 신뢰를 잃어가는 챗봇
몇 년간의 AI 열풍으로 베타 서비스를 시작한 생성형 인공지능 Chat GPT가 전 세계적인 돌풍을 이끌고 있다. Chat GPT는 금융, 의학, 부동산 등 다양한 전문 분야에서 활용될 것으로 기대하고 있지만, 오류 등의 문제로 사용에 대한 우려가 나오고 있다.
최근 Chat GPT는 무료로 사용 가능한 GPT-3.5와 기능 상향으로 Chat GPT Plus를 통해 유료 사용이 가능한 GPT-4로 분류돼 있다. 무료 앱으로 이용자들은 Chat GPT에게 다양한 질문을 해보며 궁금증을 해결한다. 정보의 정확성이 중요하나 최근 금융, 주식, 부동산 등 신뢰가 중요한 분야에서 거짓된 정보를 답하면서 논란이 일고 있다. 국내 5대 은행을 설명해달라는 질문에 대형 은행을 빼놓거나, 은행 역사에 대한 질문에는 엉뚱한 답변을 내놓는 현상을 보이며 사용자의 신뢰를 잃어가는 상황이다. 질문자는 ‘Chat GPT의 답변이 단순한 오류가 아닌 거짓말을 하고 있는 것처럼 느꼈다’라고 답했다.
실제 Chat GPT에게 본교 위치 대한 질문을 해본 결과 “한남대학교는 충청북도 청주시 흥덕구에 있습니다”라는 엉뚱한 답변을 내놓았다. 생각보다 Chat GPT의 오답률은 빈번하며 간단한 질문에도 틀린 답을 제시하기에 학습용보다 자신의 정보를 확인하는 용도로 사용하는 것이 바람직하다.
지난 5월, 캐나다 토론토대 메디컬이미징센터 라제시 바야나 교수팀은 북미영상의학회 학술지 ‘영상의학’에서 GPT-3.5와 GPT-4에게 북미영상의학회 전문의 자격시험 문제를 응시하도록 했다. 문항은 이미지가 포함되지 않았으며, 지식 기본 이해를 묻는 저차원 사고 문제와 적용 분석.종합 능력을 묻는 고차원 사고 문제 150개로 진행됐다. GPT-3.5는 저차원 사고 문제 61문항 중 51문항과 고차원 사고 문제 89문항 중 53문항을 맞춰 정답률 69%를 기록했다. GPT-4는 전체 정답률 81%를 보이며, 캐나다 영상의학회 합격선인 70%를 넘는 성과를 보여줬다. 이를 통해 GPT-4가 이전 버전보다 좋은 성능을 가진 것을 알 수 있으나 연구팀은 저차원 사고 문항에서 두 개체의 정답률이 비슷하며, GPT-4는 이전 버전에서 맞춘 12문항을 오답하여 정보를 수집하는 신뢰성에 의문을 제기했다.
Chat GPT는 오답을 사용자에게 전달하는 상황에도 자신감 있는 언어를 사용하기에 인공지능(AI)이 알려주는 정보에 의존하면 안되는 것을 인식해야 한다.
아르빈드 나라야난 프린스터대학 교수는 “사람들은 학습에 Chat GPT를 사용하는 것에 흥분하고 있지만 답을 미리 알지 못한 상황에서는 틀린 답이 나오더라도 알 수 없는 것이 문제”라며 “몇 가지 기복적인 정보 보안에 대한 질문을 시도해보니 대부분의 경우 대답은 그럴듯하게 들렸지만 사실은 잘못된 것이었다”라고 전했다. 인공지능(AI)가 발달하며 삶의 질이 증가하고 있지만, AI가 답한 대답을 무조건 믿을 수 없는 상황이다. 조금 귀찮더라도 직접 찾거나 눈으로 본 공신력이 높은 정보를 사용하는 것이 안전해 보인다. / 유정수 기자