[기획-미래교육] AI챗봇이 쓴 논문, 표절검사기가 감지할 수 있을까

오픈AI가 지난달 출시한 최신형 챗봇 '챗GPT'가 온라인 운영을 시작했다. 챗GPT를 두고 대학생들의 논문 표절이 더 늘어나는 것이 아니냐는 문제가 제기됐다.

21일 교육매체 에드서지 보도에 따르면, 피츠버그대 2학년생 알렉스는 챗GPT가 공개된 지 약 일주일만에 이를 활용해 에세이 작성에 나섰다. 그는 챗봇을 통해 생성한 에세이 몇 종류를 체크한 후 하나하나 문제점을 살펴보았다. 먼저 글이 어색한 경우가 있었다. 구문을 반복하거나 부정확한 인용구를 포함하기도 했다.

알렉스는 손수 텍스트를 가필해 이 문제를 해결했다. 수차례 반복 끝에 알렉스는 챗봇이 제공하는 작문 종류를 다양화했고, 결국 성공적으로 논문 몇 편을 만들어냈다. 알렉스는 “챗봇을 활용하면 적어도 30% 이상 빨리 쓸 수 있었다”고 밝혔다. 결과적으로 알렉스는 자신과 봇이 합작한 에세이가 쉽게 표절검사를 통과했다고 말했다.

챗봇으로 완성한 에세이는 순식간에 뜨거운 감자가 됐다. 지난 몇 주 동안 미국 언론에서는 학생들이 어떻게 챗GPT를 활용해 에세이를 쓰고 있는지에 대한 기사가 쇄도했다. 애틀랜틱은 "대학 에세이는 죽었다"라는 적나라한 제목의 기사를 실었다.

챗GPT는 데이터를 수집한 근원인 인터넷처럼, 생산하는 글에 불확실성을 다수 포함하고 있다. 이는 챗봇을 통해 완성된 에세이가 정확하지 않은 진술을 포함하며, 때때로 일부 내용을 지어낸다는 것을 의미한다. 또한 챗봇은 인종 문제에 둔감하며, 여성 혐오적인 표현을 거르지 않는다.

하지만 알렉스의 이야기에서 알 수 있듯이 약간의 수정작업을 거치면 그러한 문제를 해결할 수 있다는 것을 보여준다. 이쯤 되면 우리 머릿속에도 한 가지 질문이 떠오르게 된다. ‘표절예방 도구가 챗봇으로 만들어낸 에세이를 탐지할 수 있을까?’

가장 널리 사용되는 표절예방도구 중 하나인 턴잇인(Turnitin) 제작자들은 AI로 만든 에세이를 색출할 것이라 확신한다. AI 부문 부사장 에릭 왕은 "현 세대 AI 시스템이 생성한 작품은 탐지 가능하다고 매우 확신한다"고 말했다.

표절은 진화하고 있지만, 이론적으로는 여전히 추적할 수 있다는 것이다. 왕 부사장은 “개성이 나타나는 인간의 글쓰기와 달리 AI의 글쓰기는 데이터 수집 단계에서 높은 확률을 보인 단어를 사용하도록 설계돼 생성되는 문장이 비슷하다”고 설명한다. 요컨대 AI의 글쓰기는 천편일률적이며, 인간적인 부분이 잘 나타나지 않는다는 것이다.

좀 더 직설적으로 말하자면, 챗봇이 쓴 에세이는 믿을 수 없을 정도로 예측 가능하다. 기계가 쓰는 단어들은 예상에서 크게 벗어나지 않으며, 내용 또한 그렇다. AI 창작물은 테스트가 가능한 ‘통계적 자료’도 남긴다. 턴잇인은 내년 중에 교육자들이 챗GPT와 같은 알고리즘 도구를 사용한 부정행위 적발을 도울 수 있으리라고 내다봤다.

최근 몇 년간 대학 에세이의 부정행위 논란은 커졌다. 미국 대학들은 코로나19 이후로 관련 부정행위가 두 배, 혹은 세 배가 됐다고 보고했다. 실제로 버지니아주 커먼웰스대학의 경우 2020~2021년 이전대비 약 3배 증가한 1,077건의 학사부정 사례를 보고했다.

심지어 이 수치조차 과소평과된 것이라는 주장도 있다. 학업 부정행위 전문 언론매체 더치트시트(The Cheat Sheet)의 데릭 뉴턴은 “학문적 청렴도 연구는 대부분 자기 보고에 의존하며, 다른 누군가의 부정행위를 증명하는 것은 어려운 일”이라며, “학계 사람들은 부정행위에 대한 자백을 꺼리는 경향이 있다”고 지적했다.

뉴턴은 “최근 들어 부정행위가 폭발적으로 증가한 것은 분명한 사실”이라고 말했다. 그는 “팬데믹 이후 대학들이 더 많은 학생을 가르칠 목적으로 온라인 프로그램 활용도를 높이고 있다”며 “학생들 사이에 인간적인 상호작용을 줄이고 익명성을 높이기에 부정행위를 하기 좋은 조건이 만들어졌다”고 설명했다.

그는 학생들이 단 한 번만 부정행위를 하는 경우는 드물다고 강조했다. 뉴턴에 따르면 주문형 답안을 제공하고 학생들이 시험 답안을 공유할 수 있는 장소를 제공하는 ‘숙제 도움말 사이트’ 사용도 늘어났다. “부정행위 증가는 인문학과 공학 양쪽 모두에서 학생들의 책임감과 학업 성취를 저해할 수 있다”고 우려했다.

알렉스는 AI챗봇 사용에 대해 AI와 사용자가 서로 배우고 또 활용하는 ‘공생적 관계’라고 말한다. AI챗봇은 사용자의 개성과 독창성을 배울 수 있으며, 반대로 사용자는 인터넷 검색 등 자료를 얻기 위한 시간을 단축할 수 있다. 그러면서 알렉스는 에세이 작성을 위해 챗GPT를 활용하는 방법이 이미 대학가 전체로 빠르게 퍼지고 있다고 추측하고 있다.

상황이 이렇게 되자 일부 대학 지도자들도 AI 위협에 대처하기 위해 교육 시스템 개혁에 나서는 모양새다. 실제로 이번 주 네브래스카 콘코디아대학의 버나드 불 총장은 트위터를 통해 "챗GPT가 학교와 교육자들에게 가하는 압박을 심각하게 받아들이고 있다"고 말했다.