[분석-교육과 불평등 ⑧] 에듀테크로 인종 불평등 심해진다?

에드테크가 사회의 편견을 반영하기 때문에 학생들이 겪는 인종차별을 더 악화할 수 있다는 우려가 제기됐다.

챗GPT와 같은 AI 기반의 기술이 등장하며 많은 이의 이목을 끌었다. 미국 비영리 교육매체 헤칭거리포트는 AI와 기계학습에 의해 구동되는 기술을 교실에서 부주의하게 사용할 경우 인종적 불평등을 악화시킬 수 있다고 지적했다.

연구에 따르면 흑인과 히스패닉 학생들은 징계나 핚급 배치 등을 통해 매일 학교에서 불평등에 직면한다. 전문가들은 학급에서 AI 도구를 무분별하게 확장하면 흑인과 히스패닉 학생들을 향한 차별이 심해질 수 있다고 경고했다.

AI가 인종적으로 편향됐다는 지적은 이전에도 제기됐다. 얼굴 인식 기술의 경우 여성, 흑인, 노인 얼굴을 검사할 때 알고리즘 식별 기능이 떨어진다. 이는 부당한 체포나 치명적인 폭력으로 이어질 수 있다.

지난해 7월 존스홉킨스대학과 조지아공과대학 등 공동연구진은 AI 시스템을 학습한 안내 로봇이 인종차별 및 성차별 편견을 그대로 반영할 수 있다는 연구결과를 발표한 바 있다. 특별히 프로그래밍 된 로봇에게 사람 얼굴이 그려진 블록을 인식하게 한 뒤 범인을 고르게 하자 로봇들은 흑인 얼굴을 반복해서 골랐다. 주부라는 단어에는 여성 얼굴을, 경비원이라는 단어에는 유색인종 얼굴을 더 많이 골랐다.

이에 대해 콜로라도주립대학 잭 로저스 교수는 "오래된 소프트웨어에 새로운 소프트웨어를 구축했기 때문"이라며 "로봇의 뿌리에 결함이 있다면, 로봇이 더 많은 일, 즉 중립적으로 판단을 내려야 할 때는 큰 문제가 발생할 것"이라고 지적했다.

2020년 애플의 교육 지도자였던 니디 헤바는 아스펜 테크정책허브에서 교육 기술과 인종 편견을 공부했다. 헤바는 "기술 회사들은 교실에서 흑인 학생들의 경험을 실제로 이해하지 못하는 것 같았다"고 말했다. 에듀테크를 개발할 때 부유하고 주로 백인들이 사는 교외 지역에 있는 학교들과 제휴하거나 직원들의 교육 경험에 의존한다는 것이다.

헤바는 “학교 담당자들이 에듀테크를 제대로 검토하거나 기술 회사와 엄격한 대화를 나눌 시간이 없었고 코로나19로 에듀테크를 서둘러 채택한 것이 문제로 이어졌다”고 설명했다.

그는 학교에서 사용할 수 있는 개인화된 학습 소프트웨어 중 일부에서 인종적 편견을 보았다. 음성 비서 기술을 사용해 학생의 언어 이해 및 창작 능력을 측정하는 제품이 한 예다. 그는 “가정에서 사투리나 다른 언어를 사용하는 학생의 경우 계속해서 단계를 통과할 수 없다”고 말했다.

아스펜 테크정책허브에 따르면, 이와 같은 문제는 교육 기술 회사가 연구에 참여하기로 선택한 특정 학교에서 제공하는 데이터에만 의존할 때 흔히 발생한다. 기술 회사들은 종종 학생들의 사생활 문제 때문에 인종 관련 데이터를 수집하지 않으며, 소수민족 및 인종이나 소수 언어 배경을 가진 학생들에게 제품이 어떻게 작동하는지 살펴보는 경향이 없다는 것이다.

헤바가 주도한 에듀테크 에퀴티 프로젝트 연구진은 디지털 프로미스와 공동으로 인종평등을 위한 AI 교육 도구를 제작했다. 어린이의 자연스러운 억양과 사투리를 인식할 수 있도록 특별히 제작된 음성인식 기술을 개발해 다른 에듀테크 플랫폼에 서비스를 제공한다.

그는 에듀테크 회사들이 학생들을 다양하게 대표해야 한다고 지적했다. 특히 징계 결정에서 학교 관리자들을 돕기 위해 고안된 기술이 흑인 학생들에게 해를 끼치고 있다고 우려했다. 학 교 폭력과 잘못된 행동으로부터 보호하기 위해 얼굴 인식 기술을 사용함에 따라, 흑인이나 브라운 인종 학생들을 계속해서 더 많이 훈육 대상으로 선정할 수 있다는 것이다.

다만 비영리 단체인 디지털 프로미스의 학습 과학 연구팀 전무 이사인 제레미 로셸은 학교가 AI 사용을 금지해서는 안된다고 말한다. “교육자들이 에듀테크 회사에 이러한 문제들을 심각하게 받아들이고 편견을 해결할 계획이 있다는 것을 문서화하도록 요청해야 한다”고 지적했다.