"직접 작성한 답안에 대한 AI(인공지능)의 평가와 피드백이 당초 의도한 바를 정확히 짚고 있는 점에 놀랐습니다."
2일 오후 경기도교육청 남부청사에서 열린 ‘2025 디지털 전문 교원 아카데미 성과 나눔 발표회’에서는 도교육청이 지난 2023년 9월 도입한 AI 기반 교수·학습 과정 지원 플랫폼 ‘하이러닝’과 AI 기반 맞춤형 교원역량 강화 플랫폼 ‘하이코칭’ 및 시공간을 넘는 배움을 제공하는 ‘경기온라인학교’ 등 학생들에게 보다 정교한 ‘맞춤형 교육’을 제공하기 위해 ‘에듀테크(EduTech)’를 활용한 공교육의 현재와 미래를 엿볼 수 있었다.
총 500여 명의 교원 및 교육전문직원 등이 참석한 가운데 진행된 이날 발표회에서는 지난 4월부터 운영을 시작한 △경기온라인학교 △하이러닝 △디지털 시민교육 △AI 기반 서·논술형 평가 △하이코칭 등 5개 정책실행연구회의 중간 성과도 발표됐다.
다양한 교육정책을 소개하는 부스 중에서도 특히 참석자들의 관심이 집중된 분야는 ‘AI 기반 서·논술형 평가’ 분야였다.
디지털 시민교육과 경기온라인학교 등 이미 교육현장의 이해와 활용이 이뤄지고 있는 타 디지털 교육 정책과 달리, ‘AI 기반 서·논술형 평가시스템’은 교사들에게도 생소한 시스템이기 때문이었다.
학생들의 배움의 폭을 넓히며 교육본질을 회복하고, 나아가 보다 객관적이고 공정한 대학입시제도로의 개편을 위해 도교육청이 개발, 2022 개정 교육과정이 적용되는 현 중학교 1학년과 고등학교 1학년을 대상으로 이달부터 시범 운영에 나선 ‘AI 기반 서·논술형 평가’는 ‘하이러닝’ 플랫폼 내에서 활용할 수 있는 평가시스템이다.
학생들이 단순히 ‘정답 맞추기식’ 학습에서 벗어나 창의력과 자기주도성 및 사고력을 키워주는 교육을 통해 학생들의 계속적인 성장이 이뤄질 수 있는 기회를 제공하기 위한 해당 시스템은 2022 개정 교육과정 성취 기준 및 수준에 따라 공정하고 일관성 있는 채점을 통해 학생에게 맞춤형 피드백을 제공하는 등 평가 전 과정을 표준화해 지원하는 것을 목표로 하고 있다.
해당 부스를 찾은 교사와 교육전문직원 등은 해당 시스템의 운영 원리와 실제 적용이 가능한 항목은 무엇인지를 비롯해 얼마만큼 신뢰할 수 있는 평가가 진행되는지 등에 대한 질문을 쏟아내고 있었다.
특히 학생들이 직접 작성한 답안지를 디지털 파일로 변환한 뒤 이를 AI가 평가하는 과정에 대한 여러 의문 사항이 끊이지 않았다.
실제 참석자들은 악필인 학생들의 손 글씨 답안지를 AI가 얼마만큼 정교하게 디지털 문자로 변환할 수 있는지 여부는 물론, 교사가 생각하는 답안의 수준과 AI가 평가한 답안의 수준의 일치도 등에 많은 관심을 보였다.
이와 관련해 본 기자도 직접 체험에 참가해 ‘하이러닝 AI 서·논술형 평가시스템에 대한 이해’를 평가하는 문제를 바탕으로 해당 시스템을 검증해 봤다.
난이도 수준이 ‘중’이었던 해당 문제는 △이유와 근거의 타당성(5점 만점) △이유와 근거의 제시 갯수(3점 만점) △글의 완성도(2점 만점) 등 총 10점 만점으로 평가가 진행됐다.
‘하이러닝 AI 서·논술형 평가시스템의 특징’과 ‘해당 시스템을 학교에서 사용할 경우, 어떠한 점이 좋을지’를 중점적으로 제시해야 하는 해당 문제에 대한 답안을 작성한 본 기자는 그동안 도교육청이 강조해 온 핵심 키워드를 세세히 나열하며 해당 시스템의 장점을 서술하면서도 정작 주장에 대한 근거는 제시하지 않았다.
또 글의 서론과 본론 및 결론의 구분을 모호하게 작성하는 동시에 글씨도 최대한 알아보기 어렵도록 답안을 작성하며 손 글씨 답안을 디지털 문자로 변환하는 ‘OCR 엔진’의 수준과 답안의 부족한 부분을 얼마만큼 제대로 파악하고 정확한 피드백을 제공하는지를 시험했다.
그 결과, 악필인 손 글씨를 정확히 해독한 해당 시스템은 ‘이유와 근거의 타당성’ 항목에 대해 최저 점수인 2점으로, 다른 두 항목에 대해서는 각각 만점인 3점과 2점으로 평가했다.
채점 근거에 대해서는 ‘글의 시작에서 주장하는 바와 이유를 밝히고, 중간 부분에서 구체적인 효과를 설명하며, 마지막 부분에서 기대효과와 결론을 제시했으며, 각 주장의 근거들이 논리적으로 연결되고 타당성을 갖추고 있어 글의 완성도가 높다’고 평가하면서도 ‘글의 구조에서 서론과 본론 및 결론이 명확하게 구분되지 않으며, 제시된 각 근거들이 구체적인 객관적 자료를 기반으로 하기보다 일반적인 기대와 논리적 추론에 의존하고 있다’고 아쉬운 점을 지적했다.
더욱이 이 같은 AI의 평가와 피드백은 이를 확인하기 전 담당 직원이 먼저 평가한 내용과 상당 부분 일치해 과정을 지켜보던 이들을 놀라게 했다.
이러한 평가가 가능할 수 있었던 이유로는 정확한 채점의 근거가 제시됐다.
교사가 설계한 평가의 기준과 평가 요소(루브릭)을 바탕으로 AI가 채점하는 방식으로 평가가 진행되면서 출제자가 요구하는 답안의 의도와 수준이 명확하게 평가될 수 있었던 것이다.
이 같은 평가의 과정을 통해 해당 시스템은 객관성과 공정성을 모두 확보하는 것은 물론, 학생별로 부족한 점을 정확히 안내해 학생들이 스스로 자신의 부족한 점을 보완하고, 사고력도 높일 수 있을 것으로 기대됐다.
교사 역시 정확하고 객관적인 평가를 위한 역량 강화를 위해 노력하고, AI 활용으로 확보된 물리적 시간을 수업 준비 및 세심한 학생 지도·관리에 사용함으로서 보다 교육이 교육다워질 수 있는 기회의 제공도 가능할 것으로 전망됐다.
이 밖에도 △과천 갈현초 △성남 정자초 △평택 안일중 △과천중 △부천 심원고 △남양주 진건고 등 6개 학교가 참여한 가운데 운영된 ‘디지털 시민교육 정책실행연구회’에서 개발한 현장 실천 중심의 수업자료 등도 참석자들의 눈길을 끌었다.
한편, 이날 발표회에서 특강에 나선 임태희 교육감은 ‘콘텐츠 프로슈머로 성장하는 경기 교사 역량’을 주제로 디지털 시대 교원의 역할과 비전을 제시했다.
임 교육감은 "지금 교육현장이 직면한 가장 큰 과제는 우리가 어떤 아이들을 어떻게 교육할 것인가에 대한 깊은 고민"이라며 "아이들의 행복한 미래를 위해 교원들이 자긍심을 갖고, 그 고민과 역할을 해 나가야 한다"고 강조했다.
전체댓글 0