*These authors contributed equally to this work.

1. 서론 

학습분석학(Learning Analytics)은 미래의 교수와 학습의 혁신을 가져올 분야로 주목 받아오고 있다. 학습분석학은 학습자의 데이터를 분석하여 진단과 처방을 하고, 교육의 난제에 기능적으로 대응할 수 있는 강력한 도구가 될 수 있기 때문이다(Bakharia 외, 2016). 학습분석학이란, 데이터를 기반으로 학습과 학습 환경을 이해하고 최적화하기 위한 목적으로 학습자와 학습 환경에 대한 데이터를 측정하고 수집하며 분석하는 것을 말한다(Siemens, 2012). 학습분석학 연구는 학습 과정에서 발생한 데이터를 분석하거나 알고리즘의 성능을 개선하며(Klein 외, 2019) 개인에게는 맞춤화된 서비스를 제공하고 조직 수준에서는 교육과정 및 정책의 효과성을 측정할 수 있다. 이러한 장점을 바탕으로 학습분석학이 최근 더욱더 큰 주목을 받고 있음에도 불구하고(Baker, 2010; Holmes 외, 2019), 실제로 학습분석학을 어떻게 실행할 수 있는지에 관한 구체적인 안내는 부족한 실정이다. 학습분석학에 관한 대표적인 학술단체인 SOLAR(Society for Learning Analytics Research)에서 출판한 학습분석학 기본서(Handbook of Learning Analytics)에서도 학습분석의 실행 방법에 관한 내용은 찾아보기 어렵다. 이에, 쳅터에서는 학습분석학에 주로 활용되는 데이터와 사례를 바탕으로 학습분석의 실행과정과 방법을 단계별로 살펴보고자 한다. 구체적으로 해결하고자 하는 질문은 다음과 같다. 첫째, 학습분석의 실행 과정의 개요는 어떠한가? 둘째, 데이터 종류별 학습분석의 실행 방법은 무엇인가? 본 챕터는 학습분석학의 이론은 알고 있지만 학습분석을 실제로 실행해보지 않았거나, 실행을 해보고자 하는 독자를 대상으로 한다. 본 챕터는 학습분석학의 이론을 실천으로 옮기는데 도움이 되는 흥미로운 안내서가 될 것이다.

더 나아가, 최근 학습분석학 실천의 맥락에서 윤리와 책임의 영역에 관한 이슈가 많은 주목을 받고 있다. 학습자의 데이터 수집과 사용의 폭발적인 증가로 인해 윤리적 문제 및 개인 정보 보호에 대한 우려가 제기되기 시작했으며, 특히 형평성, 책임 및 공정성에 대한 질문이 강조되고 있기 때문이다 (Holstein & Doroudi, 2019; Prinsloo & Slade, 2018; Slade & Prinsloo, 2013). 학습분석은 놓치기 쉬운 개인 혹은 그룹의 취약성을 식별하는 잠재력을 가지고 있지만, 이러한 접근방식은 학습자를 관한 감시, 선입견 형성, 추적을 수반할 수 있다 (Mackenzie 외, 2014, Prinsloo & Slade, 2016). 또한 학습분석을 실행하는 교수자 및 학습자를 포함한 이해관계자들은 사전에 윤리적 문제를 예방하고 대처하기 위한 충분한 교육을 받지 않는 경향이 있다 (Buchanan, 2019). 따라서 학습분석학의 윤리적 복잡성의 영역을 이해할 때에는 학습자, 교수자, 디자이너, 기관을 포함한 여러 이해관계자의 목소리를 고려해야 하며, 다소 비판적인 관점을 취할 필요가 있다. 이에 따라 본 챕터의 ‘학습분석학에서의 윤리’ 섹션에서는 먼저 학습분석학 문헌에서 윤리가 어떻게 다루어지고 있는지 언급한다. 이어 ‘실제: 학습분석을 활용한 멘토링 맥락에서의 윤리와 책임’ 섹션에서는 멘토링 맥락의 학습분석 시스템을 예로 들어 더욱더 실천적인 관점에서 학습분석학의 윤리와 책임에 관해 다룬다.

2. 학습분석의 실행    

학습분석의 실행 과정은 통상적인 빅데이터를 분석 과정을 포함한다. 이에 따라 학습분석 실행 절차의 구조는 학습자의 데이터를 수집 및 가공, 분석, 시각화, 표현 및 응용의 단계(복경수, 유재수 2017)를 따른다고 말할 수 있다. 여기서 학습분석은 교육적인 처방까지 제공해야 하기 때문에 실행 절차를 ‘데이터 수집 및 가공’, ‘분석 및 시각화’, ‘처방 제시’로 요약할 수 있다. 이는 기존의 학자들이 학습분석 프로세스를 데이터 수집과 전처리, 분석과 실행, 후처리로 분류한 것과(Chatti 외, 2012) 학습자 데이터 수집, 매트릭스와 분석 및 시각화, 처방 제공으로 나타낸 것(Clow, 2012)을 모두 포함한다. 여기서 더 나아가, 누구나 학습분석을 실행할 수 있도록 안내하기 위해서는 환경 설정 및 목표 설정과 같은 미시적인 절차에 관한 세부 정보도 필요하다. 이에 본 챕터에는 학습분석을 위한 환경 설정과 학습분석 목표 설정 단계부터 실행 절차까지 살펴보고자 한다. 엄밀히 말하면 학습분석 실행 절차는 수집한 데이터의 형태에 따라 차이가 있기 때문에 주로 활용되는 데이터인 활동 로그데이터, 텍스트 데이터, 영상 데이터, 음성 데이터로 나누어 실행 절차와 그 예시를 함께 살펴보고자 한다.

2.2. 환경 설정 

잠시 밥을 먹는 장면을 상상해보자. 밥을 먹기 위해서는 밥을 먹을 공간과 밥을 먹기 위한 도구인 수저가 필요하다. 학습분석도 마찬가지로, 학습분석을 실행하기 위한 공간(colab)과 도구(python)가 필요하다. 이렇듯 본 챕터에서는 학습분석을 본격적으로 실행하기 전에 설정해야 할 환경에 관해 살펴보고자 한다.

먼저, 학습분석을 실행하기 위한 공간 설정이다. 데이터 분석 환경으로 주로 아나콘다(anaconda) 프레임워크를 설치할 수 있지만, 여기서는 초거대한 데이터를 다루지 않는 한, 접근성이 더 좋고 조작하기 더 편리한 Colab(google colaboratory)을 활용하고자 한다. Colab은 구글에서 제공하는 클라우드 기반 서비스이기 때문에 개인 PC에 따로 프로그램을 설치하는 작업 없이 바로 구글에 로그인하여 시작할 수 있다. 준비물은 구글계정과 인터넷에 연결되는 환경(웹브라우저)이다. 공간 설정을 위한 방법은 다음과 같다. 첫째, 이 링크(http://colab.research.google.com)로 접속한다. 이후에는 ‘Colaboratory에 오신 것을 환영합니다’라는 이름의 Colab 시작 페이지를 확인할 수 있다. 둘째, 이 시작 페이지에서 Colab의 개요를 확인하고 왼쪽의 ‘파일’을 누른 뒤 ‘새 노트’를 클릭한다. 이로써 쉽고 간단하게 학습분석을 실행할 수 있는 공간이 마련되었다.

다음으로, 학습분석을 위한 도구 설정이다. 데이터 분석을 위한 도구가 되는 프로그래밍 언어로는 Python C, C++ 등 여러가지가 있지만 다음과 같은 이유로 Python 선택하고자 한다. 첫째, Python 은 비전공자도 쉽게 배울 수 있는 프로그래밍 언어이다. Python은 다른 언어에 비해 문법이 간단하기 때문에 꾸준하고 반복적인 연습을 한다면 누구나 활용할 수 있다. 둘째, 비교적 더 많은 사람이 사용하고 있어서 더욱더 다양한 분야에 활용할 수 있다. 또한, 인공지능 기술 뿐만 아니라 통계분석 및 웹 서버 등에도 쓰일 수 있다. 셋째, Window, MAC, Linux 등 다양한 운영체제에서 같은 방식으로 사용이 가능하다. Python을 사용하기 위해서는 앞서 접속한 Colab에 원하는 명령어를 입력하면 된다. Python의 기본 문법과 라이브러리를 활용하는 능력은 아래의 링크에서 반복적인 연습을 통해 쉽게 기를 수 있다. 이상으로 학습분석을 실행하기 위한 기본적인 공간과 도구에 관한 설정을 마쳤다.

*Python 기본 문법과 라이브러리 활용 연습 링크 : https://www.hackerrank.com/domains/python

2.3. 데이터별 학습분석 실행 절차  

2.3.1. 로그데이터 

학습분석학에서 학습자에 관한 예측을 위해 주로 학습자의 활동 로그데이터가 활용된다. 이를 위한 예측 분석(predictive Analytics)은 주로 학습자의 학업 성과를 예측하거나 중도 탈락 및 학습의 파지를 예측할 때 활용된다(안미리 외, 2015). 학습분석학에서 예측 분석이란, 현재 또는 과거의 학습자 데이터를 토대로 미래의 학습을 예측하는 분석 방법을 말한다. 즉, 예측 분석은 기존 데이터를 바탕으로 새로운 데이터를 예측하거나 분류하는 것이 목적이다. 이 방법은 기존의 교육학 연구에서 학습 현상을 설명(explanatory)하기 위해 활용한 통계분석과는 다소 상이하다(Brooks&Thompson, 2017). 전통적인 교육학의 양적 연구는 모집단을 대표할 수 있는 샘플을 추출하고 통계를 활용하여 학습에 영향을 미치는 요인 등의 상관 관계를 분석한다. 다시 말해, 이미 일어난 현상에 관한 사후의 활동이자 성찰적 활동으로서 연구를 수행한다. 그러나 예측 분석은 수집한 데이터가 표본이 아닌 모집단 그 자체이며, 이를 바탕으로 미래를 새롭게 예측하고자 실행된다.

예측 분석의 기본적인 절차의 개요를 살펴보면 다음과 같다. 첫째, 문제 발견 및 목표 설정 단계이다. 이 과정에서 분석의 목적을 설정한다. 예를 들면, ‘A 학생이 이 학위 과정을 수료할 것인가?’라고 문제를 설정할 수 있다. 이 때 문제에 따른 목표는 정량화 할 수 있어야 하고 기대되는 결과가 명확해야 한다. 둘째, 데이터 수집 단계이다. 예측 분석에 활용되는 데이터는 모의고사 성적과 같이 시간차를 두고 발생하는 데이터(time-based data)와 성별, 인종 등의 인구통계학적, 관계적, 심리적 특징을 나타내는 데이터(state-based data), LMS나 모바일 학습 도구 등에 남는 학생 활동 데이터(event-based data)로 분류할 수 있다. 셋째, 데이터 가공 단계이다. 데이터를 다듬기 전에 먼저 탐색적 데이터 분석(exploratory data analytics) 를 통해 데이터의 개요와 특징을 살펴본다. 이후, 데이터를 전처리하고 결과 변수와 관계가 있는 특징(feature)을 선택하거나 새로 추가한다. 이 과정을 피처 엔지니어링(feature engineering)이라고 부른다. 예를 들면 학습자의 기말고사 성적 예측을 목적으로 할 때, 결측치는 제거하고 기말고사 성적과 관계가 높다고 여겨질 수 있는 중간고사 성적이라는 새로운 특징을 새로운 열(column)로 추가하는 것이다. 넷째, 모델링 단계이다. 사전에 수집한 데이터의 형태가 명목형(nominal data)인지, 순서형(ordinal data)인지, 구간형(interval data)인지, 비율형(ratio data)인지에 따라 분류 또는 회귀를 위한 알고리즘을 선택하여 모델을 구축할 수 있다. 명목형, 순서형 데이터일 경우 분류(classification) 알고리즘을 선택하고 구간형, 비율형 데이터일 경우 회귀(regression) 알고리즘을 선택할 수 있다. 마지막으로 예측 분석을 위한 머신러닝 또는 딥러닝 알고리즘을 활용한 뒤 예측 결과를 평가하는 단계이다. 현재로서는 예측의 성능을 높이기 위해 약한 학습기를 여러 개 연결하여 강한 학습기를 만드는 앙상블 기법을 활용한  LGBM(light gradient boosting machine), XGBoost(extreme gradient boosting), Catboost(categorical boosting)의 알고리즘이 잘 활용되고 있다. 예측 결과는 ‘과거의 패턴이 미래에도 존재할 것이다’를 전제로 도출된 것이라는 것을 감안하여, 이 결과가 교육적으로 어떤 의미가 있는지를 이론과 연결하여 해석하는 것이 중요하다. 이러한 과정의 구조는 [그림 1]을 통해 확인할 수 있다.

[그림 1] 예측 분석의 기본 절차

예측 분석은 특히 학습분석 대시보드에 활발히 적용된다. [그림 2]과 같은 Blackboard Predict는 학습 위험을 미리 진단하기 위한 목적으로 예측 분석을 활용하여 위험군에 속한 학습자를 관리하고 있다. Susnjak 외(2022)의 대시보드에도 학습자를 예측하는 분석 기능이 포함되어있다. Panel 1은 학습자 참여 수준을 주간 로그인 횟수, 학습 자원의 수, 포럼 게시물 수로 보여주며 Panel 2는 학습 성과 정보를 나타낸다. 또한  학습자의 과제 성적과 테스트 정보, 전체 수업 분포에 따른 학습자의 성적 등을 확인할 수 있다. 이와 더불어, 학습자가 추후 유사한 특성을 가진 과제를 받으면 다음 과제와 최종 시험에서 몇 점을 받을 수 있는지 예측 값을 알 수 있다. Panel 3은 본격적인 예측이 이루어지는 부분으로 학습 결과 달성을 위한 위험 요소와 전반적인 예측 결과를 나타낸다. 더불어 학습자가 목표에 도달하기 위해 어떤 작업을 해야하는지 제안할 수도 있다.

[그림 2] Blackboard Predict            출처:  https://www.blackboard.com/

2.3.2. 텍스트 데이터 

교육 현장에서 학습자와 교수자는 매순간 텍스트 데이터를 생성한다. 여기서 텍스트 데이터란, 한글과 영문처럼 일상적으로 사용하는 언어 형태의 데이터를 의미한다. 예를 들면, 교육 현장에서 학습자가 동료와 주고 받는 담화, 학습자가 기재한 서술형 답안의 내용, 학습자가 필기한 학습 내용, 교수자와 학습자의 상호작용, 교수자가 작성한 학습자 기록 등 매우 다양하다. 이러한 텍스트 데이터를 인공지능 기술로 처리 및 분석하는 분야를 자연어처리(natural language processing)라고 한다. 자연어처리는 언어의 의미와 문법 구조를 파악하고 기계가 이해할 수 있는 표현으로 변환하고 새로운 텍스트를 생성하는 기술을 말한다(정현지, 장광선, 2021). 일상에서 쉽게 접할 수 있는 AI 스피커, 챗봇, 번역기 서비스 등이 바로 자연어처리가 활용된 도구이다. 이러한 자연어처리의 네 가지 주요 기능으로는 텍스트 분류(text classification), 기계 번역(machine translation), 요약(summarization), 질의응답(question answering)이 있다.

자연어처리의 기본적인 수행 절차를 일반적인 머신러닝 과정에 따라 살펴보면 다음과 같다. 첫째, 목표를 설정한다. 예를 들면, 학생이 제출한 글쓰기의 각 문장을 주장하는 문장, 뒷받침하는 문장 등으로 분류하는 것을 목표로 세울 수 있다. 둘째, 데이터를 수집한다. 이 때 자연어 데이터는 코퍼스(corpus), 말뭉치라고 부른다. 셋째, 데이터를 가공한다. 앞서 살펴보았듯이 먼저 탐색적 데이터 분석(exploratory data analytics) 를 통해 데이터를 살펴본다. 다시 말해, 수집한 데이터의 결측치는 없는지, 데이터 간 관계는 어떠한지 탐색한다. 이후, 데이터를 전처리한다. 이는 데이터를 목적에 적합하도록 정리하는 작업을 말하며 구체적으로 텍스트의 불용어 제거, 어간 추출, 품사 표식, 토큰화 등을 실행하는 단계이다. 넷째, 모델링 및 훈련을 실시한다. 앞선 과정을 통해 잘 정돈한 데이터를 컴퓨터가 목표를 달성하기 위한 훈련을 하는데 적절한 머신러닝 또는 딥러닝 알고리즘을 선택한다. 마지막으로는 평가 단계이다. 이상의 과정을 통해 원하는 결과를 도출하였는지 평가하고 이를 통한 피드백을 바탕으로 수집 단계 등으로 다시 돌아갈 수 있다. 이러한 절차는 [그림 3]으로 한 눈에 확인할 수 있다.

[그림 3] 자연어처리 절차

교육 분야의 자연어처리의 활용 사례는 그 목적에 따라 분류할 수 있다(진성희, 2019). 대표적인 목적은 서술형 평가를 자동화하는 것이다. 해외 사례로는 Baxpax 서비스가 있다. Baxpax는 [그림 4]와 같이 학습자의 선다형, 단문의 서답형 답안을 채점한 뒤 분석 결과를 교수자에게 제공하는 플랫폼이다. 학습자가 이 플랫폼에 답을 제출하면 플랫폼의 기능이 학습자의 답안과 교수자가 미리 등록한 답안을 비교하여 자동적으로 채점을 한다. 또한, 자연어처리는 교수적 대화(instructional communication)를 목적으로 활용된다. 교수적 대화란 학습 내용과 관련있는 교수자와 학습자간의 대화를 의미한다(Kang & Im, 2013). 챗봇과 같이 자동화된 질의응답 시스템을 활용하는 것도 포함된다. 챗봇을 활용하여 교수·학습을 지원하는 사례로는 듀오링고, 봇아미, 공독 등 다양한 사례가 있는데 (금선영 외, 2020) 그 중 무료 외국어 학습 플랫폼 듀오링고의 챗봇 서비스를 살펴보면 [그림 5]와 같다. 학습자는 다양한 학습 환경(출입국 심사대, 옷 가게, 레스토랑 등)별로 챗봇과 대화를 진행해 나간다. 듀오링고의 챗봇은 학습자의 답변에 따라 수 천개의 문장 중 하나를 선택하여 대답하도록 작동한다. 이 외에도 학습자의 텍스트 데이터는 자연어처리를 활용하여 글의 감성 분석, 글의 종류 분류  등 다양한 목적으로 활용되고 있다.

         [ 그림 4]  Bakpax 서비스 개요^[1]                  [ 그림 5] Duolingo 챗봇 서비스 예시 화면 ^[2]         

2.3.3. 영상 데이터

영상은 물체의 상(像)이 비추어지는 것으로, 카메라와 같이 영상 입출력 매체로 받은 이미지나 동영상을 뜻한다. 교육 환경에서는 학습자의 출석부 사진, 학습자의 움직임, 교수자의 표정 등이 영상 데이터가 될 수 있다. 이러한 영상 데이터를 처리하고 분석하는 분야는 컴퓨터 비전(computer vision)이며 이 분야에도 인공지능 기술이 활발히 활용되고 있다. 이 분야를 쉽게 말하면, 사람이 눈으로 사물을 인지하는 것처럼 컴퓨터도 눈을 가지고 대상을 인식할 수 있도록 하는 것이다. 컴퓨터 비전이 실행할 수 있는 작업은 대표적으로 이미지 인식(image recognition), 객체 분류(object classification), 객체 검출(object detection), 이미지 생성(image generation) 등이 있다. 실생활의 예로는, 인간이 운전을 하면서 눈으로 다양한 이미지를 인식하고 물체를 피하는 것처럼, 자율 주행차가 컴퓨터 비전을 통해 객체를 감지하게 하는 것이 있다.

컴퓨터 비전의 기본적인 수행 절차는 객체 분류, 이미지 인식 등 그 목적에 따라 조금씩 다른데, 공통적으로 활용되는 일련의 파이프라인을 살펴보면 다음과 같다. 첫째, 목표를 설정한다. 예를 들면, 학습자의 얼굴 표정을 통해 감정을 분류하는 모델을 만드는 목표를 세울 수 있다. 둘째, 목표를 달성하기 위해 필요한 영상 데이터를 획득한다. 즉, 카메라, 센서와 같은 하드웨어를 활용하여 이미지 또는 비디오 데이터를 수집한다. 이 때, 추후 머신러닝 또는 딥러닝 알고리즘의 성능을 보장하기 위해 충분한 양의 데이터를 수집하는 것이 필요하다. 즉, 학습자의 얼굴 표정을 감정에 따라 분류하기 위해서는 수많은 학습자의 감정별 얼굴 이미지 데이터가 필요할 것이다. 셋째, 수집한 데이터를 전처리하고 특징을 추출한다. 영상 데이터를 정규화하거나 영상의 색깔을 바꾸는 것을 예로 들 수 있다. 넷째, 추출한 정보를 기반으로 예측 및 분류 등의 목적을 수행하기 위한 모델을 훈련시킨다. 마지막으로 평가를 진행하며 모델의 성능을 높이기 위한 작업을 지속한다. 이러한 절차를 정리하면 [그림 6]과 같다.

[그림 6] 컴퓨터 비전 절차

교육 분야에서 컴퓨터 비전을 활용한 사례는 다음과 같다. 첫째, 출석 확인을 시도하고자 진행된 연구이다. 학습자의 출석은 어떤 교육 분야이든 필수적인 부분이다. 기존까지는 일부 자동화된 생체 인식 기반 출석 모니터링이 제안되기는 하였으나 [그림 7]과 같이 학습자의 얼굴을 자동적으로 인식하는 스마트 출석 모니터링 시스템의 도입 시도가 지속하여 진행되고 있다. 둘째, 포즈(pose)를 분석하는 경우이다. 2021년 한국의 관악문화재단 싱글벙글 교육센터는 ‘AI와 함께하는 별별 무브’ 프로그램을 통해 아동과 청소년이 융복합 예술 체험으로 창의력과 디지털 리터러시를 함양할 수 있는 기회를 제공하였다. 본 프로그램은 [그림 8]과 같이 학습자가 무용수의 동작을 인식하고, 동작 이후에 이어질 만한 동작을 새롭게 생성하여 제공한다.

[그림 7]  스마트 출석 모니터링 시스템 예시^[3]                [그림 8] AI와 함께하는 별별 무브^[4] 

2.3.4. 음성 데이터 

교육 현장에서는 학습자간 학습자, 학습자와 교수자 사이의 다양한 음성 데이터가 지속적으로 발생한다. 이러한 음성 데이터를 처리하는데 인공지능을 활용하는 유형으로는 음성의 내용을 해석하고 문자 데이터로 전환하는 음성 인식(speech recognition, speech-to-text), 사람의 목소리를 만드는 음성 합성(speech synthesis), 화자 식별(speaker identification) 등이 있다. 인공지능 기술을 활용한 음성 데이터 기반 서비스는 대표적으로 클로바 AI 서비스와 아이폰의 Siri 등이 있으며 주변에서 매우 쉽게 접할 수 있다. 또한, 최근에는 사람의 음성이 아닌 자연물, 차 소리와 같은 소리 정보도 컴퓨터가 의미 있는 정보로 인식하게 하는 인공청각지능(machine listening)까지 개발되고 있다.

음성 데이터 분석 및 처리 절차도 마찬가지로, 그 목적에 따라 방법이 상이하기 때문에 대표적으로 음성 인식의 절차를 간단히 살펴보면 다음과 같다. 첫째, 구체적인 음성 인식 목표를 설정하고 둘째, 필요한 음성 데이터를 충분히 수집한다. 셋째, 음성 노이즈를 제거한다. 음성 데이터를 디지털 신호로 바꾸면 시간에 따라 크기가 있는 시간 도메인을 확인할 수 있는데 이것을 주파수 도메인으로 바꾸면 음성의 세기에 따라 주파수를 분석할 수 있다. 다음으로, 노이즈를 제거하여 전처리를 마친 음성 데이터는 텍스트로 변환한 이후, 텍스트 데이터를 토크나이저를 활용하여 토큰화한다. 만약 음성 인식의 목표가 음성을 텍스트화하는 것이라면 실행 과정은 여기에서 마무리 될 수 있다. 하지만 만약 음성 데이터를 활용하여 화자를 식별하는 것이 목표라면, 이후에 분류를 위한 모델을 선정하여 훈련시키고 평가 및 개선하는 과정이 필요하다. 이러한 과정은 아래의 [그림 9]으로 확인할 수 있다.

[그림 9] 음성 인식 절차

교육 분야의 음성 데이터 활용 사례는 학습자와 교수자 측면을 나누어 살펴볼 수 있다. 먼저 학습자 측면에서 살펴보면, 학습자가 영어 학습을 위해 AI 튜터와 실시간으로 대화하며 실력을 향상할 수 있도록 지원하는 사례가 많다. SPEAK NOW, STUDYMAX 등 여러 사례 중 SPEAK NOW는 [그림 10]와 같이 학습자가 AI 튜터를 상시 사용할 수 있다. AI 스피킹 시스템에는 프리토킹, 게임 모드, 튜토리얼 등 다양한 상황과 미션이 구축되어 있다. 이와 더불어 학습자의 학습 상황과 발음, 표현력을 분석하여 강점과 약점에 관한 피드백을 AI 리포트로 제공한다. 교수자 측면에서는 학습자의 음성이 아닌  교수자의 음성을 활용하여 교수·학습개발을 지원하고자 실행된 연구도 있다. Schlotterbeck 외(2021)는 교수자의 음성 데이터를 활용하여 교수·학습유형을 강의형(presenting), 안내형(guiding), 관리(administration)으로 구분하여 교수자의 교수·학습방법을 성찰하도록 하였다. 구체적으로, 연구자들은 먼저 스마트폰의 마이크로 교사의 수업을 녹음하였다. 이후 녹음 데이터를 지도학습 기반 알고리즘을 활용하여 세 가지의 교수·학습유형을 자동 분류하였고 이 결과를 교사에게 제공하였다. 추후 자신의 교수·학습유형 분류 및 분석 결과를 제공한 집단(T)과 제공하지 않은 집단(C)의 시간 관리 차이는 [그림 11]와 같이 나타났다. 먼저 교수·학습유형 분석 결과를 제공한 집단(T)의 경우 제공하지 않은 집단(C)보다 상대적으로 덜 지시적이며 학습자 중심적인 안내형 교수·학습방법을 사용하는데 더 많은 시간을 할애하였다. 관리를 위한 시간도 더 짧게 사용하였다. 또한 결과를 제공한 집단(T)의 경우, 그렇지 않은 집단(C)에 비해 안내형 교수·학습방법에 사용하는 시간의 집중경향치(평균, 중앙치, 최빈치 등)가 상대적으로 더 높다는 것을 알 수 있다.

   [그림 10] SPEAK NOW 실행 예시 화면^[5]        [그림 11] 교수자 음성 데이터 활용 연구 예시^[6] 

3. 학습분석학의 윤리  

학습분석의 도입으로 인해 수반되는 감시나 윤리적 문제를 다루기 위해 개념적 작업은 물론 원리, 기준 및 체크리스트의 도입 등의 다양한 노력이 이루어졌다 (Drachsler & Greller, 2016; Ferguson 외, 2016; Pardo & Siemens, 2014; Sclater, 2016; Slade & Prinsloo, 2013; Swenson, 2014; Tsai 외, 2019; West 외, 2016; Willis, 2014). 그러나 여전히 학습분석 분야에서는 학생 데이터의 개인 정보 보호와 동의 (Slade & Prinsloo, 2013), 또는 데이터 수집 및 처리에 관한 학생의 인식과 기관의 문제를 탐구하는 경험적 문헌이 부족하다 (Ifenthaler & Schumacher, 2016; Kruse & Pongsajapan, 2012). 따라서, 다양한 참여자들이 경험하는 학습분석 시스템 내외에서 발생하는 윤리적 복잡성을 탐구하는 더 많은 연구가 필요하다.

Prinsloo와 Slade (2015, 2016, 2018)는 교육기관이 학습분석을 활용하는 것을 포함하여 효율적이고 적절한 학습 경험을 제공할 의무가 있다고 주장한다. 그러나 학생들로부터 수집한 데이터가 오용되거나 남용될 수 있는 현저한 위험성은 학생 취약성을 증가시키는 원인이 됨을 지적한다 (Prinsloo & Slade, 2015). Prinsloo와 Slade (2015, 2016)는 학습자의 취약성을 줄이고, 행위주체성을 증가시키며, 학습분석의 참여자로서 정량화된 데이터 개체가 아닌 자격을 갖추고 가치가 있는 주체로서 행동하는 학습자를 위한 프레임워크를 제시한다.

신뢰는 멘토링과 같은 교육적 관계에서 중심적인 구성 요소이지만, 신뢰 구축의 중요성은 최근까지도 학습분석 분야에서 거의 관심을 받지 못했다. Tsai와 동료들 (2021)은 고등 교육 기관의 교수자와 학습자들로부터 데이터에 대한 불신과 신뢰를 방해하는 요인을 조사하여 신뢰를 유지할 수 있는 방법을 제안한다. 그들은 (a) 통계의 주관성에 기인하는 불신, (b) 불균형한 권력 관계에서의 권위(authority) 감소에 대한 두려움, (c) 학습분석 설계 및 실행 접근법을 관찰했다.

Pargman과 McGrath (2021)는 학습분석 윤리가 상대적으로 과소 대표되어 왔다고 언급하며, 책임 있는 LA가 학생들의 데이터를 수집, 분석 및 보고하기 위한 법적, 윤리적, 효과적인 프로세스 측면에서 정의되어야 한다고 주장한다. 학습분석 문헌에서 윤리적 문제에 대한 경험적 연구의 대부분은 학습자의 관점보다는 기관의 관점을 대표하고 있으며, 주로 고등 교육 맥락에서 쓰여졌고, 일부 국가 맥락에 집중되어 있다(Pargman & McGrath, 2021). 지금까지의 논의는 주로 이론적이고 추상적이어서 실제 참여자의 목소리를 반영하는 데에는 한계가 있다 (Arnold & Sclater, 2017; Kitto & Knight, 2019). Kitto와 Knight (2019)는 학습분석 시스템을 개발하는 실무자를 돕기 위해 덕 윤리를 활용하는 "실용적인 윤리" 개념화를 제공하며 학습분석 윤리에 대한 실제적인 관점에 더 많은 관심을 기울여야 한다고 주장한다.

Lee와 Gargroetzi (2023)는 현장의 목소리를 직접 담아야 할 필요성을 주장하며 윤리의 실무를 다루는 책임 있는 학습분석학(Responsible Learning Analytics)의 윤리적 개념화에 기여한다. 이 연구는 해석현상학적 분석을 통해 사람들이 특정 행동에 대해 어떻게 추론하고 그들의 관점이 다양하게 존재하는 윤리적 관점과 어떻게 일치하거나 모순되는지에 대한 통찰을 제공한다. 이 연구는 기존의 개념적인 관점의 한계를 보완하며 앞으로의 연구가 탐구해야 하는 문제와 나아가야 할 방향성을 제시한다.

3.1. 실제: 학습분석을 활용한 멘토링 맥락에서의 윤리와 책임

학습분석의 위험성과 부작용에 대한 이론적 논의나 AI와 같은 테크놀로지를 사용하는 것에 대한 윤리적 논의는 상당한 시간 동안 존재해 왔으나(see D'Ignazio & Klein, 2020; Noble, 2018; O'Neil, 2016), 현장에서 발생하는 윤리적 문제에 대한 대응과 우려를 다루는 연구는 거의 없다 (Tsai 외, 2021). 따라서 Lee와 Gargroetzi (2023)는 6주간의 온라인 멘토링 프로그램 맥락에서의 권력 관계, 의무, 그리고 당사자와 개인의 행위주체성을 둘러싼 역학과 복잡성을 탐구한다.

Lee와 Gargroetzi (2023)는 지금까지 학습분석 분야에서의 책임과 윤리에 대한 대화에 목소리가 포함되지 않았던 교수자와 학습자 두 입장을 모두 견지하는 학부생 멘토의 관점을 도입하여 책임 있는 학습분석 (Responsible Learning Analytics)의 기초를 다지는 데 기여한다. 연구의 목적은 온라인 멘토링 맥락에서 학습분석에 대한 멘토들의 인식과 학습분석 관행에 따라 그들이 경험하게 되는 윤리적 긴장감을 조사하는 것이었다. 교육 및 상호 작용 맥락으로서의 멘토링은 학습분석 분야에서 최소한으로 탐구되었지만 멘토-멘티 관계의 고유한 맥락과 해당 맥락에서 발생하는 기대를 기반으로, 종종 발생하는 학습 표준이나 전통적인 평가 맥락의 제약 없이 중요한 교육적인 통찰력을 제공할 수 있는 잠재력이 있다. Lee와 Gargroetzi (2023)의 연구에서 멘토들은 온라인으로 진행된 멘토링 세션과 멘토링 디지털 플랫폼에서 수집된 멘티 활동을 비롯한 학습자 데이터가 포함된 학습분석 보고서를 활용하여 중학생들을 멘토링했다. 이 맥락에서 멘토들의 관점은 책임 있는 학습분석를 구축하기 위한 개념적인 매핑에 새로운 통찰을 제공한다. 위 연구의 목적은 공정성, 형평성, 책임에 대한 학습분석 분야의 연구에 학습분석 시스템의 경험자인 학부생 멘토의 목소리를 반영하는 것이다. 이 경험적 연구는 데이터 윤리에 대한 자기 인식과 개인 정보 보호에 대한 이해, 신뢰와 위험성에 대한 인식, 행위 주체성, 맥락 및 문화와 같은 현상 사이의 연관성에서 비롯되는 학습분석 실무의 복잡성과 역학을 보여준다.

Lee와 Gargroetzi(2023)의 연구는 LA의 어포던스, 한계, 범위, 경계에 대한 멘토들의 인식을 탐색하고 멘토들의 윤리적 긴장과 역설적 요구를 다루었다. 개념적으로 Slade와 Prinsloo(2013)가 논한 책임 있는 LA에 대한 기존 프레임워크, Hacking(1982, 1986) 의 동적 명목주의, Levinas(1989)의 책임 윤리는 위 연구에 윤리적 추론과 역설 및 그 의미를 매핑하는 유용한 휴리스틱을 제공한다. Lee와 Gargroetzi는 멘토 목소리를 위 프레임워크들과 결합하며 보고서의 존재 자체가 멘토-멘티 관계 및 그 너머의 관계성에 윤리적 긴장과 딜레마를 제기했음을 밝힌다. 또한, LA 보고서를 통한 새로운 범주와 레이블의 형성은 멘토들에게 멘티를 개념화하는 새로운 방법을 가져왔다. 위 연구는 윤리적이고 책임 있는 학습분석이 되기 위해 기존의 논의에 새로운 차원의 논의를 더하며 행위주체성, 투명성, 그리고 선택에 대한 가능성을 고려하는 것의 중요성을 시사한다.

Lee와 Gargroetzi(2023)는 멘토들의 성찰을 현존하는 문헌과 결합하여 실천으로서 학습분석학에 실질적으로 기여할 수 있는 책임 있는 학습분석 시스템을 설계할 때 고려해야 할 사항을 제안한다. 이는 멘토링 맥락에서 뿐만 아니라 다른 교육 환경 및 시스템에서 활용될 수 있는 통찰을 제공한다. 그림 #에 제안된 책임있는 학습분석 설계 고려사항은 멘토링 학습분석 시스템을 구성하는 세 당사자인 교사(멘토), 학생(멘티), 기관 간의 상호 작용을 중심으로 책임있는 학습분석 시스템을 구성하는 요소에 대한 멘토의 견해를 종합한 결과이다. 학습분석의 책임, 형평성 및 공정성에 대한 멘토의 관점과 각 구성요소가 책임감 있는 참여자 역할을 수행하는 것이 무엇을 의미하는지에 대한 의견은 책임 있는 학습분석 시스템을 구축하기 위한 중요한 통찰력과 설계 권장사항을 제공한다.

[그림 12] Design Recommendations for Responsible Learning Analytics System

(출처: Lee & Gargroetzi, 2023, p. 10)

위 연구는 신뢰와 위험성, 행위주체성 및 맥락에 대한 인식에 초점을 두고 멘토와 멘티의 데이터, 개인 정보 보호 및 윤리적 인식을 고려하는 책임 있는 학습분석에 대한 사회적으로 중요한 렌즈를 제공한다. 주목할 만한 것은 동일한 맥락에서 일하는 소수의 멘토 그룹 사이에 그러한 차이가 존재했다는 것이며, 이는 더 큰 표본이나 문화적 맥락에서 훨씬 더 큰 차이를 시사한다. 따라서 앞으로 학습자의 데이터 수집과 사용의 폭발적인 증가에 발맞추어 윤리적 문제 및 개인 정보 보호에 대한 우려, 공정성 및 형평성을 지속적으로 연구하며 책임 있는 학습분석을 만들어나가야 할 것이다.

4. 결론 

본 챕터는 학습분석의 전반적인 실행 과정과 윤리적 책임을 안내하고자 하였다. 이를 위해 먼저, 학습분석의 실행을 시작하기 위한 기본적인 환경설정부터 실행 절차와 실제 활용 사례까지 소개하였다. 특히 실행 절차의 경우, 교육현장에서 발생하는 각 데이터를 크게 로그데이터, 텍스트 데이터, 영상 데이터, 음성 데이터로 나누고, 각 데이터를 주로 다루는 인공지능 기술의 실행 방법의 개요를 설명하였다. 본 챕터에서 다룬 내용을 바탕으로 논의 및 결론을 제시하면 다음과 같다.

첫째, 학습분석의 실행 과정의 개요는 크게 ‘환경 설정, 목표 설정, 데이터 수집, 데이터 가공, 모델링, 평가’의 과정으로 정리할 수 있다. 물론, 이는 학습분석 실행 기술의 관점에서 일련화한 과정이기 때문에 분석에 목표에 따른 ‘처방 제시’ 과정이 추가로 필요하다. 학습분석은 교육적 데이터 마이닝(educational data mining)처럼 학습자의 데이터에서 새로운 패턴을 찾아 알고리즘을 개발하는 것에서 더 나아가, 교육적 처방까지 설계할 때 그 본질적인 목적을 달성할 수 있기 때문이다(조일현 외, 2019). 이러한 처방은 각각의 학습 환경과 맥락, 그리고 학습 행동과 목표에 따라 달리 제공될 수 있기 때문에 본 챕터에는 본 과정을 일반화하여 제시하지 않았지만, 우리는 학습분석의 주된 관심이 고도화된 기술 자체보다는 교육 현장의 실제적인 변화를 만드는 것에 있다고 주장하며 처방을 설계하는 과정 또한 중요하다는 것을 강조한다.

둘째, 데이터 종류별 학습분석의 실행 방법은 일반 로그데이터의 경우 주로 예측 분석을 위한 알고리즘을, 텍스트 데이터는 자연어처리, 영상 데이터의 경우 컴퓨터 비전, 음성 데이터는 음성처리를 위한 과정으로 분류하여 살펴볼 수 있다. 더불어, 본 챕터에서 다룬 내용 외에도 다양한 형태의 학습자 데이터와 기술이 있다. 예를 들면, 학습자의 영상 데이터 및 텍스트 데이터를 함께 다루는 멀티모달(multimodal) 데이터와 학습자의 선호도 데이터를 활용한 추천시스템 기술 등이 있는데 추후 기회가 된다면 추가적인 데이터와 최신 기술도 함께 소개할 수 있기를 바란다.

마지막으로, 학습분석 시스템을 도입할 때에는 필히 수반되는 데이터 제공자의 개인 정보 남용 및 오용에 대한 위험성을 고려하는 것은 물론, 여기서 더 나아가 학습분석 시스템을 구성하는 참여자들간의 신뢰 관계와 행위주체성을 보다 적극적으로 고려해야 한다. 위에서 소개한 연구들은 데이터, 개인 정보 보호 및 윤리적 인식을 수면 위로 드러내어 취약한 데이터 제공자들을 보호하는 책임 있는 학습분석으로 나아가기 위한 유용한 관점을 제공한다. 학습자의 데이터 수집과 사용의 폭발적인 증가에 발맞추어 더 크고 다양한 표본과 문화적 맥락에서 윤리적 문제 및 개인 정보 보호에 대한 우려, 공정성 및 형평성을 지속적으로 연구하며 책임 있는 학습분석을 만들어나가야 한다.

본 챕터는 학습분석의 실행 과정을 개괄적으로 안내함으로서 학습분석의 이론과 실천의 간극을 매우고 더욱더 많은 교육학 전공자가 학습분석의 실행 과정을 더 쉽게 이해할 수 있기를 기대하였다. 또한, 본 챕터에서 다루지 않은 학습분석 실행 및 연습 실습지는 추후 아래의 링크에 업로드할 예정이다. 이를 통해 더욱더 많은 교육자가 학습자의 데이터 기반하여 학습자의 현황을 진단 및 처방하고 이전에는 해결하기 어려웠던 교육적 난제에 도전하여 교육의 효과성을 높이고 책임 있는 학습분석을 실천할 수 있기를 희망한다.

*학습분석 실습지 업로드 예정 링크 : https://raspy-larch-628.notion.site/STELA-c46211f0e45d498c86642542f0d49879

참고문헌

복경수, 유재수. (2017). 4차 산업혁명에서 빅데이터. 정보과학회지, 35(6), 29-39.

안미리, 최윤영, 고윤미, 배윤희. (2015). 해외 학습분석학(Learning Analytics) 연구에 대한 동향 분석: 실증 연구 중심으로. 교육정보미디어연구, 21(4), 601-643.

조일현. (2015). 학습분석학과 학습설계, 그 융합 지평의 전개. 한국교육공학회 학술대회발표자료집, 2015(2), 422-434.

조일현, 박연정, 김정현. (2019). 학습분석학의 이해. 박영스토리.

Arnold, K. E., & Sclater, N. (2017). Student perceptions of their privacy in leaning analytics applications. Proceedings of the Seventh International Learning Analytics & Knowledge Conference, 66–69. https://doi.org/10.1145/3027385.3027392

Baker, R. (2010). Data mining for education. International Encyclopedia of Education, 7(3), 112–118.

Bakharia, A., Corrin, L., de Barba, P., Kennedy, G., Gašević, D., Mulder, R., Williams, D.,

Dawson, S., & Lockyer, L. (2016). A conceptual framework linking learning design with learning analytics. Proceedings of the Sixth International Conference on Learning Analytics & Knowledge, 329–338.

Buchanan, R. (2019). Digital ethical dilemmas in teaching. In M. A. Peters (Ed.), Encyclopedia of teacher education (pp. 1–6). Springer Singapore. https://doi.org/10.1007/978-981-13-1179-6_150-1

Brooks, C., & Thompson, C. (2017). Predictive modelling in teaching and learning. Handbook of learning analytics, 61-68.

Clow, D. (2012, April). The learning analytics cycle: closing the loop effectively. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 134-138).

Chatti, M. A., Dyckhoff, A. L., Schroeder, U., & Thüs, H. (2012). A reference model for learning analytics. International Journal of Technology Enhanced Learning, 4(5-6), 318-331.

D'Ignazio, C., & Klein, L. F. (2020). Data feminism. MIT press.

Drachsler, H., & Greller, W. (2016). Privacy and analytics: It’s a DELICATE issue a checklist for trusted learning analytics. Proceedings of the Sixth International Conference on Learning Analytics & Knowledge, 89–98. https://doi.org/10.1145/2883851.2883893

Ferguson, R., Hoel, T., Scheffel, M., & Drachsler, H. (2016). Guest editorial: Ethics and privacy in learning analytics. Journal of Learning Analytics, 3(1), 5–15. https://doi.org/10.18608/jla.2016.31.2

Hacking, I. (1982). Biopower and the avalanche of printed numbers. Humanities in Society, 5, 279-295.

Hacking, I. (1986). Making up people. In T. C. Heller, M. Sosna, D. E. Wellbery, A. I. Davidson, A. Swidler, & I. Watt (Eds.), Reconstructing individualism: Autonomy, individuality, and the self in Western thought (pp. 222-236). Stanford, CA: Stanford University Press.

Holstein, K., & Doroudi, S. (2019). Fairness and equity in learning analytics systems (FairLAK). Companion Proceedings of the Ninth International Learning Analytics & Knowledge Conference (LAK 2019), 1–2.

Ifenthaler, D., & Schumacher, C. (2016). Student perceptions of privacy principles for learning analytics. Educational Technology Research and Development, 64(5), 923-938. https://doi.org/10.1007/s11423-016-9477-y

Kitto, K., & Knight, S. (2019). Practical ethics for building learning analytics. British Journal of Educational Technology, 50(6), 2855–2870. https://doi.org/10.1111/bjet.12868

Klein, C., Lester, J., Rangwala, H., & Johri, A. (2019). Technological barriers and incentives to learning analytics adoption in higher education: Insights from users. Journal of Computing in Higher Education, 31, 604-625.

Kruse, A., & Pongsajapan, R. (2012). Student-centered learning analytics. CNDLS Thought Papers, 1(9), 98–112.

Lee, H. H., & Gargroetzi, E. (2023). “It’s like a double-edged sword”: Mentor Perspectives on Ethics and Responsibility in a Learning Analytics–Supported Virtual Mentoring Program. Journal of Learning Analytics, 10(1), 85-100. https://doi.org/10.18608/jla.2023.7787

Lévinas, E. (1989). The Levinas Reader: Emmanuel Levinas, Seán Hand (ed.), Oxford: Blackwell Publishers.

Mackenzie, C., Rogers, W., & Dodds, S. (2014). Vulnerability: New Essays in Ethics and Feminist Philosophy. Oxford University Press.

Noble, S. U. (2018). Algorithms of Oppression. New York University Press. https://doi.org/10.18574/nyu/9781479833641.001.0001

O'Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books.

Pardo, A., & Siemens, G. (2014). Ethical and privacy principles for learning analytics. British Journal of Educational Technology, 45(3), 438–450. https://doi.org/10.1111/bjet.12152

Pargman, T. C., & McGrath, C. (2021). Mapping the Ethics of Learning Analytics in Higher Education: A Systematic Literature Review of Empirical Research. Journal of Learning Analytics, 8(2), 123-139. https://doi.org/10.18608/jla.2021.1

Prinsloo, P., & Slade, S. (2015). Student privacy self-management: Implications for learning analytics. Proceedings of the Fifth International Conference on Learning Analytics And Knowledge, 83–92. https://doi.org/10.1145/2723576.2723585

Prinsloo, P., & Slade, S. (2016). Student vulnerability, agency, and learning analytics: An exploration. Journal of Learning Analytics, 3(1), 159–182. https://doi.org/10.18608/jla.2016.31.10

Prinsloo, P., & Slade, S. (2018). Mapping responsible learning analytics: A critical proposal. In B. H. Khan, J. R. Corbeil, & M. E. Corbeil (Eds.), Responsible Analytics and Data Mining in Education (pp. 63-79). Routledge.

Sclater, N. (2016). Developing a code of practice for learning analytics. Journal of Learning Analytics, 3(1), 16–42. https://doi.org/10.18608/jla.2016.31.3

Siemens, G. (2012, April). Learning analytics: envisioning a research discipline and a domain of practice. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 4-8).

Slade, S., & Prinsloo, P. (2013). Learning analytics: Ethical issues and dilemmas. American Behavioral Scientist, 57(10), 1510–1529. https://doi.org/10.1177/0002764213479366

Susnjak, T., Ramaswami, G.S. & Mathrani, A. (2022). Learning analytics dashboard: a tool for providing actionable insights to learners. Int J Educ Technol High Educ 19, 12.

Swenson, J. (2014). Establishing an ethical literacy for learning analytics. Proceedings of the Fourth International Conference on Learning Analytics and Knowledge, 246–250. https://doi.org/10.1145/2567574.2567613

Tsai, Y.-S., Poquet, O., Gašević, D., Dawson, S., & Pardo, A. (2019). Complexity leadership in learning analytics: Drivers, challenges and opportunities. British Journal of Educational Technology, 50(6), 2839–2854. https://doi.org/10.1111/bjet.12846

Tsai, Y. S., Whitelock-Wainwright, A., & Gašević, D. (2021). More than figures on your laptop: (Dis)trustful implementation of learning analytics. Journal of Learning Analytics, 8(3), 81-100. https://doi.org/10.18608/jla.2021.7379

West, D., Huijser, H., & Heath, D. (2016). Putting an ethical lens on learning analytics. Educational Technology Research and Development, 64(5), 903–922. https://doi.org/10.1007/s11423-016-9464-3

Willis, J. E. (2014). Learning analytics and ethics: A framework beyond utilitarianism. Educause Review.