"What do the learning sciences have to do with learning analytics? Just about everything!”

—Paul Kirschner^[1]

1. 학습분석의 발달 배경

학습분석은 1990년대 초 학습과학 분야가 태동한 이후 2000년대 온라인 및 모바일 학습의 시작과 함께 점차 그 개념이 다양해지고 확장되어왔다. 특히 2010년대 초 빅데이터라는 개념이 대중화되고 교육 분야에서 비즈니스 인텔리전스(business intelligence)의 필요성이 제기되며 학습분석에 대한 논의가 본격적으로 시작되었다 (UNESCO, 2012). 학습자들과 학습 장치들이 온라인으로 연결되면서 학습자가 만들어내는 데이터의 양이 이전에 볼 수 없던 수준으로 확대되었고, 이와 같이 실시간 저장 및 분석이 가능한 빅데이터를 어떻게 공공의 이익에 도움이 되도록 해석할 것인지가 사회 전반에 걸쳐 중요한 사안이 되었다. 또한 조직 내에서 수집된 수많은 데이터를 분석하여 의사결정 과정에 활용하는 개념인 비즈니스 인텔리전스에 대한 담론이 교육 분야에서도 형성되며, 교육과 학습에서의 빅데이터가 개인 수준의 학습을 분석하고 예측하는 데 그치는 것이 아니라 교육 기관의 경영 전략이나 국가별 교육 정책과 같은 거시 수준의 의사결정까지 지원할 수 있도록 요구되어졌다. 이러한 흐름과 함께 학습분석의 중요성이 대두되었고 2011년에는 첫 학습분석 국제학회인 Learning Analytics and Knowledge (LAK)가 캐나다 Banff에서 열리며 학습분석의 정의와 범위에 대한 논의가 이루어졌다. 또한 2013년에는 학습분석의 다양한 역할과 영향을 연구하고 공유하는 학술단체인 Society for Learning Analytics Research (SOLAR)^[2]가 공식 출범하였다. 한국에서는 2022년부터 Society of Technology for Education and Learning Analytics (STELA)^[3]라는 학습분석에 중점을 둔 단체도 활발하게 활동하고 있다. STELA는 데이터 기반의 교육 변화를 선도하는 연구 중심의 비영리 오픈소스 플랫폼으로, 학습분석학 관련 소모임의 운영을 지원하고, 소모임 운영을 통해 생성된 지식을 홈페이지에 무료로 상시 공유하고 성과를 정기적으로 발표하는 행사를 진행한다.

이외에도, 학습분석이 교육 분야에서 최근 들어 더 큰 관심을 받게 된 것에는 보다 다양한 이유들이 있다. 우선 MOOC (Massive Open Online Course), 거꾸로 교실(flipped classroom), 가상현실 및 게임 기반 학습 환경, 혼합 학습 환경 등 다양한 형태의 교육 환경이 적극적으로 도입되고 보편화되면서 학습분석에 활용되는 데이터의 종류가 다양해졌으며 그 양도 증가하였다. 특히 코로나19가 확산되며 전세계적으로 원격 교육에 필요한 인프라가 구축되었고 학습분석에 대한 관심이 꾸준히 상승했다. 또한 [그림 1]과 같은 센서 기술 등의 데이터 수집 및 분석 도구를 중심으로 하는 학습분석 테크놀로지의 발전에 힘입어 이를 바탕으로 한 학습분석 연구가 활발히 이루어지고 있다. 이러한 관심과 더불어 The University of Texas at Arlington과 University of Wisconsin–Madison과 같은 대학들에서 학습분석 석사 과정을 개설하였으며, 매년 학습의 미래를 형성하는 트렌드와 기술 및 사례를 제시하는 EDUCAUSE Horizon 리포트 2022년 에디션^[4]에서 학습분석은 다중 학습(instructional modalities), 사이버보안(cybersecurity)과 함께 미래를 선도할 3대 핵심 트렌드 기술로 선정되었다. 최근에는 생성형 인공지능 (generative artificial intelligence) 기술도 학습분석이 나아가야할 새로운 가능성을 제시하고 있다. 대형 언어 모델 (large language model)과 같은 생성형 인공지능 접근법은 학습 콘텐츠의 자동 생성부터 예측 모델의 향상에 이르기까지 다양한 방법으로 학습분석 연구에 활용될 전망이다.

[그림 1] 착용형 뇌파 측정기, https://narbis.com

2. 학습분석의 정의와 이해

SOLAR는 2011년에 열린 첫 LAK 학회에서 학습분석을 “학습과 교수 과정을 이해하고 최적화하는 것을 목적으로 학습자와 학습 상황에 대한 데이터를 측정, 수집, 분석, 보고하는 것”이라고 정의하였다. 본 장에서는 현재까지도 널리 적용되고 있는 SOLAR에서 제시한 학습분석의 정의에 덧붙여 학습분석이 일부 근간을 두고 있는 유사 개념인 교육데이터마이닝(educational data mining)과의 비교 분석을 통해 학습분석에 대한 보다 깊은 이해를 돕고자 한다.

학습분석은 교육공학과 학습과학 분야에서 비교적 신생 학문에 속하며 그 어느 때보다도 현재 가장 활발한 연구가 이루어지고 있는 분야 중 하나이다. 또한 학습분석은 알고리즘과 계산 분석  방법(computational methods) 등 컴퓨터 공학에서도 다루어지는 개념들과 깊은 연관이 있으며, 통계학이나 심리학 등의 다양한 분야와도 교집합을 이루고 있다 ([그림 2]). 특히 학습자와 학습 데이터를 의사결정 과정에 활용하는 개념은 완전히 새로운 것이 아니라 교육데이터마이닝의 형태로 이전에도 활발히 연구되어왔던 내용이다.

[그림 2] 학습분석 및 교육데이터마이닝 관련 주요 분야, adapted from Romero & Ventura (2020)

데이터마이닝이란 일반적으로 방대한 양의 데이터로부터 유용한 정보를 추출하는 일련의 과정들을 말하며, 교육데이터마이닝은 이러한 데이터마이닝 기법을 교육 데이터에 적용하는 것을 말한다 (Romero 외, 2008). 학습분석과 교육데이터마이닝은 공통적으로 데이터를 기반으로 한 접근법을 바탕으로 교수학습법을 개선하는데에 그 목적이 있으며 (Siemens & Baker, 2012), 예측 분석 (predictive analysis), 지식 추적(knowledge tracing), 텍스트 마이닝(text mining), 사회 관계망 분석(social network analysis)과 같은 다양한 분석기법들이 두 연구분야에 두루 쓰이고 있다.

그러나 교육데이터마이닝 연구는 데이터를 기반으로 한 패턴이나 알고리즘을 통해 자동화된 모델을 이끌어내는 것에 초점을 두고 있는 반면, 학습분석 연구는 인간의 관점에서 데이터를 해석하고 시각화 하는데 더 큰 초점을 두고 있다. 따라서 교육데이터마이닝은 기술적으로 당면한 문제들을 자동화된 모델이나 알고리즘 개발을 통해 해결하는데에 초점을 두고 있는 반면, 학습분석은 기존의 예측분석 모델들을 활용하여 사회적/교육학적 차원의 문제들에 적용시키고 시사점을 밝히는데에 더 큰 비중을 두고 있는 경향이 있다 (Romero & Ventura, 2020). 다시 말해, 두 연구분야의 차이점은 연구에 사용되는 방법론적 측면보다는 각 분야가 중점을 두고 있는 바, 연구 문제, 더 나아가 모델들의 궁극적 사용에 있다고 할 수 있다 (Baker & Inventado, 2014).

예를 들어 학생들의 단어 학습과 관련된 데이터를 가지고 연구를 수행한다고 가정해보자. 교육데이터마이닝 측면에서 이를 분석한 Pavlik (2013)의 연구는 플래시카드 학습 시스템에서 추출한 데이터를 활용하여 학생들의 학습참여와 학습성과 간의 관계를 파악할 목적으로 동적 시스템 모델을 개발하였다. Pavlik은 해당 모델을 사용한 시뮬레이션을 통해 학생들의 전략 사용이 학습 성과에 중대한 영향을 미친다는 것을 밝혀 냈으며 후속 연구에서 뇌파나 학습자세 등과 같이 보다 더 다양한 데이터들을 포함시켜 시스템 모델들을 테스트 할 것을 제안하였다. 한편, 상황 인식 유비쿼터스(context-aware ubiquitous) 학습시스템에 기록된 학습자의 위치 정보, 단어 지식, 학습 상황 정보 등을 이용한 Hasnine과 동료들 (2019)의 학습분석 연구에서는 실제적 학습(authentic learning)을 지원하는 학습분석 솔루션을 개발하였다. 연구자들은 해당 솔루션 평가의 일환으로, 후속 연구에서 적재적소에 알맞는 컨텐츠를 제공하는 방법을 밝히고, 실제적 학습 경험을 공유할 적합한 학습자를 찾고, 단어 학습을 최적화할 개인화된 학습 경로(personalized learning path)를 설계할 예정이라고 기술하였다. 이처럼 교육데이터마이닝과 학습분석 두 연구분야는 학습과 관련된 여러 종류의 데이터를 분석하여 이루고자 하는 연구목표나 방향에서 주요한 차이를 보이나 상당수의 연구자들이 교육데이터마이닝과 학습분석 양쪽 연구 커뮤니티에 속해있으며 최근에는 교육데이터마이닝을 학습분석의 일부로 봐야한다는 (Dormezil 외, 2019) 등 두 분야의 유사성에 집중하는 논의가 점점 활발해지고 있다.

3. 학습분석의 이론적 기초

학습분석은  교육학, 통계학, 컴퓨터 공학, 심리학 등 다양한 학문에 근간을 두고있는 다학제간 연구 영역으로, 이와 관련된 모든 이론적 기초를 본 장에서 설명하기에 큰 어려움이 있을 뿐 아니라 실용적인 접근법이라고 보기도 어렵다. 따라서 본 장에서는 학습분석의 근간을 폭넓게 아우를 수 있는 주요 교육학적 패러다임 및 이론들을 중심으로 각 이론적 배경들이 학습분석학에 영향을 끼친 각 이론이 적용된 사례 연구와 함께 논의해 보고자 한다.

3.1. 구성주의(Constructivism)

구성주의는 사람들이 자신들의 고유한 경험을 바탕으로 세상사를 이해하고 지식을 구성한다고 가정하는 패러다임이다 (Honebein, 1996). 교육학 연구에서는 구성주의가 학습이론으로도 간주되며 경우 연구자들은 개별 학생들이 어떻게 다른 학생, 교사, 또는 물리적 환경과 서로 다르게 상호작용하고 협상해 가며 지식을 스스로 구성해 나가는지에 연구의 중점을 두게 된다. 구성주의는 크게 인지적 구성주의(cognitive constructivism)와 사회적 구성주의(social constructivism)로 나뉜다. 인지적 구성주의의 적 입장에서 볼 때, 학습분석학은 학생 개인이 어떤 과정을 통해 학습자료를 활용하고 그 활용법에 따른 영향은 무엇인지 연구한다고 볼 수 있다. 반면, 사회적 구성주의의 입장에서 볼 때, 학습분석학은 개별 학생이 어떠한 과정을 통해 다른 학생들, 교사, 혹은 지적 존재 (예, 챗봇과 같은 인공지능을 기초로 하는 학습 도구)와 상호작용하며 학습을 도모하는지에 중점을 둔다. 특히 구성주의는 학생들의 개별적이고 적극적인 학습 주체의 역할과 학습과정을 중요시 하는데, 이 관점은 학습분석이 데이터와 테크놀로지를 활용하여 학생들의 학습을 지원하고 그에 따라 고안된 학습도구 및 평가방법의 효과를 측정하는데 큰 영향을 미쳤다고 볼 수 있다. 이에 따라 온라인 수업에서 학생들이 다른 학생들, 교사, 테크놀로지 등과 어떻게 상호작용하는지와 이러한 상호작용이 학생들의 학습 성과에 어떤 영향을 미치는지에 대한 연구가 많이 소개되었다.

예를 들어 Joksimović과 그의 동료들 (2015) 은 29개의 온라인 수업을 연구한 결과를 바탕으로 학생 개인과 테크놀로지 사이에서 소요된 시간이 많을수록 학생은 높은 성취도를 보였으며 학생 개인이 학습내용 (학습용 비디오 또는 읽기 숙제)과 빈번히 상호작용할 수록 학생들의 성적이 낮아졌음을 보고했다. 이러한 결과에 대하여 온라인 학습 환경에서 취약함을 보이는 학생들이 학습 내용을 좀 더 반복적으로 검토하게 되어 상대적으로 학습에 더 많은 시간을 소요했을 것이라는 가능성이 제시되었다. 이 연구는 시스템에 남아있는 로그데이터에 근거하여 학생들의 학습과 관련된 상호작용을 밝혀냄으로써 학습분석학의 가치를 밝히고 구성주의 측면에서 학생들의 온라인 학습과정을 보다 깊게 파악하는 데 도움이 된 것으로 평가되고 있다.

3.2. 연결주의(Connectivism)

연결주의는 Siemens (2005)가 주창한 이론으로서 학습 및 지식이 여러 사람들, 테크놀로지, 그리고 다른 자원들과 연결되어 있는 네트워크에 의해 형성된다는 점에 근간을 두고 있다. 연결주의에 따르면 모든 사람 및 사물은 서로 연결되어 네트워크를 이룰 수 있으며 현대 사회에서는 상호작용이 인터넷에 바탕을 두고 일어날 수 있으므로 물리적인 거리에 큰 영향을 받지 않는다. 이 이론은 학습분석학에 여러모로 큰 영향을 끼쳤는데, 특히 학습의 역동적이고 복잡한 측면이 디지털화된 네트워크 속에서 가지는 의미를 강조하였다. 연결주의에 따르면 학생들은 끊임없이 다른 사람들, 사물, 정보, 지식들과 연결고리(node)를 만들고 있으며 이런 연결고리들의 맥락을 이해한다. 이런 접근은 학습분석학이 학생들의 학습과정을 추적하고 그 의미를 파악하는데에 중점을 두는데 큰 기여를 했다고 볼 수 있다. 즉, 교육분석학에서 학생들의 학습경로를 패턴화 하고 이에 대한 이해를 도모하는데 필요한 학습 디자인 및 학습 도구를 개발 및 연구에 집중하는 것은 연결주의에 크게 영향을 받은 결과라고 볼 수 있다. 특히 MOOC 연구에서 이러한 경향이 크게 도드라지는데 이는 MOOC가 전적으로 인터넷에 기반으로 둔 교육 모델로서 대규모의 학습자에게 동시에 여러 온라인 매체를 사용하는 학습환경을 제공하는데 큰 이유가 있다.

예를 들어, Milligan과 Griffin (2016)은 MOOC의 이러한 특성에 근거하여 학습관리시스템(learning management system)에 저장된 로그 자료에서 알 수 있는 학생들의 행동의 교육적 의미를 해석하는 것에 주목했다. 이들은 비디오시청, 퀴즈 참여, 동료 및 자기 평가 실행과 같은 학생들의 행동에 대한 의미를 코딩과 매핑과정을 통해 추척함으로써 학생들의 학습과정을 잘 이해할 수 있을 뿐 아니라 더 나아가 학생의 성취도를 더욱 종합적으로 평가할 수 있다고 주장했다.  

3.3. 자기조절학습론(Self-regulated learning theory)

자기조절학습론은 학습에 있어서 학생들의 스스로 자신의 학습 과정을 감시하고 조절하는데에 적극적인 역할을  강조하는 이론이다 (Zimmerman, 2013). 이 이론은 학습분석학이 학습과정에 중점을 두는 이유에 관하여 이론적 배경을 제공할 뿐만 아니라 학생들이 스스로 자신의 학습과정을 더욱 더 잘 이해할 수 있도록 돕는 도구 및 전략을 개발하는데 이론적 근거를 제공하기도 한다. 학습조절론에 따르면 학생들의 초인지적, 동기적, 그리고 행동적 자기조절 전략이 학습에 있어서 가장 중요한 성공요소이다. 이 전략들은 세부적으로 목표 세우기, 학습상황 감시하기, 피드백 구하기, 그리고 변화하는 상황에 대처하기 등을 아우르고 있다. 따라서 학습분석학에서는 학생들이 이러한 전략들을 학습상황에서 구사할 수 있는 도구 개발에 큰 힘을 기울이며 결과적으로 학생들의 학습 결과를 향상시키는데 초점을 둔다. 또한, 자기조절학습론은 학생들에게 적시적소에 피드백을 주는 것을 매우 강조한다. 따라서 자기조절학습론은 학습분석학이 교육적 중재안을 개발하고 그에 대한 효과성을 평가하는데 몰두하는 연구에 집중하는 이유를 제공한다고 볼 수 있다.

이러한 맥락에서 Afzaal과 동료들 (2021)은 학습분석 기술과 머신 러닝의 설명 가능한 기술을 이용해 학생들의 자기 조절 학습 능력을 도모하는 시스템을 개발하였다. 이 시스템은 학습관리시스템에 저장된 로그 데이터를 바탕으로 학생들에게 예상 가능한 결과를 대시보드 형태로 보여줌과 동시에 시스템에서 이를 예측한 이유를 함께 제시하여 앞으로의 학습에 대한 추천경로를 보여주는 것을 골자로 하였다.

3.4. 인지부하이론(Cognitive load theory)

인지부하이론은 사람들이 정보를 처리하고 학습을 최적화 하는 과정에 중점을 두어 학생들의 인지 능력에 한계가 있고 그 한계는 개인별로 차이가 있다 점을 강조한다 (Mayer & Moreno, 2003). 따라서 이 이론은 학습과정에서 학생들에게 당면한 과제와 관련이 덜한 정보 제공을 최대한 줄이고 필수적인 정보만을 제공할 것을 강조한다. 이 영향을 받은 학습분석학은 맞춤형 학습의 중요성에 초점을 두어 학습내용이 어떻게 학생들에게 보여지는가에 따라 학습성과가 달라질 수 있다는 점을 강조한다. 이에 따라 인지부하이론은 학습분석학에서 개별 학생들에게 최적화된 맞춤형 교육의 설계 및 활용에 대한 연구의 이론적 배경이 됨과 동시에 게임 중심 학습 프로그램과 같은 적응형 학습시스템(adaptive learning system)을 개발하는 데에 실용적 지침을 제공하기도 한다.

예를 들어, Ramli와 동료들 (2023)은 학습분석학적 접근이 초등학생들을 위한 게임 중심 학습 프로그램에 효과가 있음을 밝혔으며 특히, 게임 기반 학습 프로그램을 활용하는데에 인지부하이론의 중요성을 증명하였다. 그들은 인지부하이론에 따라 학생들의 발달단계에 맞춘 게임 기반 수학 학습 프로그램을 개발하였으며 이러한 학습 디자인이 학생들이 높은 성취도를 보인 성공요인이라 설명하였다.  

4. 시사점

앞서 살펴본 바와 같이 학습분석은 교육학의 기초가 되는 이론들과 밀접하게 연관되어 있으며, 새로운 평가 도구로서의 학습분석은 다양한 방식으로 교수법들을 뒷받침할 수 있는 잠재력을 가지고 있다. 그러나 현재 교육 시스템이 추구하는 바에서 학습분석이 가지는 한계 또한 명확히 할 필요가 있다. 이와 관련하여 Knight와 Shum (2017)는 학습분석의 몇가지 한계점들을 지적하였다. 우선, 학습분석은 교육 시스템을 기술관료적(technocrat) 시스템으로 변화시킴으로써 학습자와 교육자들을 소외시킬 수 있다. 또한, 학습분석은 학습자들을 학습 활동에 참여시키는 방법들을 그 과정을 컴퓨터를 사용하여 추적할 수 있는 방법들로 한정시킬 수 있고 더 나아가 “학습”의 범위를 분석자료를 생성할 수 있는 것으로 제한시킬 가능성이 있다. 다양한 분야 연구자들의 학습분석에 대한 관심이 지속적으로 증가하고 있는 현 시점에서 이러한 한계점을 극복하기 위하여 학습분석 연구는 데이터를 기반으로 한 효과적인 교수법을 제공하는 것에만 초점을 맞출 것이 아니라 학습분석이 학습자와 교육자들을 어떤 방식으로 어디까지 지원하는 것이 적절하고 또 윤리적으로 필요한가에 대한 논의를 포함시켜야 하며 관련 지침을 제공하는 것 또한 목표로 해야한다.

또한 생성형 인공지능 기술의 발전은 학습분석 분야에 새로운 기회와 도전을 제시하고 있다. 이러한 기술은 학습 데이터의 생성, 모델링, 분석 방법에 혁신을 가져올 수 있다. 이에 따라 생성형 인공지능 기술을 통해 생성된 데이터와 학습자의 실제 데이터를 구별하고, 인공지능이 학습자의 역량을 정확히 평가하는 데 사용될 수 있는지에 대한 검토가 필요하며, 생성형 인공지능의 도입이 학습분석의 윤리적, 교육적 측면에 어떤 영향을 미칠지에 대한 깊이 있는 논의와 연구가 필요하다.

참고문헌

Afzaal, M., Nouri, J., Zia, A., Papapetrou, P., Fors, U., Wu, Y., Li, X., & Weegar, R. (2021). Explainable AI for data-driven feedback and intelligent action recommendations to support students self-regulation. Frontiers in Artificial Intelligence, 4. https://doi.org/10.3389/frai.2021.723447

Baker, R. S., & Inventado, P. S. (2014). Educational data mining and learning analytics. In J. A. Larusson & B. White (Eds.), Learning analytics: From research to practice (pp. 61-75). Springer.

Dormezil, S., Khoshgoftaar, T. M., & Robinson-Bryant, F. (2019). Differentiating between educational data mining and learning analytics: A bibliometric approach. CEUR Workshop Proceedings, 2592(May), 17–22.

Hasnine, M. N., Ogata, H., Akçapınar, G., Mouri, K., & Uosaki, N. (2019). Learning analytics to share and reuse authentic learning experiences in a seamless learning environment. In Companion Proceedings of the 9th International Conference on Learning Analytics and Knowledge (LAK 19) (pp. 398-407). Society for Learning Analytics Research (SoLAR).

Honebein, P. (1996). Seven Goals for the design of constructivist learning environments. In Wilson, B. (Ed.), Constructivist learning environments: Case studies in instructional design (pp. 11–24). Educational Technology Publications.

Joksimović, S., Gašević, D., Loughin, T. M., Kovanović, V., & Hatala, M. (2015). Learning at distance: Effects of interaction traces on academic achievement. Computers & Education, 87, 204-217. https://doi.org/10.1016/j.compedu.2015.07.002

Knight, S. & Buckingham Shum, S. (2017). Theory and learning analytics. In C. Lang, G. Siemens, A. F. Wise, & D. Gasevic (Eds.), The handbook of learning analytics (pp.17–22). Society for Learning Analytics Research. https://doi.org/10.18608/hla17.001

Mayer, R. E., & Moreno, R. (2003). Nine ways to reduce cognitive load in multimedia learning. Educational Psychologist, 38(1), 43-52.

Milligan, S. K., & Griffin, P. (2016). Understanding learning and learning design in MOOCs: A measurement-based interpretation. Journal of Learning Analytics, 3(2), 88-115. https://doi.org/10.18608/jla.2016.32.5

Pavlik Jr, P. I. (2013). Mining the dynamics of student utility and strategy use during vocabulary learning. Journal of Educational Data Mining, 5(1), 39-71. https://doi.org/10.5281/zenodo.3554609

Ramli, I. S., Maat, S. M., & Khalid, F. (2023). Learning mathematics in the new norms caused by digital game-based learning and learning analytics. Pegem Journal of Education and Instruction, 13(1), 168-176. https://doi.org/10.47750/pegegog.13.01.19

Romero, C., & Ventura, S. (2020). Educational data mining and learning analytics: An updated survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 10(3), e1355. https://doi.org/10.1002/widm.1355

Romero, C., Ventura, S., & García, E. (2008). Data mining in course management systems: Moodle case study and tutorial. Computers & Education, 51(1), 368-384. https://doi.org/10.1016/j.compedu.2007.05.016

Siemens, G. (2005). Connectivism: A learning theory for the digital age. International Journal of Instructional Technology and Distance Learning, 2(1), 1-9.

Siemens, G., & Baker, R. S. (2012). Learning analytics and educational data mining: Towards communication and collaboration. In ACM International Conference Proceeding Series (pp. 252–254). Association for Computing Machinery. https://doi.org/10.1145/23306

UNESCO Institute for Information Technologies in Education (2012). Learning analytics policy brief. Retrieved from http://iite.unesco.org/pics/publications/en/files/3214711.pdf

Zimmerman, B. J. (2013). Theories of self-regulated learning and academic achievement: An overview and analysis. In Self-regulated learning and academic achievement (p. 0-45). Routledge.