All Issue

2024 Vol.13, Issue 4 Preview Page

Research Article

An Analysis of AI Chatbot Utilization and Learning Data in Middle School Geography Education: Examining Student’s Queries and Perceptions

중학교 지리 수업에서의 AI 챗봇 활용과 학습 데이터 분석: 학생들의 질문 유형 및 인식을 중심으로

이소영1†

Soyoung Lee1†

1가톨릭관동대학교 지리교육과 조교수
1Assistant Professor, Department of Geography Education, Catholic Kwandong University
31 December 2024. pp. 335~352
PDF Citation
Abstract
This study aims to enhance the applicability of chatbots in middle school geography education, by analyzing students’ use of and perceptions on chatbots. To this end, the researcher collected middle school student’s chatbot queries in Gyeonggi Province, and also conducted a questionnaire survey to understand their perceptions on the chatbot as a geography education tool. The main findings of the study are as follows. First, the vast majority of student queries are focused on ‘remembering geographical facts’ or ‘understanding conceptual knowledge’, both of which indicate that most student chatbot queries are based on lower-order thinking. Second, most students regard the chatbot as a useful tool for geographical learning as they are able to ask questions to the online regardless of time and space. However, many students have found it inconvenient. For they are not satisfied with the chatbot’s inability to provide little to no informative response, which is resulting from insufficient in-built datasets. These findings are expected to contribute to improve training data construction for the chatbots and also provide useful insights for the direction of educational chatbot designs.
Keywords
Chatbot
AI-tutor
Learning analytics
Text mining
Bloom’s revised taxonomy
본 연구는 중학교 지리 수업에서의 챗봇 활용과 관련하여 학생들의 질문 내용과 인식을 분석함으로써, 챗봇의 활용 가능성을 제고하는 것을 목적으로 한다. 이를 위해 경기도 소재 중학교 학생들을 대상으로 질문 데이터를 수집･분석하였고, 설문조사를 통해 챗봇에 대한 학생들의 인식을 파악하였다. 연구의 주요 결과는 다음과 같다. 첫째, 질문 분석 결과, 대부분의 질의가 ‘지리적 사실의 기억’이나 ‘개념의 이해’ 수준에 편중되어 있었다. 즉, 고차원적 사고보다는 저차원적 사고를 요하는 질문이 주를 이루었다. 둘째, 인식 조사 결과, 학생들은 시간과 장소의 제약 없이 챗봇에 질문할 수 있어 지리 학습에 유용하다고 평가하였다. 그러나 부족한 데이터 세트로 인해 챗봇이 답변을 제대로 하지 못하는 점에 대해서는 불편함을 느끼는 것으로 나타났다. 본 연구는 향후 지리과 AI 챗봇의 초기 데이터 구축 및 설계를 위한 실질적 토대 마련에 기여할 것으로 기대된다.
키워드
챗봇
AI 튜터
학습분석
텍스트 마이닝
블룸의 신교육목표분류체계
References
  1. 강헌태･노석구, 2018, “초등학교 과학수업에서 학생의 사전질문 분석틀 개발 및 적용,” 한국과학교육학회지, 38(2), 235-247.
  2. 과학기술정보통신부·한국지능정보사회진흥원, 2023, 2023년도 인공지능 학습용 데이터 구축 지원사업 공고문(2023.4).
  3. 교육부, 2022a, 2022 개정 교육과정 총론 해설(중학교), 교육부 고시 제2022-33호(2022.12.22.).
  4. 교육부, 2022b, 사회과 교육과정, 교육부 고시 제 2022-33호 [별책 7].
  5. 교육부, 2023a, 디지털 기반 교육혁신 방안, 교육부 보도자료(2023.2,23.).
  6. 교육부, 2023b, AI 디지털교과서 추진방안(안), 교육부 정책자료(2023.6.)
  7. 교육부･한국교육학술정보원, 2023, 「AI 디지털교과서 개발 가이드라인」, 한국교육학술정보원 교육자료 GM 2023-11.
  8. 김영우, 2021, 「Do it! 쉽게 배우는 R 텍스트 마이닝」, 이지스퍼블리싱(주).
  9. 김재우, 2020, “텍스트 마이닝을 활용한 사회과 교육과정 시기별 학술 담론의 특징 분석,” 서울대학교 대학원 박사학위논문.
  10. 민경모･유준희, 2022, “Doc2Vec을 이용한 중학교 과학 질문-답변 챗봇 개발 및 학생 질의 분석,” The SNU Journal of Education Research, 31(3), 115-145.
  11. 신화영･백성혜, 2024, “ChatGPT 활용한 초등 과학 수업에서 질문 단계의 변화 및 수업에 대한 인식 분석,” 초등과학교육, 43(2), 322-336.
  12. 안미리･최윤영･배윤희･고윤미･김민하, 2016, “학습분석학 국내 문헌 고찰: 로그 데이터를 이용한 실증연구를 중심으로,” 교육공학연구, 32(2), 253-291.10.17232/KSET.32.2.253
  13. 양혜진･김혜영･신동광･이장호, 2019, “인공지능 음성챗봇기반 초등학교 영어 말하기 수업 연구,” 멀티미디어언어교육, 22(4), 184-205.
  14. 이경한, 2009, 「사회과 지리 수업과 평가」, 경기: 교육과학사.
  15. 이동민, 2017, “한국 초등지리교육 학위논문의 연구 동향에 대한 언어 네트워크 분석,” 사회과교육, 56(4), 75-90.10.37561/sse.2017.12.56.4.75
  16. 이소영･이상일･박의현･최학모, 2023, “사회과 챗봇의 설계와 교육적 활용 방안에 관한 연구 - 중학교 지리 영역을 중심으로 -,” 한국지리환경교육학회지, 31(1), 147-163.
  17. 이현우･민덕기, 2018, “건국봇: 검색모델과 생성모델을 결합한 챗봇,” 한국정보처리학회 학술대회논문집, 25(1), 449-452.
  18. 장연주, 2011, “초등 사회과 수업목표 분석: Bloom의 신 교육목표분류학에 근거하여,” 한국교원대학교 석사학위논문.
  19. 정천수, 2023, “전통적인 챗봇과 ChatGPT 연계 서비스 방안 연구,” Journal of Information Technology Applications and Management, 30(4), 11-28.
  20. 최정인･백성혜, 2015, “Bloom의 신교육목표분류체계에 기초한 2007 및 2009 개정 초등학교 과학과 교육과정과 미국의 차세대 과학 표준(Next Generation Science Standards)의 성취기준 비교 분석,” 한국과학교육학회지, 35(2), 277-288.10.14697/jkase.2015.35.2.0277
  21. 추성엽･민덕기, 2019, “영어 상호작용 촉진을 위한 과업 기반 AI 챗봇 활용 및 학생 발화 분석,” 초등영어교육, 25(2), 27-52.
  22. 하은혜･이채현･조철기, 2022, “언어 네트워크 분석 기법을 활용한 중등학교 지리 교과서의 지리정보체계(GIS) 내용 분석,” 한국지역지리학회지, 28(3), 367-381.10.26863/JKARG.2022.8.28.3.367
  23. 한국교육학술정보원, 2022, 「학습분석을 위한 데이터 수집 및 저장 가이드라인 연구」, 한국교육학술정보원 연구보고 RR 2022-07.
  24. 황요한･이혜진, 2021, “AI 기술을 활용한 영어교육의 가능성: 영어 예비교사들의 인공지능 챗봇 사용과 개발을 중심으로,” Multimedia-Assisted Language Learning, 24(1), 104-133.
  25. 황홍섭, 2022, “초등 사회과 마이크로러닝을 위한 챗봇의 현장 수업 적용 및 검증,” 사회과교육, 61(2), 69-94.10.37561/sse.2022.06.61.2.69
  26. Anderson, L.W., Krathwohl, D.R., Airasian, P.W., Cruikshank, K.A., Mayer, R.E., Pintrich, P.R., Raths, J., and Wittrock, M.C., 2005, A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives, Boston: Allyn & Bacon (Pearson)(강현석･강이철･권대훈･박영무･이원희･조영남･주동범･최호성 역, 2015, 「교육과정 수업 평가를 위한 새로운 분류학: Bloom 교육목표분류학의 개정」, 서울: 아카데미프레스).
  27. Becker, B, 2013, Learning analytics: Insights into the natural learning behavior of our students, Behavioral & Social Sciences Librarian, 32(1), 63-67.10.1080/01639269.2013.751804
  28. Bloom, B.S., Englehart, M.D., Furst, E.J., Hill, W.H., and Krathwohl, D.R., 1956, The Taxonomy of educational objectives, handbook I: The Cognitive domain, New York: David McKay.
  29. Caldarini, G., Jaf, S., and McGarry, K., 2022, A literature survey of recent advances in chatbots, Information, 13(1), 41.10.3390/info13010041
  30. Cho, C.-K., Kim, H., and Lee, S., 2023, Analysis of the issues that emerged in the revision of the national social studies curriculum in South Korea: Text mining and semantic network analysis of the comments at the public hearing on YouTube, Journal of Education and E-Learning Research, 10(3), 463-473.10.20448/jeelr.v10i3.4886
  31. Chocarro, R., Cortiñas, M., and Marcos-Matás, G., 2021, Teachers’ attitudes towards chatbots in education: a technology acceptance model approach considering the effect of social language, bot proactiveness, and users’ characteristics, Educational Studies, 1-19.10.1080/03055698.2020.1850426
  32. Feldman, R. and Sanger, J., 2007, The Text Mining Handbook, UK: Cambridge University Press.10.1017/CBO9780511546914
  33. Gaikwad, S.V., Chaugule, A., and Patil, P., 2014, Text mining methods and techniques, International Journal of Computer Applications, 85(17), 42-45.10.5120/14937-3507
  34. Gupta, S. and Chen, Y., 2022, Supporting inclusive learning using chatbots? A chatbot-led interview study, Journal of Information Systems Education, 33(1), 98-108.
  35. Hamzah, W.W., Ismail, I., Yusof, M.K., Saany, S.M., and Yacob, A., 2021, Using learning analytics to explore responses from student conversations with chatbot for education, International Journal of Engineering Pedagogy, 11(6), 70-84.10.3991/ijep.v11i6.23475
  36. Hoppe, H.U., 2017, Computational methods for the analysis of learning and knowledge building communities, Handbook of learning analytics, 23-33.10.18608/hla17.00228634658
  37. Huang, W., Hew, K.F., and Fryer, L.K., 2022, Chatbots for language learning—Are they really useful? A systematic review of chatbot‐supported language learning, Journal of Computer Assisted Learning, 38(1), 237-257.10.1111/jcal.12610
  38. Kinder, A. and Lambert, D., 2011, The National Curriculum Review: what geography should we teach?, Teaching Geography, 36(3), 93-95.
  39. Kuhail, M.A., Alturki, N., Alramlawi, S., and Alhejori, K., 2022, Interacting with educational chatbots: A systematic review, Education and Information Technologies, 1-46.10.1007/s10639-022-11177-3
  40. Lee, S. and Lee, S., 2023, Desining an Educational Chatbot for Social Studies Classes in the Middle School, Proceedings of the 23th International Conference on Education Research, October 13, Seoul, South Korea.
  41. Long, P.D. and Siemens, G., 2011, Penetrating the fog: Analytics in learning and education, Educause Review, 46(5), 31-40.
  42. Maskill, R. and de Jesus, H.P., 1997, Pupils’ questions, alternative frameworks and the design of science teaching, International Journal of Science Education, 19(7), 781-799.10.1080/0950069970190704
  43. Nahm, U.Y. and Mooney, R.J., 2002, Text Mining with Information Extraction, Proceedings of the AAAI 2002 Spring Symposium on Mining Answers from Texts and Knowledge Bases, Stanford, CA, 60-67.
  44. Nistor, N. and Hernández-García, Á., 2018, What types of data are used in learning analytics? An overview of six cases, Computers in Human Behavior, 89, 335-338.10.1016/j.chb.2018.07.038
  45. Okonkwo, C.W. and Ade-Ibijola, A., 2021, Chatbots applications in education: A systematic review, Computers and Education: Artificial Intelligence, 2, 100033.10.1016/j.caeai.2021.100033
  46. Papoušek, J., Pelánek, R., Řihák, J., and Stanislav, V., 2015, An analysis of response times in adaptive practice of geography facts, Proceedings of the 8th international conference on educational data mining, Madrid, Spain, 562-563.
  47. Robinson, A.C., Anderson, C.L., and Quinn, S.D., 2020, Evaluating geovisualization for spatial learning analytics, International Journal of Cartography, 6(3), 331-349.10.1080/23729333.2020.1735034
  48. Şanlı, C., 2019, Investigation of question types in high school geography coursebooks and their analysis in accordance with the Revised Bloom’s Taxonomy, Ege Coğrafya Dergisi, 28(2), 111-127.
  49. Scheider, S., Bartholomeus, H., and Verstegen, J., 2023, ChatGPT is not a pocket calculator - Problems of AI-chatbots for teaching Geography. arXiv:2307.03196.
  50. Topal, A.D., Eren, C.D., and Kolburan, A.K., 2021, Chatbot application in a 5th grade science course, Education and Information Technologies, 26(5), 6241-6265.10.1007/s10639-021-10627-834177344PMC8211302
  51. Treves, R., Viterbo, P., and Haklay, M., 2015, Footprints in the sky: using student track logs from a “bird’s eye view” virtual field trip to enhance learning, Journal of Geography in Higher Education, 39(1), 97-110.10.1080/03098265.2014.1003798
  52. Varnavsky, A.N. and Popov, D.A., 2022, Research of the possibility of using educational chatbots as a learning analytics tool, In 2022 Dynamics of Systems, Mechanisms and Machines (Dynamics), IEEE, 1-5.10.1109/Dynamics56256.2022.10014817
  53. Wilby, R.L. and Esson, J., 2024, AI literacy in geographic education and research: Capabilities, caveats, and criticality, The Geographical Journal, 190(1), 1-8.10.1111/geoj.12548
  54. Wilson, L.O., 2016, Anderson and Krathwohl-Bloom’s taxonomy revised, Understanding the new version of Bloom’s taxonomy.
  55. Zhou, T.Y., Huang, Y., Chen, C., and Xing, Z., 2023, Red teaming ChatGPT via jailbreaking: Bias, robustness, reliability and toxicity, arXiv preprint arXiv:2301.12867.
  56. 한국관광 100선 광명동굴, https://www.gm.go.kr/cv/gc/11/CVGC_11100.jsp
  57. 한국민족문화대백과사전, https://encykorea.aks.ac.kr/Article/E0026846
Information
  • Publisher :The Association of Korean Geographers
  • Publisher(Ko) :한국지리학회
  • Journal Title :Journal of the Association of Korean Geographers
  • Journal Title(Ko) :한국지리학회지
  • Volume : 13
  • No :4
  • Pages :335~352
  • DOI :https://doi.org/10.25202/JAKG.13.4.2
Journal Informaiton Journal of the Association of Korean Geographers Journal of the Association of Korean Geographers
Online Submission
  • NRF
  • KISTI Current Status
  • KISTI Cited-by
  • orcid
  • open access
  • ccl
Journal Informaiton Journal Informaiton - close