초록글인공지능에 '2019 수능' 풀게해보니..
추론·사고력 문제 전혀 대응 못해
[서울경제] 인공지능(AI)이 머지않아 인간을 따라잡는다고 한다. 방대한 데이터를 갖추고 있어 대학수학능력시험과 같은 국가고사가 앞으로는 필요 없다는 주장도 있다. 과연 AI가 수능에 도전한다면 어떤 결과가 나올까.
서울경제신문이 지난 15일 치러진 2019학년도 수능에서 수학과 영어 영역을 대상으로 국내에서 처음으로 ‘AI 문제풀이’에 도전해봤다. 미국과 일본·중국은 이미 현지 AI 업체들이 대학입시 문제를 푸는 시도를 하고 있다. 안타깝게도 국내에는 수능을 푸는 AI가 전무해 부득이 해외 AI의 도움을 빌렸다. 영어는 미국 앨런AI연구소가 개발한 앨런엔일피(AllenNLP)에, 수학은 물리학자 스티븐 울프람이 만든 계산AI ‘울프람 알파(Ulfram Alpha)’에 맡겼다.
문장 내용 이해 능력 0 가까워 수학공식도 주도적 대입 못해
푸는 과목은 달라도 두 AI는 비슷한 구석이 있었다. 우선 앨런은 ‘독해용 AI(MRC·Machine Reading Comprehension)’라 수천만 문장의 데이터를 바탕으로 주제 찾기 등 간단한 질문에 답할 수 있었다. 그러나 글의 내용을 이해하거나 앞뒤를 추론하는 능력은 ‘0(제로)’에 가까웠다. 귀중품을 ‘밸류어블(valuable)’ 대신 ‘주얼리(jewelry)’로 바꿔 물으면 대답을 못 했고 요점을 짚어달라는 요청에는 제시문의 모든 문장에 밑줄을 치기도 했다.
특히 영어 영역 10번 문제는 ‘제시문의 주제로 옳은 것을 고르라’는 질문에 별안간 답변 대신 “자기야(honey)”라는 애칭이 돌아왔다. 이유는 간단했다. 흔히 두괄식 제시문은 첫 문장에 중요 키워드가 들어가는데 10번은 듣기문항이라 여성이 남성을 대화 첫머리에 “자기야”라고 불렀기 때문이다. 이날 앨런이 기록한 영어 영역 점수는 100점 만점에 12점에 그쳤다.
수학도 비슷했다. 울프람은 복잡한 공학 수학문제를 빠르게 풀었지만 사람처럼 여러 공식을 끌어와 주도적으로 문제를 해결하지는 못했다. 울프람은 수학 ‘나’형 30개 문항 중 5개 문항을 맞춰 16점을 기록했다. 서술형 문제로 갈수록 추론능력이 떨어져 계산 과정 전체를 사용자가 짜서 명령해야 했다. 정규분포 문제를 풀기 위해 사용자가 AI에 ‘연속확률변수의 그래프 면적은 1’이라는 명제를 일일이 입력하는 식이다. 이처럼 몇 가지 지식을 다시 넣어서 풀었더니 29점으로 성적이 올랐다. 물론 수험생 평균(51점·지난해 수능 기준)에도 한참 못 미치는 점수고 사람이 사고력을 이용해 푸는 속도보다도 두 배 느렸다.
두 AI는 현존하는 문제풀이 기술 중 최상급에 속했지만 조금이라도 예상을 벗어나는 문제에는 취약했다. AI가 인간처럼 추론할 수 있으려면 방대한 데이터를 넣어 신경망(지식그래프)을 구축해야 한다. 아직은 인간처럼 사고하는 AI보다 단순 질의응답에 그치는 AI가 더 많다는 뜻이다.
中·美·日은 AI 국가고사 시도 “돈 안된다” 한국은 연구 전무
다만 한국의 AI 기술력이 다른 국가에 비해 특히 떨어진다는 점은 문제다. 중국의 AI MATH, 일본의 토다이, 미국의 Geos는 지난 10년간 이미 신경망을 구축해 국가고사와 ‘맞짱’을 떴다. 반면 한국은 신경망을 구축해 실험 중인 AI가 엑소브레인 하나뿐이고 그마저도 당장 돈이 되는 금융시장에만 집중하고 있다. 기초과학 연구에는 소홀한 국내의 현실을 엿볼 수 있는 대목이다. 엑소브레인을 개발한 솔트룩스의 한 관계자는 “정부의 기초연구 지원이 약하다 보니 과학계에서 순수연구에만 매진하기는 어려운 형편”이라며 “해외는 신경망 구축에 열을 올리고 있는데 우리나라는 기술 구현조차 못 하는 점이 안타깝다”고 말했다. /신다은기자 [email protected]
