AI 활용 역량, 영어로는 AI Literacy라고 부르는 것에 대해 요즘 계속 고민하고 있다. 어떤 AI 도구가 새로 나왔고 이런 것도 할 수 있다는 콘텐츠가 넘쳐난다. 내 고민은 이것이다. 어떻게 하면 우리가 AI를 활용해서 진짜 의미 있는 일에 더 집중하게 할 수 있을까. '우리가 왜 하고 있지?'라는 생각이 드는 일을 줄이고, 우리에게 의미있는 생각이나 결정에 에너지를 쓸 수 있게 하려면 AI에 관해 무엇을 어떻게 배워야 할까.
나는 한 방향으로 느껴지는 '교육'보다는 스스로 혹은 양방향의 느낌이 더 드는 '학습'이라는 단어를 더 좋아한다. 우리가 무엇을 어떻게 배우면 더 가치 있는 일을 할 수 있을까가 나의 관심 분야다.
나는 AI 도구보다 일의 본질이 중심이 되어야 한다고 생각한다. 새로운 도구가 쏟아져 나올 때마다 쫓아가기보다는 내가 해결하려는 문제를 먼저 명확히 정하고, 그 문제에 맞는 도구를 적용하는 게 순서라고 본다. 하지만 이 생각이 흔들릴 때가 있다. 새로운 기술 때문에 이전에는 아예 불가능했던 일이 가능해지는 걸 보면, 도구가 일의 본질을 바꿀수 있다는 것도 인정한다.
어느 쪽이든 한 가지는 분명하다. 좋은 도구를 잘 활용하면 같은 시간에 더 많은 일을, 더 높은 수준으로 할 수 있다. 그래서 기업들은 이제 AI를 잘 활용할 줄 아는 사람을 찾는다. 그런데 여기서 근본적인 질문이 생긴다. AI를 잘 쓴다는 것을 어떻게 알 수 있을까?
AI에 대해 객관식 시험을 내고 몇 점 이상을 받으면 자격증을 주면 될까? 1번, 2번, 3번, 4번 중에 고르는 방식으로 누군가의 AI 역량을 측정할 수 있을까? 이건 내가 아마존의 교육 및 자격증 부서에서 4년간 고민했던 문제였다. 무엇을 알고 있다는 지식을 측정하는 건 비교적 쉽다. 하지만 실제로 그걸 활용해서 문제를 해결할 수 있는지를 측정하는 건 전혀 다른 차원의 일이다.
왜 대부분의 시험은 지식을 묻는 방식일까. 내 생각에는 더 좋은 방법론을 아직 찾지 못해서다. 문제은행에서 문제를 뽑아서 정답을 고르게 하는 방식은 대규모로 운영하기 쉽고 채점이 객관적이다. 하지만 그게 실제 문제해결 능력을 보여주지는 않는다. 테스트에서 고득점을 하고 자격증도 받아온 사람을 채용했는데 실제 일은 잘 하지 못하는 경우를 종종 보게 된다.
AI 시대에 지식을 알고 측정하는것은 의미가 없다고들 한다. 몇 초 안에 판단을 내리고 조치를 취하지 않으면 죽는 환자를 눈앞에 둔 응급실 의사에게도 그럴까? 책을 찾아볼 시간도, AI에게 물어볼 시간도 없을때 사람을 살릴 수 있는 중요한 지식은 머릿속에 들어있어야 한다. 의사에게는 지식 테스트가 필요하다. 물론 전문적인 실제 역량은 몇 년간 잠 못 자며 인턴, 레지던트 시절의 극한 스트레스를 견디며 다양한 환자의 문제를 해결한 경험으로 생기겠지만.
기업에서도 다양한 방식으로 지원자의 실제 문제 해결 능력을 측정하려 한다. 개발자를 뽑을때 코딩 테스트를 본다. 문제를 주고 지원자가 어떻게 접근할지를 프로그램 코드로 쓰게 하고 과정을 평가한다. 컨설팅 회사의 케이스 인터뷰도 문제를 주고 어떻게 접근하는지를 본다. 꽤 가까이서 밀도 있게 평가할 수 있는데 객관적으로, 대규모 방식으로, 빨리 하기는 어렵다.
객관적 평가는 어디까지 가능할까
아마존에서 승진 평가를 할 때는 데이터 기반 의사결정을 강조한다. 여기서 데이터 포인트란 숫자 데이터만을 말하는 게 아니다. 이 사람이 어떤 상황에서 어떻게 일했는지를 보여주는 구체적인 일화, 그리고 그에 관련된 구체적인 데이터를 포함한다. 하지만 그 데이터를 어떤 렌즈로 보고 어떻게 해석하느냐에는 결국 평가자의 주관적 판단이 들어간다. 이 사람의 성과에서 다른 요인들을 모두 분리해서 순수하게 이 사람의 기여도가 얼마만큼인지 측정할 수는 없다. 사회과학에서 한 변수의 영향을 측정하기 위해 다른 변수들을 '통제'하는 것이 대부분의 실제 상황에서는 가능하지 않으니까.
투자 전문가의 성과 측정은 더 쉬울까? 수익률은 객관적인 숫자다. 하지만 이 사람이 투자를 정말 잘해서 수익이 난 건지, 누가 투자해도 잘 될 수밖에 없는 거시적 상황이었던 건지를 어떻게 알 수 있을까? 꾸준히 잘하는지를 알려면 3년 성과를 보면 될까, 5년, 10년을 봐야 할까. 투자와 비즈니스의 세계에서 크게 성공한 사람들도 늘 '운이 좋았다'는 이야기를 하는 것은 겸손하게 보이기 위해서만은 아닌 것 같다.
그래서 AI 역량은 어떻게 측정할 것인가
요즘 운동선수들의 성과 측정은 정말 과학적이다. 달리기 기록, 슛 성공률, 패스 정확도 같은 데이터를 카메라와 운동복과 운동화에까지 센서를 달아서 움직임 하나하나를 데이터로 만들어 수집하고 분석한다. 핵심은 무엇이 측정할 만한 중요한 성과 지표인지를 정의하는 것이다. 이 단계 고민에 심혈을 기울이면 모인 데이터에 대한 다양한 분석은 AI가 도와줄 수 있다.
AI 역량 측정도 비슷한 접근이 가능하지 않을까. 주어진 문제에 대한 최종 답뿐 아니라 접근 방법, 중간 과정까지 데이터로 수집한다면 단순히 정답을 맞혔는지가 아니라 어떻게 생각하고 어떤 시도를 했는지를 볼 수 있다.
이제는 오픈북 시험처럼 AI를 주고 문제를 해결하게 하는 방식이 더 현실적이다. 머릿속에 모든 걸 외우고 있어야 하는 시대는 지났다. 찾아보고, 도구를 활용해서 해결할 수 있으면 된다.
한 가지 흥미로운 생각이 든다. 기존에 없었던 측정 방법도 AI와 함께 고안할 수 있지 않을까. 사람이 찾고 생각할 수 있는 조합보다 훨씬 다양한 조합으로. AI에게 '이러이러한 역량을 객관적으로 측정할 수 있는 다양한 방법을 제안해줘'라고 하면 어떤 답이 나올까. 당분간 완벽하지 않겠지만, 그동안 쉽지 않다며 더 이상 깊이 파지 못했던 수준으로 파볼 수 있을 것 같다.
AI가 중요한 역량이고 커리어 기회를 잡기 위한 사람들을 유혹하는 AI 자격증이 벌써 등장했다. 취득하는 사람 입장에서 아무것도 없는 것보다는 뭐라도 보여줄 게 있는 게 나으니까. 하지만 그 자격증을 검토하는 기업의 입장에서 얼마만큼의 신뢰가 생길지는 의문이다.
이제는 전통적인 의미의 학위, 자격증보다는 실제 역량을, 문제해결 능력을 보여줄 수 있는 방법이 필요하다. 그게 새로운 학위, 자격증이든 다른 어떤 방식이든. 그리고 정답이 무엇인지만 쫓을것이 아니라, 다양한 방식의 해결책을 공유하고 조직의 경쟁력으로 축적해야 한다. 우리가 지금 만들어야 할 것은 또 하나의 AI 교육과정이 아니라, 다양한 접근 과정을 측정할 수 있는 방법이다.