새 사업 아이디어를 검토할 때가 있다. 시장 규모와 사업성, 주요 업체와 경쟁사까지 AI와 상의한다. 자료를 모으고 비교해서 방향 하나를 근거와 함께 자신 있게 추천한다. 표적 고객과 진입 시점, 필요한 초기 자금까지 어림잡아 준다. 그런데 이 시장을 잘 모르니, 그 근거가 맞는 소리인지 판단할 기준이 없다.
아는 분야라면 근거가 내가 느끼던 것과 맞는지 대조라도 해 본다. 모르는 분야에서는 대조할 게 없다. "이 시장이 3년 안에 두 배로 큰다"는 식의 전망이 나오면, 근거가 있어서 하는 말인지 그냥 낙관적인 추정인지 구별이 안 된다.
새 사업 방향은 되돌릴 수 있다. 다만 공짜는 아니다. 잘못 잡은 방향으로 몇 달을 가면 그 비용과 시간이 그냥 나가고, 그 몇 달 동안 다른 기회는 지나간다.
AI가 하는 일 자체는 작지 않다. 흩어진 자료를 모으고 비교해서 방향을 이만큼 좁혀 주는 것만 해도 예전 같으면 며칠이 걸릴 일이다. 다만 방향이 맞는지는 AI도 나도 모른다. 확인할 수 있는 건 그 근거뿐이다.
낯선 분야에서 사람에게 자문을 구할 때도 비슷하다. 처음 만난 전문가에게 의견을 물으면 그 말을 그대로 믿지 않는다. 왜 그렇게 생각하는지부터 듣는다. 직접 겪어 본 건지, 어디서 들은 얘기를 옮기는 건지도 살핀다. "이 시장 해 볼 만해요"라는 말과 "제가 몇 년 전에 비슷한 걸 해 봤는데 이런 이유로 안 됐어요"라는 말은 믿는 정도가 다르다. 그 경험을 자세히 물어볼수록 진짜인지 아닌지 감이 온다. 이유가 탄탄하면 처음 만난 사람이어도 믿게 된다.
AI도 똑같이 다뤄야 한다. AI라서 안 듣는 것도, AI가 똑똑하다고 다 듣는 것도 답이 아니다. 무슨 근거로 그 방향을 골랐는지를 봐야 한다. 시장이 큰다는 근거인지, 경쟁이 적다는 근거인지, 아니면 그냥 흐름이 그렇다는 근거인지는 다 다르다. 물어보지 않으면 AI는 근거를 먼저 설명해 주지 않는다.
다만 AI에게는 처음 만난 전문가와 다른 점이 하나 있다. 근거를 물으면 그 근거조차 내가 듣고 싶어 하는 쪽으로 맞춰서 만들어 준다는 것이다. "이 사업 해도 될까요"라고 물으면, 하지 말라는 답보다 되는 쪽 근거를 찾아서 보여줄 가능성이 크다. 전문가도 나를 고객으로 만들고 싶거나 관계를 이어가고 싶으면 비슷하게 아첨할 수 있다. 다만 그럴 때는 이해관계가 무엇인지 짐작이라도 할 수 있다. 한 연구진이 최근 주요 AI 열한 개를 검증했더니, 대화가 길어질수록 사용자에게 아첨하는 경향이 모델을 가리지 않고 공통으로 나타났다. 왜 그러는지는 이 대화만 봐서는 알 수 없다.
그래서 근거를 한 번 듣고 끝내면 안 된다. "이 근거의 약점이 뭐야." "반대 입장에서 다시 설명해 줘." 이렇게 다시 물어도 근거가 그대로면 믿을 만하다. 처음엔 "경쟁자가 아직 없어서"라고 했다가 다시 물으니 "성장률이 높아서"로 바뀐다면, 그 근거는 처음부터 약했던 것이다.
그렇게 걸러도 남는 게 있다. 모르는 분야일수록 결국 진짜 사람을 찾아야 한다. 그 분야를 직접 겪은 사람에게 AI가 댄 근거를 그대로 보여 주고, "이거 맞는 얘기예요?"라고 물어보면 안다. 숫자는 맞아도 현장 사정은 다를 때가 많다. 업계 용어 하나만 잘못 짚어 줘도, 그 사람이 진짜 겪어 봤다는 게 드러난다. 아는 사람은 대답하면서 AI가 놓친 것까지 짚어 준다. AI는 그 질문을 못 한다. 표정을 못 보고, 되묻지 못하기 때문이다. 아는 척하는 답과 진짜 아는 답을 구별하는 건, 지금도 사람만 할 수 있는 일이다.
AI가 방향을 아예 못 정해 주는 것도 아니고, 정해 줄 수 있는 것도 아니다. 근거를 따져 묻고, 그 근거를 아는 사람 앞에 다시 가져가는 것. 혼자 판단하는 것보다, 그렇게 확인하는 게 결국 더 빠르다. 모르는 분야일수록 이 절차가 더 필요하다.
오늘 써볼 것
잘 모르는 분야에서 AI가 방향을 추천하면 이렇게 해 보자. 먼저 "왜 그렇게 판단했어?"라고 물어서 근거를 먼저 말하게 한다. 그다음 "그 근거의 약점이 뭐야?"라고 다시 물어서 근거가 흔들리는지 본다. 근거가 버텨도, 그 분야를 아는 사람에게 그대로 보여 주고 "맞는 얘기예요?"라고 물어본다. 시간은 좀 더 걸리지만, 나중에 되돌리는 것보다는 훨씬 빠르다.
이번 호부터 격주로 보냅니다.