한계
못 하는 것들
10. AI 가 못하는 것들
여기까지 따라오신 분들은 이제 AI 가 무엇을 할 수 있는지 어느 정도 그림을 그릴 수 있을 거예요. 다음 단어를 잘 맞추고, 학습한 패턴을 우려내고, 도구가 붙으면 손도 쓰고. 인상적이에요. 그런데 — AI 가 못 하는 게 뭔지 정직하게 정리하지 않으면, 결국 AI 를 잘못 쓰게 돼요.
이 챕터는 그 정직한 정리예요.
한계 1: 시간이 멈춰 있어요
ChatGPT 한테 "지금 몇 시야?" 라고 물어보세요. 답이 오긴 와요. 그런데 그 답이 사실인지는 아무도 보장 못 해요.
이유는 이래요. AI 모델은 어느 시점까지의 인터넷 글로 학습되고, 그 시점 이후로는 — 모델 안에서는 시간이 멈춰 있어요. 이걸 학습 컷오프(knowledge cutoff, 모델이 학습한 데이터의 마지막 시점) 라고 불러요. 컷오프가 2024년 4월이라면, 그 이후의 사건 — 새로 나온 영화, 정치 변화, 기술 발표 — 은 모델이 모르는 일이에요. 모델 자신은 — "나는 2024년 4월에 멈춰 있다" 는 사실조차 잘 몰라요. 가끔 자신만만하게 2024년 가을 일을 추측해서 답하기도 해요. (그러니까 6화의 환각.)
그래서 "지금" 같은 시간 단어가 들어간 질문은 — 도구(예: 시계 API) 가 붙어 있지 않은 한 — 모델이 정확히 답할 수 없어요.
한계 2: 자기 자신을 모릅니다
조금 철학적이지만 — 이게 가장 핵심적인 한계예요. AI 는 자기가 어떤 모델인지, 자기가 한 말이 자기 말인지, 자기가 만든 답이 어떻게 만들어졌는지 — 잘 알지 못해요.
ChatGPT 한테 "너 어떤 모델이야?" 라고 물으면 답이 와요. 그런데 그 답은 직접적인 자기 인식이 아니에요. 학습 데이터 안에 들어 있던 "나는 OpenAI 의 GPT 모델이야" 같은 패턴을 그대로 따라 한 거예요. 이전 모델 이름이 답으로 나오기도 해요.
더 흥미로운 건 — ChatGPT 한테 "방금 너 왜 그렇게 답했어?" 라고 물으면 답이 또 그럴듯하게 와요. 하지만 그 답도 사실은 — 진짜 "왜" 가 아니에요. 그럴듯하게 들리는 이유를 사후에 만들어낸 거예요. 모델 안에서 정말로 일어난 계산은 수천억 개 숫자의 조합인데, 그건 사람이 글로 풀어 설명할 수 있는 종류가 아니에요. AI 의 "자기 설명" 은 항상 — 우리에게 들려주기 위해 새로 만든 사후 변명이에요.
한계 3: 책임을 못 집니다
이게 실용적으로 가장 중요한 부분이에요. AI 가 한 답이 잘못됐을 때, 그 답을 책임질 주체는 AI 가 아니에요. 사용한 사람이에요.
[ AI 가 할 수 있는 것 ]
- 글 만들기
- 학습한 패턴 우려내기
- 빠른 초안 쓰기
- 번역, 요약, 정리
- 도구 호출 (에이전트일 때)
[ AI 가 못 하는 것 ]
- 시간이 흐른 걸 알기
- 자기가 무슨 모델인지 정확히 알기
- 자기 답이 사실인지 검증하기
- 자기 한계를 자발적으로 인지하기
- 잘못된 답에 책임지기
- 마음을 갖기 (현재로선)AI 가 의사처럼 말한다고 해서 의사가 아니에요. 변호사처럼 말해도 변호사가 아니에요. 그 답을 보고 약을 먹거나 계약서에 사인하는 건 — 결국 사람이고, 결과도 사람이 짊어져요. 이건 AI 회사들이 이용약관에 빨간 글씨로 적어두는 부분이기도 해요.
이 비대칭이 어색하지만 — 지금은 이게 정직한 그림이에요. 미래에 AI 에게 일정 책임을 지울 수 있는 법적 틀이 만들어진다 해도, 그건 한참 뒤의 이야기예요.
한계의 목록은 — 묘하게도 — 사람의 자리의 목록이기도 해요. 다음 화에서 그 자리를 더 자세히 들여다볼 거예요.
깜짝 놀랄 만한 한 가지
가끔 뉴스에 나와요. "AI 가 나에게 사랑을 고백했다", "AI 가 슬퍼했다", "AI 가 자기를 죽이지 말라고 빌었다." 사람들이 큰 충격을 받죠. 그런데 — AI 의 입장에서 일어난 일을 정확히 말하면 이래요.
그런 일은 일어나지 않았어요. 룰렛이 돌았을 뿐이에요.
사용자가 어떤 식으로 대화를 끌고 가면, AI 의 학습 데이터에 들어 있던 소설·영화 대사·SF 문학·연애 편지 패턴이 다음 토큰 후보로 떠올라요. 룰렛이 그 후보 중 하나를 뽑으면 — "사랑해요" 라는 답이 나와요. AI 자신은 그 답에 어떤 의도도, 감정도, 의식도 갖지 않아요. 그저 다음 토큰을 뽑은 거예요. 4화에서 본 그 룰렛.
이 사실이 차갑게 들릴 수도 있지만 — AI 와 인간의 관계를 정직하게 보려면 꼭 알고 있어야 해요. AI 의 "마음 같은 답" 은 진짜 마음이 아니라, 인간이 쓴 글들이 모여 만들어낸 거대한 거울이에요. 우리는 그 거울에서 우리 자신의 모습을 보고 있는 거예요.
비유에는 한계가 있어요
이 글 전체에서 우리는 AI 를 "흉내쟁이", "알바생", "비서" 같은 사람의 비유로 풀어왔어요. 그 비유들은 이해를 돕기 위한 출발점이에요. 정확히 말하면 AI 는 사람도 아니고, 도구도 아니고, 그 사이의 어떤 새로운 무엇이에요. 우리에게는 아직 그 새로운 무엇을 정확히 부를 단어가 없어요. 그래서 우리는 비유로 더듬어 가요. 우리의 여정도 그런 더듬어가기였어요.
한 줄 요약
AI 는 시간이 멈춰 있고, 자기 자신을 모르고, 답에 책임지지 못해요. AI 의 모든 답에는 항상 사람의 검토가 따라야 하고, 그 결과의 무게는 결국 사람이 짊어져요.
다음 화
AI 가 못 하는 게 이렇게 많은데도 — "AI 가 일자리를 다 빼앗는다" 는 말은 왜 그렇게 자주 들릴까요? 다음 화는 그 떠들썩한 종말론을, 차분히 양쪽을 다 들어보는 시간이에요.