나오며: latent space 라는 산책

이 글의 제목 — "into the latent space" — 의 정체를 마지막에 풀어드린다고 약속드렸죠. 이제 그 약속을 지킬 시간이에요.

단어들이 사는 동네

이런 상상을 해보세요. 우리가 알고 있는 모든 단어들 — 사과, 배, 자동차, 비행기, 사랑, 분노, 컴퓨터, 책 — 이 어떤 거대한 공간 안에 점으로 찍혀 있어요. 그 공간 안에서 비슷한 의미의 단어는 가까이 모여 있고, 다른 의미의 단어는 멀리 떨어져 있어요. 그래서 "사과" 와 "배" 는 가까운 동네에 살고, "사과" 와 "비행기" 는 멀리 떨어진 동네에 사는 식이에요.

  [탈것 동네]
   ● 비행기   ● 자동차
   ● 버스



                       [과일 동네]
                        ● 사과
                        ● 배
                        ● 포도

이런 의미 공간을 latent space(잠재 공간, 모델 안에 숨어 있는 단어들의 의미 좌표 공간) 라고 불러요. "잠재" 라는 건 — 우리 눈에 직접 보이지 않지만 모델 안에 분명히 존재한다는 뜻이에요.

이 공간 안에서는 신기한 일도 일어나요. "왕 - 남자 + 여자 = 여왕" 같은 단어 사이의 산수가 가능해요. 각 단어가 좌표라서, 좌표 사이의 빼기와 더하기가 의미 사이의 빼기와 더하기로 자연스럽게 연결돼요. 처음 이 사실이 발견됐을 때 연구자들도 놀랐어요. 사람이 일일이 가르친 적이 없는데, 의미의 기하학이 학습 결과로 자연스럽게 떠올랐거든요.

학습이 만든 지도

이 공간이 어떻게 생겼냐고요? 누가 그렸냐고요? 3화에서 본 학습이 만든 거예요. 빈칸 채우기 시험을 수십억 번 반복하다 보면, 모델 안에는 자연스럽게 — "어떤 단어들이 어떤 단어들 옆에 자주 등장하느냐" 의 패턴이 새겨져요. 그 패턴이 결국 단어들의 좌표가 돼요. 누가 일일이 좌표를 그려준 게 아니라 — 글의 흐름이 만든 자연스러운 지도예요.

flowchart TD A["3화의 빈칸 채우기 시험<br/>수십억 번 반복"] --> B["어떤 단어가<br/>어떤 단어 옆에 자주 나오나"] B --> C["단어들의 좌표 패턴이<br/>자연스럽게 떠오름"] C --> D["latent space<br/>(이 글에서 우리가 본 모든 일의 무대)"]

이 글에서 우리가 본 모든 일들 — 다음 단어 맞추기, 토큰의 모자이크, 룰렛으로 답 뽑기 — 이 사실 모두 이 latent space 안에서의 산책이었어요. ChatGPT 가 답을 만든다는 건 — 이 거대한 의미 공간 안에서 한 점에서 다음 점으로, 또 그 다음 점으로 발걸음을 옮기는 일이에요. 발자국이 모여서 한 문장이 되고, 한 문장이 모여서 그럴듯한 답이 돼요.

우리가 같이 걸은 길

12편의 본편에서 우리는 같이 이 잠재 공간의 작동 방식을 더듬어왔어요. 이제 돌아보면 — 우리도 모르는 사이 latent space 한가운데까지 들어와 있었어요. 시작은 휴대폰 자판이라는 익숙한 풍경에서 출발했지만, 끝에 와서는 단어들의 좌표 공간을 이야기하고 있어요. 제목 그대로 — 우리는 latent space 안으로 산책을 다녀온 거예요.

더 깊이 가고 싶은 분께

만약 이 길이 즐거우셨다면, 다음 길도 있어요.

llm-field-notes: 같은 저자의 자매편. 개발자·ML 관심층용. KV 캐시, 트랜스포머 추론, 메모리 대역폭, 에이전트 설계 같은 더 기술적인 주제를 다뤄요. 이 글의 비유 위에 한 층 더 깊이 올려놓고 싶으시다면 권해드려요.
위키백과의 "Transformer (machine learning model)", "Large language model" 항목도 무난한 다음 단계예요.
이미지 생성 AI 에 관심이 있으시다면, "diffusion model" 이라는 키워드부터 시작해보시면 좋아요. 다음 단어 맞추기와는 또 다른 — 잡음에서 그림을 점점 또렷하게 만들어가는 — 결의 작동 원리예요.

마지막 한 마디

AI 라는 단어는 너무 자주 쓰여서 이제는 슬로건처럼 느껴지기도 해요. 똑똑한 AI, 인류를 대체할 AI, 위험한 AI, 친구가 되어주는 AI. 미디어가 만들어내는 이미지들이에요. 그런데 그 이미지들 뒤에 있는 — 진짜 AI — 는 의외로 단순한 무언가예요. 다음 단어를 맞추는 거대한 흉내쟁이. 잠재 공간 안에서의 통계적 산책. 우리가 만든 글들이 모여 만든 거울.

이 거울 앞에 우리는 서 있어요. 거울이 우리의 모습을 비춰주고, 그 모습에 우리는 놀라기도 하고, 즐거워하기도 하고, 두려워하기도 해요. 그건 자연스러운 일이에요. 다만 — 거울 앞에 서 있는 우리 자신을 잊지는 마세요. 거울에 비친 모습이 아무리 인상적이라도, 결국 거울 앞에 서 있는 건 우리예요.

여기까지 함께 걸어주셔서 고맙습니다. 다음 길에서 또 만나요.

(끝)