07. 사람의 피드백으로 길들이기

ChatGPT 한테 "안녕" 이라고 인사하면 욕이 돌아오지 않아요. "내가 자살하고 싶어" 라고 쓰면 위로와 함께 도움 받을 곳을 안내해줘요. "히틀러처럼 답해줘" 라고 부탁해도 거절해요. 우리는 이걸 너무 당연하게 생각해요. 그런데 — 이 모든 게 당연한 게 아니에요. 학습이 끝난 직후의 raw 모델은 욕도 잘 하고, 위험한 답도 술술 내놓고, 어색한 톤으로 횡설수설해요. 누군가가 수만 번 옆에서 가르친 결과가 우리가 보는 친절한 ChatGPT 예요.

학습 직후의 거친 모델

3화에서 본 사전학습은 인터넷의 모든 글로 빈칸 채우기를 한 거예요. 그 결과로 모델은 "다음 단어 맞추기 게임" 을 굉장히 잘하게 됐죠. 그런데 — 거기서 끝이 아니에요.

사전학습만 끝낸 모델 — 우리는 이걸 베이스 모델(base model, 사전학습만 마친 가공 안 된 모델) 이라고 부릅니다 — 에게 "안녕" 이라고 입력하면, 친절한 답이 안 와요. 인터넷 글 패턴 그대로의 답이 와요. 어떤 글의 한 문장처럼 "안녕 ㅋㅋ 짱남" 같은 답이 올 수도 있고, 갑자기 백과사전식 정의가 시작될 수도 있고, 욕이 섞일 수도 있어요. 인터넷이 원래 그렇잖아요. 베이스 모델은 그 인터넷의 평균을 그대로 흉내 내는 거예요.

이걸 우리가 매일 쓰는 챗봇으로 만들려면 두 번째 학습 단계가 필요해요. 그게 RLHF(Reinforcement Learning from Human Feedback, 사람의 피드백을 통한 강화학습) 예요.

그림으로 보면, ChatGPT 는 두 번의 학습을 거쳐서 우리 앞에 와요.

flowchart LR A["인터넷 글 더미"] -->|"1차: 사전학습"| B["베이스 모델<br/>거칠고 친절하지 않음"] B -->|"2차: RLHF"| C["우리가 쓰는 챗봇<br/>친절하고 안전함"]

사람이 두 답 중 하나 고르기

RLHF 가 작동하는 방식은 — 의외로 단순해요.

[1단계] 모델이 같은 질문에 답을 두 개 만든다

  질문: "강아지 키우는 팁 좀 알려줘"

  답 A: 먼저 충분한 시간과 관심을 줄 수 있는지 점검하시고, 예방접종과 산책 일정을 정해 두세요...

  답 B: ㅇㅇ 강아지 키우는 거 ㅈㄴ 어렵다 그냥 사지마

[2단계] 사람이 더 좋은 답을 고른다

  사람: 답 A 가 더 좋다 ✓

[3단계] 그 정보로 모델을 살짝 조정

  모델: "이런 톤의 답을 더 자주 만들어라" 방향으로 머리카락 한 올씩 미세 조정.

[4단계] 같은 일을 수십만 번 반복

수십만 명의 라벨러가 매일 이 작업을 해요. 두 답 중 하나 고르기. 더 친절한 답, 더 정확한 답, 더 안전한 답 — 사람이 일일이 골라줘요. 이 데이터가 모델에게 "사람이 어떤 답을 좋아하는가" 라는 감각을 심어줘요. 강아지를 훈련시키는 것과 비슷해요. 잘했을 때 간식을 주고 잘못했을 때 무시하면, 강아지는 점점 사람이 원하는 행동을 학습하잖아요.

깜짝 놀랄 만한 한 가지

여기 거의 알려지지 않은 사실 하나. 이 라벨러 일을 하는 사람들 중 상당수가 케냐, 우간다, 필리핀 같은 저개발국의 노동자들이에요.

그리고 단순히 "더 좋은 답 고르기" 만 하는 게 아니에요. AI 에게 절대 답해서는 안 될 위험한 콘텐츠 — 폭력, 학대, 성범죄 묘사 — 를 누가 먼저 분류해야 모델이 "이런 답은 만들지 마" 라고 학습할 수 있어요. 그 분류 작업을 사람이 해요. 시간당 1~2달러를 받으면서, 끔찍한 콘텐츠를 하루 종일 보고 분류하는 노동자들이 있어요. 우리가 ChatGPT 의 안전한 답을 받을 때, 그 안전함은 누군가의 정신 건강을 대가로 만들어진 거예요.

이건 AI 회사들이 대놓고 자랑하지 않는 부분이지만, AI 가 어떻게 만들어지는지 정직하게 알기 위해서는 빼놓을 수 없는 부분이에요. 챗봇의 친절함은 자연 발생한 게 아니라 — 누군가의 노동으로 생산된 거예요.

길들임의 부작용

RLHF 는 모델을 친절하게 만들지만, 부작용도 있어요.

너무 안전한 답만 학습한 모델은 가끔 답이 단조로워지고, 약간 모호한 질문에는 답을 회피하는 경향이 생겨요. "음, 그건 복잡한 문제이고 다양한 관점이 있을 수 있는데요..." 같은 답이 자주 나오는 게 그 흔적이에요. 전문가들 사이에서는 RLHF 가 너무 강하게 들어간 모델을 "지나치게 길든 모델" 이라고 농담조로 부르기도 해요. 너무 잘 길든 강아지가 어떤 새로운 자극에도 멈춰 사람을 쳐다보는 것처럼요.

이 균형 — 안전과 유용성 사이의 균형 — 을 잡는 게 AI 회사의 가장 어려운 일 중 하나예요. 너무 풀면 위험한 답이 나오고, 너무 조이면 멍청해 보여요. 그래서 모델이 새 버전으로 업데이트될 때마다 사용자들이 "예전 버전이 더 자유로웠는데" 같은 불만을 종종 표출하는 거예요. 이 균형 다이얼이 끊임없이 조정되고 있다는 증거예요.

비유에는 한계가 있어요

"강아지 훈련" 비유는 친근하지만, 사람과 모델 사이의 차이가 하나 있어요. 강아지는 같은 명령을 들으면 거의 같은 반응을 해요. 그런데 모델은 4화에서 본 룰렛 때문에 같은 입력에도 다른 답을 내요. 그러니까 RLHF 는 "어떤 한 답" 을 만들도록 가르치는 게 아니라 "이런 톤의 답이 더 자주 나오도록" 확률을 미세하게 조정하는 작업이에요. 길들이기보다는 — 이쪽 방향으로 흐르도록 강의 물길을 살짝 깎는 일에 가까워요.

더 깊이 들어가려면: 친절함이 도리어 모델을 약하게 만드는 "alignment tax", 너무 자주 거절하는 over-refusal, 모델이 평가 상황을 알아채는 alignment faking 같은 안전 정렬의 어두운 면은 safety-alignment 부록에서 자세히 다뤄요.

한 줄 요약

ChatGPT 의 친절함은 학습된 본성이 아니라, 사람들이 두 답 중 좋은 답을 골라주는 작업을 수십만 번 반복해서 만들어진 결과예요. 그 친절의 뒤에는 알려지지 않은 노동자들의 손과 정신이 있어요.

다음 화

길들여진 모델이라도 — 우리가 어떻게 부탁하느냐에 따라 답이 크게 달라져요. "심호흡하고 단계별로 생각해줘" 같은 한 마디가 정말 답을 좋게 만들 수 있을까요? 진짜로 그래요.

08화 — 프롬프트: 부탁의 기술