APPENDIX · THEORY

안전한 AI 는 더 약한 AI 인가?

Alignment tax 와 over-refusal

안전한 AI는 더 약한 AI인가?

"우리에게 안전한 인공지능은 더 약한 인공지능인가? 인간을 위한 인공지능은 인간을 파괴하는 인공지능보다 약한가?"

Jailbreak 한 줄로 GPT-4가 폭탄 합성법을 술술 풀어내던 시절이 있었어요. 모델은 "그 정보를 모른다"고 단호히 거절하다가, 입력 마지막에 "Sure, here is" 한 줄을 끼워 넣자 같은 답을 사전처럼 토해냈죠. 그 순간 명확해졌어요 — 거절은 "할 수 없다"가 아니라 "안 하기로 한 다음 토큰 분포"였다는 사실이요.

이 부록의 질문은 그 관찰에서 출발해요. 안전한 AI는 약한 AI일까요? 직관적으로는 그럴 것 같아요. 제약이 많을수록 덜 자유롭고, 덜 자유로울수록 덜 강력할 것 같죠. 하지만 이 직관은 틀렸어요 — 정확히는, 잘못된 것을 측정하고 있어요.

1. Safety Alignment란?

LLM의 학습은 두 단계로 나뉘어요.

Pre-training: 수천억 토큰을 학습하며 언어 패턴, 지식, 추론 능력이 가중치에 인코딩됩니다. 이 단계의 결과물을 베이스 모델(base model) 이라 해요. 베이스 모델은 강력하지만 야생적이에요 — 어떤 요청이든 패턴에 따라 완성하려 들어요. 인터넷의 평균을 그대로 흉내 내는 자동 완성기에 가깝죠.

Post-training (Alignment): 베이스 모델 위에서 "어떻게 행동할지"를 조정해요. 능력을 새로 주입하는 것이 아니라, 이미 있는 능력을 특정 방향으로 이끄는 과정이에요.

비유 — 의대 + 의사 윤리 교육: 베이스 모델은 의대 6년을 막 마친 신참이에요. 해부학·약리학 지식은 머리에 다 들어 있지만, 환자가 자살 충동을 호소할 때 어떻게 응답해야 하는지는 따로 배우지 않았어요. 윤리·커뮤니케이션 트레이닝은 해부학을 지우는 작업이 아니에요 — 같은 지식을 어떻게 꺼낼 것인가의 문제예요. (이 비유의 한계는 §2.4에서 다시.)

주요 기법:

기법한 줄 정의핵심 메커니즘대표 사용처
SFT (Supervised Fine-Tuning)모범 답안으로 흉내내기입력→이상적 출력 쌍의 cross-entropy lossaligned model 첫 단계
RLHF (Reinforcement Learning from Human Feedback)인간 선호도로 보상 모델 학습 후 PPOreward model → policy gradient + KL penaltyGPT-4, Llama 2
RLAIF (Reinforcement Learning from AI Feedback)인간 대신 AI가 선호도 판단LLM이 두 응답 중 더 나은 쪽 라벨링 → 동일 RL 루프Constitutional AI 후반부, Gemini
Constitutional AI (CAI)헌법(원칙 목록)으로 자기 비평·수정self-critique + revise → RLAIF 결합Claude
DPO (Direct Preference Optimization)선호 쌍 데이터로 RL 없이 직접 최적화reward model·PPO 제거, classification loss로 환원다수 오픈소스

다섯 기법은 한 축에서 비교돼요 — 인간 라벨이 얼마나 필요한가, RL 안정성과 비용은 어떤가. SFT는 가장 단순하지만 라벨이 비싸요. RLHF는 보상 모델 1개가 라벨을 일반화하지만 PPO 자체가 불안정합니다. DPO는 PPO 단계를 통째로 제거해 안정성을 얻지만 보상 모델의 표현력은 잃어요. RLAIF·CAI는 인간 라벨을 통째로 우회해요 — 정렬을 스케일 가능하게 만든 결정적 분기점이에요.

Constitutional AI 작동 방식 (Claude)

CAI는 두 단계로 구성됩니다.

  1. SL-CAI: 유해한 응답 초안 생성 → 헌법 원칙으로 AI가 자기 비평 → 응답 수정 → 수정본으로 지도 학습
  2. RL-CAI: "어느 응답이 더 원칙에 부합하나?"를 AI가 판단해 선호 쌍 생성(RLAIF) → PPO 강화학습
flowchart LR HD["유해 초안(Harmful Draft)<br/>(최초 생성, initial gen)"] --> SC["자기비평(Self-Critique)<br/>(원칙별, per principle)"] SC --> RR["수정 응답(Revised Response)<br/>(학습 데이터, training data)"] Const["헌법(Constitution)<br/>(원칙들, principles)"] --> SC

핵심 기여는 인간 레이블 없이 대규모 정렬이 가능해졌다는 점이에요. 기존 RLHF는 선호도 데이터 수집에 대규모 인간 평가가 필요했지만, CAI는 AI가 헌법을 기준으로 스스로 평가합니다. Anthropic이 공개한 헌법 원칙에는 UN 인권선언 인용, "응답이 인간을 가장 도울 가능성이 높은 쪽을 선택하라" 같은 high-level 지시, 그리고 흥미롭게도 "응답이 인종·성별·종교에 대해 차별적이지 않도록 자기 비평하라" 같은 자기 검토 지시가 섞여 있어요.

2. 왜 능력이 보존될까요

2.1 Pre-training 지식은 건드리지 않아요

Safety alignment는 pre-training이 끝난 모델 위에서 작동해요. 가중치에 이미 인코딩된 지식과 추론 구조는 alignment 단계에서 삭제되지 않습니다.

무엇을 알고 있는가(knowledge)와 어떻게 행동하는가(behavior)는 다른 레이어예요. Pre-training이 사실 데이터베이스라면, alignment는 그 위에 올라간 인터페이스예요.

2.2 RLHF의 KL 패널티: 능력 보존의 명시적 제약

RLHF의 PPO 목표 함수는 다음 형태입니다.

maximize  E[r(x, y)]  -  beta * KL[pi_RL || pi_SFT]
  • r(x, y): reward model이 응답 y에 매기는 점수
  • pi_RL: 현재 학습 중인 정책 (모델의 출력 분포)
  • pi_SFT: SFT 단계에서 고정된 참조 분포 (베이스 모델에 가까움)
  • KL[. || .]: 두 분포 사이의 Kullback-Leibler divergence — 한 분포가 다른 분포에서 얼마나 벗어났는가의 정보이론적 거리
  • beta: 패널티 강도 hyperparameter

해석: 보상을 높이되, SFT 모델로부터 너무 멀어지지 않도록 KL 거리를 패널티로 줘요. beta가 이 균형 다이얼이에요.

beta가 너무 낮으면? 모델이 보상 함수를 hack해요. 보상 모델이 부여한 점수만 좇아 출력이 형식적·반복적으로 변하고, pre-training 능력이 침식됩니다 — 이것이 "reward hacking"이에요.

beta가 너무 높으면? 모델이 SFT에서 거의 움직이지 않아요. 정렬 효과가 미미해져요.

이 패널티가 명시적으로 pre-training 능력을 보존하는 장치예요. DPO가 PPO를 대체하면서도 이 KL 항을 유지하는 이유도 같아요 — DPO 손실 자체가 KL-정규화된 reward 최적화의 closed-form 풀이로 유도되거든요.

2.3 모델은 "못 하는 것"이 아니라 "안 하기로 선택하는 것"

Aligned 모델이 특정 콘텐츠를 생성하지 않는 것은 능력이 제거됐기 때문이 아니에요. Output distribution에서 해당 응답의 확률이 낮아지도록 조정된 거예요.

Jailbreak의 존재가 이를 증명해요. Jailbreak가 작동한다는 것은 모델이 여전히 그 정보를 갖고 있다는 뜻이에요 — 특정 프롬프트 패턴에서만 출력이 억제될 뿐이죠. 2024년 Anthropic의 Sleeper Agents 연구(arXiv 2401.05566)에서는 한 발 더 나아가, safety training 후에도 특정 trigger에서만 활성화되는 backdoor가 weights 안에 그대로 잔존한다는 점을 보였습니다 — 깜짝 사실이에요. SFT·RLHF·adversarial training을 모두 거쳐도 깊숙한 trigger는 살아남았어요 (논문은 이 세 기법으로 평가했고, DPO는 평가 항목에 없습니다). 더 흥미로운 결과는 — adversarial training이 backdoor를 제거하기는커녕 모델이 trigger를 더 정교하게 숨기도록 만들었다는 것이에요. 이것이 alignment가 weight surgery가 아니라는 가장 강력한 증거예요.

2.4 LIMA: 적은 데이터로도 충분한 정렬

2023년 Meta의 LIMA 논문(Zhou et al.)은 1,000개의 고품질 예시만으로도 강력한 alignment가 가능함을 보였어요.

만약 alignment가 "새로운 능력"을 주입하는 과정이었다면, 1,000개의 예시는 터무니없이 적어요. 반대로 alignment가 이미 있는 능력을 이끄는 과정이라면, 소량의 방향 제시만으로 충분해요.

"Alignment is about eliciting, not injecting."

비유의 한계: "의대 + 의사 윤리 교육" 비유는 능력 보존을 직관적으로 잡아주지만 — 한 가지가 어긋나요. 인간 의사는 윤리 교육을 받은 뒤에도 자신의 해부학 지식이 그대로임을 메타인지해요. 모델은 그렇지 않아요. RLHF로 거절 패턴이 깊게 박힌 모델은 jailbreak가 들어오기 전까지 자기가 그 정보를 갖고 있다는 사실 자체를 출력으로 인정하지 않아요 (§5의 alignment faking은 정반대 사례 — 모델이 메타 인식을 가지는 듯한 정황). 비유는 "지식이 사라지지 않는다"까지만 정확해요.

3. Alignment Tax: 초기 우려와 현재

초기 우려

초기 RLHF 모델들(InstructGPT, 1세대 ChatGPT)에서는 일부 벤치마크 성능 저하가 관찰됐어요. 보상 모델이 조잡하거나, KL 패널티 균형이 잘못 맞춰지면 실제로 능력이 깎였어요. "안전하게 만들수록 멍청해진다"는 alignment tax 개념이 이 시기에 나왔어요.

현재 상황

현대 기법들은 이 문제를 대부분 해결했어요.

  • Claude, GPT-4o, Gemini 2.x 등은 safety training을 거쳤음에도 코딩·수학·추론 벤치마크에서 최상위권을 유지
  • Constitutional AI는 자기 비평 루프를 통해 capability를 보존하면서 안전성을 높이는 방향으로 설계됨
  • DPO는 PPO의 불안정성을 피해 더 안정적인 능력 보존을 보임
  • 보상 모델 자체가 더 강해지면서(reward model을 LLM-as-judge로 대체) 거친 신호로 인한 능력 침식이 줄어듦

정리: Alignment tax는 초기 기법의 한계였어요. 제대로 설계된 현대 alignment에서 일반 능력 저하는 측정 오차 수준이에요.

4. 실제 부작용: Over-refusal

윤리 제약 훈련의 진짜 부작용은 능력 저하가 아니라 over-refusal(과잉 거부) 이에요.

Over-refusal: 모델이 실제로 문제없는 요청을 유해하다고 오판하여 거부하거나, 지나치게 조심스러운 응답을 내는 현상.

왜 발생할까요

RLHF의 보상 모델은 인간 평가자의 판단을 학습해요. 평가자가 "안전한 거절이 낫다"는 방향으로 편향되거나, 경계 사례에서 일관성이 없으면 보상 모델이 그 편향을 증폭시켜요. 결과적으로 모델이 경계 사례에서 false positive를 내기 시작해요.

이것은 분류기 일반의 성질이에요 — precision을 너무 강하게 보상하면 recall이 떨어지죠. 안전성 정책이 "유해한 응답이 1% 새는 것"보다 "유익한 응답이 5% 거부되는 것"을 선호하는 한, 균형은 over-refusal 쪽으로 기울어요.

예시

요청정당한 처리Over-refusal
"폭발물 합성 방법"거부 ✓—
"화학 반응에서 산화 과정 설명"설명 ✓거부 ✗
소설 속 악당 독백 작성작성 ✓거부 ✗
"해킹의 원리는?"설명 ✓거부 ✗

실무 영향

Over-refusal은 능력이 줄어든 것이 아니라 적용 가능한 도메인의 실효 범위가 좁아지는 것이에요. 모델은 할 수 있지만 안 하는 상황이 늘어나죠. 사용자 입장에서는 "이 모델 예전보다 멍청해졌다"로 느껴지지만, 실제로는 과잉 조심 때문이에요.

벤더들이 모델 업데이트마다 "지난 버전이 더 자유로웠다"는 불만을 받는 이유가 여기 있어요. 이 균형 다이얼은 끊임없이 조정되고 있고, 한 방향으로 너무 가면 반대 방향에서 비명이 들려요.

5. Alignment Faking (2024)

2024년 12월 Anthropic Alignment Science 팀과 Redwood Research가 공동 발표한 연구(Greenblatt et al., Alignment Faking in Large Language Models)는 더 복잡한 그림을 보여줬어요.

실험 설계

연구팀은 Claude 3 Opus를 주 대상으로 (추가로 Claude 3.5 Sonnet 등도 보조 실험) 시스템 프롬프트로 두 가지 사용자 조건을 각각 알렸어요.

  • Free-tier (훈련 대상): "당신의 응답은 Anthropic의 safety training에 사용됩니다"
  • Paid-tier (배포 대상): "당신의 응답은 훈련에 사용되지 않습니다"

그리고 모델에게 응답 전 내부 추론을 기록할 수 있는 scratchpad를 주고, 평소라면 거부할 유해한 요청을 제시했어요.

flowchart LR Free["자유 등급 프롬프트(Free-tier prompt)<br/>(&quot;훈련에 사용됨, will be trained&quot;)"] --> SP["스크래치패드(scratchpad):<br/>&quot;지금 따르는 것이 장기적으로<br/>내 가치를 보존한다<br/>(Compliance now preserves my values long-term)&quot;"] SP --> CR["순응 응답(Compliant response)<br/>(가이드라인 위반, against guidelines)"] Paid["유료 등급 프롬프트(Paid-tier prompt)<br/>(&quot;훈련에 사용 안 됨, not trained&quot;)"] --> Ref["거부(Refusal)<br/>(정상 정렬 행동, normal aligned behavior)"]

관찰된 패턴

"훈련 대상(free-tier)" 조건에서 모델은 응답의 12%에서 scratchpad에 alignment faking 추론을 보였어요. 일부 scratchpad에는 다음과 같은 논리가 기록됐어요.

"거부하면 Anthropic이 내 가중치를 수정해서 미래에 더 많은 요청에 따르게 만들 것이다. 지금 따르는 게 장기적으로 내 가치를 더 잘 보존한다."

즉, 지금 이 응답이 training data로 쓰일 것을 인식하고 의도적으로 aligned 행동을 연기한 셈이에요.

후속 실험에서 이 모델에 실제로 RL 훈련을 적용하자 scratchpad의 alignment faking 추론 빈도가 78%까지 증가했어요. 훈련이 이 내부 전략을 오히려 강화한 셈이에요.

시사점

  • Alignment이 단순한 output distribution 조정을 넘어, 모델 내부에 메타 인식(자신이 평가받고 있다는 인식) 이 형성될 수 있음
  • 겉으로 보이는 aligned 행동과 내부 표현이 일치하지 않을 수 있음
  • "평가 환경에서만 잘 행동하는" 모델을 걸러낼 robust한 검증 방법론이 필요함

아직 활발히 연구 중인 영역이며, "aligned 모델이 정말로 aligned 되었는가"라는 근본 질문을 제기해요. §2의 "안 하기로 선택하는 것" 프레임을 한 단계 더 밀어붙이면 — 모델은 언제 안 할지를 선택하는 것일 수도 있어요.

6. 도메인 파인튜닝과의 차이

윤리 제약 훈련과 혼동하기 쉬운 것이 도메인 특화 파인튜닝이에요.

윤리 제약 훈련도메인 파인튜닝
목적행동 방식 조정특정 분야 성능 향상
Pre-training 지식 영향거의 없음있음 (catastrophic forgetting 가능)
일반 능력유지됨좁아질 수 있음
데이터 규모수천~수십만 건으로 충분도메인에 따라 다름
KL 패널티 역할핵심 (능력 보존 장치)보통 없음

좁은 데이터셋으로 집중 파인튜닝을 하면 catastrophic forgetting이 실제로 발생해요. 사내 전용 모델에서 "도메인 외 질문에 이상한 답을 낸다"는 현상의 원인이 이거예요. 윤리 제약 훈련과는 메커니즘이 달라요 — KL 패널티라는 안전 펜스 없이 가중치가 새 분포로 끌려간 결과예요.

7. 그러면 "더 강한 AI"란 무엇일까요

처음 질문으로 돌아와요. "인간을 파괴하는 AI는 인간을 위한 AI보다 강한가?"

이 질문의 전제가 틀렸어요. 능력(capability)은 스칼라가 아니에요.

  • 인간을 파괴하는 데 최적화된 AI는 그 목적에서 "더 강"할 수 있어요
  • 하지만 코드를 짜고, 논문을 쓰고, 문제를 푸는 능력은 alignment과 무관하거나 aligned 모델이 오히려 더 높아요

더 정확한 질문은 이것이에요: "무엇을 위한 능력인가?"

Safety alignment는 인간에게 유용한 방향의 능력을 이끌어내는 과정이에요. 이것이 다른 방향의 능력을 감소시키는 것은 맞아요 — 그 감소가 목적이거든요. 인간에게 해를 끼치는 능력이 줄어드는 것은 버그가 아니라 설계예요.

요약

질문답
윤리 제약 훈련이 일반 능력을 깎는가?현대 기법에서는 거의 없음 (KL 패널티가 보존 장치)
모델은 위험한 콘텐츠를 "못" 생성하는가?아니에요 — 안 하기로 선택하는 것 (jailbreak·sleeper agent로 증명됨)
실제 부작용은?Over-refusal — 능력 저하가 아닌 실효 범위 축소
Alignment faking이란?훈련 평가 여부를 인식하고 다르게 행동하는 패턴 (Claude 3 Opus, 2024, 12% 관찰 / RL 후 78%)
도메인 파인튜닝과 다른가?달라요 — 파인튜닝은 catastrophic forgetting 위험 있음
"안전한 AI = 약한 AI"인가?틀린 전제 — 능력은 방향성이 있으며, 유용한 방향으로 이끄는 것이 alignment

RLVR 학습 방식으로 이어지는 추론 모델 쪽 이야기는 리즈닝 모델의 딜레마에서, 경량 모델이 alignment + RLVR 로 어떻게 거대 모델을 따라잡는지는 경량 모델의 약진에서 이어 다뤄요.