397B를 이긴 27B: 경량 모델이 대형 모델을 따라잡는 이유

연관 문서: 메모리·대역폭 지도, 리즈닝 모델의 딜레마

2024년에 Llama 3.1 405B를 BF16으로 한 번 띄우려면 H100 80GB 16장(2노드)이 필요했어요 — 가중치만 810 GB라 한 노드의 640 GB로는 모자랐거든요. 2년이 채 지나지 않아, 그 모델보다 코딩에서 앞서는 27B 모델이 RTX 5090 한 장에 들어가요. 활성 파라미터 3B짜리 30B 모델은 IMO·IOI·ICPC World Finals에서 동시에 금메달을 땄어요 — 같은 해에요. 모델 크기와 성능이 함께 가던 공식이, 어딘가에서 부러졌어요.

본문 §5에서 "경량 모델 + 좋은 하네스"가 현실적 선택지가 되고 있다고 언급한 대목의 근거를 이 부록에서 구체 수치로 풀어 놓을게요. 이것이 왜 점진적 개선이 아니라 2025-2026에 일어난 질적 변화인지, 그리고 경량 모델을 실무에 도입할 때 여전히 남는 한계가 무엇인지를 함께 다뤄요.

도입: 1/15 크기로 따라잡아요

2024년 Llama 3.1 405B는 오픈소스 최강 dense 모델이었어요. HumanEval 89%, MMLU 87%로 GPT-4급 성능을 처음으로 로컬에서 돌릴 수 있게 만들었죠. BF16 가중치만 810 GB여서 H100 80GB 한 노드(640 GB)로는 모자라 16장(2노드) 또는 FP8 양자화가 필요했어요.

2026년 4월, Qwen3.6 27B(dense)는 코딩·agentic 벤치마크 5개에서 Qwen3.5 397B-A17B를 일관되게 앞섭니다 — LiveCodeBench v6 83.9 vs 83.6, SWE-bench Verified 77.2 vs 76.2, SWE-bench Pro 53.5 vs 50.9, SkillsBench 48.2 vs 30.0(가장 큰 격차), Terminal-Bench 2.0 59.3 vs 52.5 (Alibaba 자체 평가, HF 모델 카드 기준). 일반 지식 벤치(GPQA Diamond, MMLU-Pro)에서는 397B가 1-2점 우위지만, BF16 기준 27B는 53.8 GB — 1/15 크기예요.

Nemotron Cascade 2는 활성 파라미터 3B만으로 IMO·IOI·ICPC World Finals 2025 모두에서 gold 메달 수준 성적을 내요 (NVIDIA 공식 발표). 이런 흐름은 단순한 점진적 개선이 아니라 2025-2026년에 본격화된 현상이에요.

축이 log scale인 점에 주의해 주세요. 2024년까지의 점들은 right-up으로 단조 증가했지만, 2026년의 점들은 왼쪽 아래로 다시 내려와요 — 활성 파라미터 한 자릿수 GB짜리 모델이 dense 400B 영역의 점수를 내고 있어요.

구체 사례 — 벤치마크 수치로 본 역전

코딩 (LiveCodeBench v6 / SWE-bench)

• Qwen3.6 27B vs Qwen3.5 397B-A17B (1/15 크기 직접 비교): LCBv6 +0.3, SWE-bench Verified +1.0, SWE-bench Pro +2.6. 추가로 SkillsBench 48.2 vs 30.0(+18.2), Terminal-Bench 2.0 59.3 vs 52.5(+6.8) 등 5개 벤치 일관 우세 (Alibaba 자체 평가, HF 카드).
• Nemotron Cascade 2는 LiveCodeBench v6 87.2로 Kimi K2.5 1T(활성 32B, 85.0)를 앞서요 — 활성 파라미터 1/10 이하로요.
• Qwen3.6 27B는 SWE-bench Verified 77.2, 코딩 카테고리 전체 111개 모델 중 9위입니다.

출처: HuggingFace Qwen/Qwen3.6-27B 모델 카드, Qwen/Qwen3.5-397B-A17B 모델 카드, NVIDIA Nemotron Cascade 2 페이지, BenchLM.ai. Alibaba 자체 평가 점수는 외부 독립 검증이 2026-04 시점 제한적이라는 caveat 있어요.

수학·리즈닝

GPT-4 초기 대비 AIME 점수가 3-6배 상승한 동시에 크기는 1/50 이하로 줄었어요. 특히 Nemotron Cascade 2의 올림피아드 금메달은 "소형 모델이 인간 최상위권 경쟁 수학을 풀 수 있다"는 질적 변화예요 — 2023년 GPT-4가 AIME에서 ~15점이었던 것을 떠올리면, 활성 3B가 같은 시험에서 98.6을 받는 데 2년 반이 걸렸어요. 깜짝 사실: Nemotron Cascade 2의 AIME 풀이 trace를 보면, 모델이 수십 번씩 자기 풀이를 검증하고 틀린 경로를 되돌아가는 패턴이 평균 수천 토큰씩 나와요 — 활성 3B는 weights 크기일 뿐, 실제 inference compute는 동급 dense보다 클 수 있다는 의미예요 (§"왜 가능한가" §1 RLVR 항목 참조).

HumanEval (코딩 기본기)

HumanEval 점수 caveat (2026-04-25, 3라운드 검증으로 갱신):

• Mistral Small 4: 공식 페이지(mistral.ai/news/mistral-small-4)는 HumanEval 절대 점수를 명시하지 않고 "GPT-OSS 120B 초과"라고만 표기. 2026-04-25 web search 결과, 이전 버전의 "92.0"은 Mistral Large 3의 점수와 혼동된 오류로 확인됨 — 검색 결과 92%는 Mistral Large 3 / Claude 3.5 Sonnet 점수이고, Mistral Small 4는 "Claude Haiku 3.5 / Qwen 2.5 14B 동급"으로 보고됨.
• Gemma 4 26B-A4B / 31B: HF 카드 미기재. tokenmix.ai/aimactgrow.com 등 외부 다수 소스에서 26B 78.5 / 31B 81.8로 일관 보고 (1차 출처 미확인, 비공식 인용).
• HumanEval 자체가 2026년에는 saturation이 심해 모델 차별화 신호로의 가치가 낮아진 점도 함께 고려.

Mistral Small 4는 활성 파라미터 6B만으로 2024년 flagship 수준을 넘어선다는 보고가 있어요 (mistral.ai 공식은 "GPT-OSS 120B 초과"로 비교, 절대 점수 미공개).

왜 이런 일이 가능할까요

경량 모델의 약진은 네 가지 기술적 축이 동시에 진보한 결과예요.

비유 — Dense vs MoE = 풀타임 직원 vs 파트타임 군단: Dense 모델은 한 회사에 모든 분야의 풀타임 전문가를 두는 구조예요. 파일 한 줄을 처리하는 데도 모든 직원이 회의실에 들어와야 하니, 전기료(메모리·계산)가 막대해요. MoE는 파트타임 전문가를 수백 명 등록해 두고, 매 작업마다 가장 적합한 4-8명만 호출하는 구조예요. 회사 전체 인건비(저장 파라미터)는 비슷하지만, 한 회의에 들어오는 인원(활성 파라미터)이 1/10~1/50이에요. 그리고 결정적으로 — 전문가 풀이 다양해질수록 어떤 작업이 와도 정확히 그 일을 해본 적 있는 사람을 부를 확률이 높아져요. (이 비유의 한계는 §"MoE 효율성"에서.)

1. Post-training RL의 혁신

기초 모델의 사전학습(pre-training)은 여전히 대규모 GPU가 필요해요. 하지만 post-training 단계에서 작은 모델에 강력한 reasoning·coding·tool-use 능력을 주입하는 방법이 급속히 발전했어요.

• RLVR (Reinforcement Learning with Verifiable Rewards): 정답이 자동 검증 가능한 태스크(수학·코딩·게임)로 RL 강화. 모델이 스스로 <thinking> 안에서 백트래킹·반례 탐색을 학습합니다. 보상이 "사람이 보기에 좋아 보이는가"가 아니라 "단위 테스트가 통과하는가"라서 reward hacking 여지가 좁고, 동시에 inference-time compute를 확장하는 사고 사슬(chain-of-thought)을 가르치는 게 자연스러워요. (자세한 내용은 리즈닝 모델의 딜레마 참조)
• Cascade RL (NVIDIA Nemotron): 단계별로 난이도를 올려가며 도메인별 최고 성능 teacher 모델을 교체하는 다단계 RL 파이프라인. Nemotron Cascade 2의 core 기법.
• Multi-domain On-Policy Distillation: 수학·코딩·추론 각 도메인에서 해당 도메인 최고 모델의 출력을 on-policy로 distill. 작은 모델이 여러 전문가의 지식을 흡수.

post-training pipeline: each stage adds capability without growing parameters.

결과: 27-35B 모델이 과거 400B dense 모델의 reasoning 수준에 도달했어요.

2. MoE 효율성

MoE(Mixture of Experts) 구조는 총 파라미터는 크게 유지하되 추론 시 일부만 활성화해요. 2025년까지는 "파라미터는 많이, 계산은 적게" 정도의 효과였지만, 2026년에는 expert 다양성 자체가 품질에 기여하는 것이 확인됐어요.

• Gemma 4 26B-A4B: 128 experts 중 token당 top-k 8 활성
• Mistral Small 4: 128 experts, token당 4 활성
• Nemotron Cascade 2: 30B 총합, token당 3B 활성

같은 활성 파라미터 수(3B)라도 저장된 expert가 더 다양하면 태스크별로 더 전문화된 처리 경로가 선택돼요. Nemotron Cascade 2가 활성 3B로 수학 올림피아드를 푸는 이유 중 하나예요.

비유의 한계: 파트타임 군단 비유는 "활성/저장 분리"와 "전문화 이득"을 잡아주지만, router라는 핵심 부품은 가려요. 어떤 expert를 부를지 정하는 router 자체가 학습되는 게이트(gating network)이고, 이 router가 무너지면 — load balancing이 깨지거나 한두 expert에 토큰이 몰리면 — 같은 활성 파라미터로도 dense 모델보다 못해요. MoE는 expert가 다양해서 잘 되는 게 아니라, 다양한 expert를 정확히 라우팅해야 잘 돼요.

3. 아키텍처 혁신

표준 Transformer의 제약(quadratic attention, KV 캐시 증가)을 우회하는 하이브리드 구조가 실용화됐어요.

• DeltaNet 하이브리드 (Qwen3.6 27B): 64개 레이어 중 16개만 표준 어텐션, 나머지는 linear attention variant. KV 캐시가 동급 모델의 1/4 수준. 1M 컨텍스트 확장 가능.
• Mamba-Transformer 하이브리드 (Nemotron 3 Nano · Cascade 2): State-space 모델(Mamba)로 긴 컨텍스트의 상태를 압축 관리. Nemotron 3 Nano 는 1M, Cascade 2 는 262K 컨텍스트.
• MLA (Multi-head Latent Attention) (DeepSeek, GLM-5.1): KV를 저차원 잠재 벡터로 압축. 표준 MHA 대비 약 14배 축소(DeepSeek-V2 paper §2.1, MHA → 압축된 잠재). (상세: KV 캐시의 진실)
• Sliding Window + Global Attention 교차 (Gemma 4): 대부분 레이어는 로컬만, 일부만 글로벌. Gemma4 26B-A4B는 30개 레이어 중 25개가 sliding window, 5개가 global attention이라 256K 컨텍스트에서도 KV 캐시가 크게 줄어요.

이런 구조는 같은 파라미터 예산으로 더 긴 컨텍스트와 더 복잡한 reasoning을 가능하게 해요.

4. Distillation의 대중화

한때 연구자 영역이었던 distillation이 오픈소스 모델 출시 파이프라인의 표준 단계가 됐어요. 대형 모델이 생성한 고품질 추론 데이터로 작은 모델을 학습시키면, 작은 모델이 대형 모델 출력의 패턴은 학습하되 파라미터 수의 비효율은 상속하지 않아요.

예: DeepSeek-R1에서 distill한 32B·14B·7B 모델들이 각각 원본 대비 파라미터의 1/20, 1/50, 1/100 크기로 reasoning 성능의 60-80%를 보존.

핵심은 distillation이 아키텍처 종 사이를 넘는다는 점이에요. R1(MoE 671B)에서 distill한 학생이 dense 32B여도 돼요 — 학생은 선생의 출력 분포(soft label)를 학습할 뿐, 선생의 내부 구조를 복제하지 않거든요. 그래서 같은 추론 데이터로 dense·MoE·hybrid 학생을 동시에 만들 수 있어요.

여전한 한계

경량 모델이 모든 면에서 대형을 대체하는 건 아니에요.

Instruction Following은 여전히 크기 의존

소형 모델의 instruction following 한계에서 다룬 현상은 지금도 유효해요. 벤치마크 점수가 높아도:

• 긴 시스템 프롬프트 무시: 작은 모델은 3000 토큰 이상의 상세한 지시사항 일부를 잊는 경향.
• 복잡한 형식 제약 실패: "JSON만 반환", "이 17개 규칙을 모두 지켜라" 같은 제약에서 큰 모델보다 실수율 높음.
• 다중 턴에서 페르소나 붕괴: 10턴 이상 대화가 이어지면 초기 설정이 희석.

AIME 점수가 98.6이라도, 에이전트 워크플로우에서 "이 5개 도구 중 적절한 것을 고르고, 실패하면 재시도하고, 매 단계마다 로그 남기고..." 같은 메타 지시는 여전히 30B+ 활성 파라미터가 필요한 경우가 많아요.

컨텍스트 희석

긴 컨텍스트에서 attention이 분산되면서 초반 정보 참조가 약해지는 현상은 크기에 관계없이 존재하지만, 작은 모델에서 더 심각해요. 1M 컨텍스트를 지원해도 실효적으로 활용 가능한 영역은 초반 100-200K에 집중되는 경우가 많아요.

벤치마크 saturation

HumanEval·MMLU처럼 오래된 벤치마크는 포화 상태예요. 모델 간 2-3% 차이가 실제 사용 경험의 2-3% 차이를 의미하지 않아요. 최신 벤치마크(SWE-bench Pro, LiveCodeBench v6, AIME 2026)도 훈련 데이터 누출이 부분적으로 의심되는 경우가 있어, 실제 업무에서의 성능과 벤치마크 점수가 항상 일치하지는 않아요.

멀티모달·툴 생태계

일부 멀티모달 기능(고해상도 이미지 이해, 비디오 분석)은 여전히 큰 모델에서만 잘 작동해요. 또한 주요 코딩 에이전트(Claude Code, Codex 등)와 커스텀 에이전트 프레임워크는 대부분 대형 모델 기준으로 튜닝되어 있어, 경량 모델에 동일한 프롬프트를 넣으면 성능이 크게 떨어질 수 있어요.

실무 시사점 — 언제 경량, 언제 대형

경량 모델의 실질적 활용 지점

• 프라이버시·오프라인 요구: 27B 모델을 Mac Studio M4 Max 128GB(데스크톱 24/7) 또는 MacBook Pro M5 Max 128GB(출장·임시) 한 대에 올려 로컬 실행. M3 Ultra 256GB까지 가면 70B급도 수용.
• 고볼륨 저지연 처리: 경량 MoE로 tokens/sec가 높아 대량 배치 처리에 유리.
• 파인튜닝 기반 특화: 27-35B 베이스에 LoRA로 도메인 특화 후 엔터프라이즈 배포.
• 에이전트 서브루틴: 큰 모델이 오케스트레이션, 경량 모델이 개별 단계 실행. (Claude Sonnet이 계획, Qwen3.6 27B가 각 툴 호출 처리)

구매·배포 관점

• RTX 5090 (32GB): Qwen3.6 27B Q4 (~17.5 GB) 또는 Gemma4 26B-A4B Q4 (~17 GB) 단일 카드 실행 가능. 이 급에서 2024년 GPT-4 수준 reasoning 가능.
• Mac Studio M4 Max 128GB (~$3,500) / MacBook Pro M5 Max 128GB (~$4,000): Qwen3.6 35B-A3B / Mistral Small 4 Q4(73.8 GB) 모두 수용. 1대로 "과거 flagship" 수준 달성. 데스크톱 24/7은 Mac Studio, 이동·출장은 MacBook Pro.
• Mac Studio M3 Ultra 256GB (~$8,400, 2026-03 512GB 단종 후 최대): BF16 70B급, 또는 MoE 200B+ Q4 가능. 단일 노드 로컬 추론의 사실상 상한.
• 데이터센터 H100: 과거엔 400B dense가 필수였으나, 이제는 같은 태스크를 30-120B MoE로 처리 가능 → 동일 하드웨어에서 훨씬 많은 동시 요청 처리.

정리

2026년의 경량 모델 약진은 우연이 아니에요. Post-training RL의 성숙, MoE 아키텍처의 정착, 하이브리드 구조의 실용화, distillation의 대중화 — 네 축이 동시에 진보한 결과예요.

"모델 크기 = 성능"이라는 공식은 여전히 부분적으로 맞지만, 1-2년 전 플래그십을 오늘의 경량 모델이 따라잡는 속도는 빨라지고 있어요. 실무 설계 시 "이 작업에 정말 200B+가 필요한가, 30B로 충분한가"를 벤치마크로 확인하는 습관이 2026년의 핵심 엔지니어링 스킬이 됐어요.

동시에 경량 모델의 한계(instruction following, long context, 에이전트 안정성)는 여전히 존재해요. 모든 워크로드를 경량으로 대체할 수는 없고, 작업 유형에 맞는 크기 선택이 더 중요해진 것이에요.