모델 사후 학습

이 책의 핵심 공식은 에이전트 = LLM + 컨텍스트 + 도구입니다. 이 장에서는 ‘두뇌’인 LLM 자체로 시선을 돌려, 사후 학습을 통해 모델이 컨텍스트와 도구를 더 효과적으로 사용하고 에이전트 시스템 전체의 역량을 높이는 방법을 살펴봅니다. 6장 말미에서는 평가 체계와 시뮬레이션 환경이 사후 학습의 두 초석이라고 설명했습니다. 평가 환경은 학습에 연습장을 제공하고, 평가 지표는 학습의 목표를 제시합니다. 이 장에서는 그 토대 위에서 모델 가중치를 실제로 바꾸는 방법, 즉 역량을 파라미터에 새기는 방법을 다룹니다.

이 장은 강화 학습이나 모델 학습에 관한 배경지식이 없는 독자를 전제로 합니다. 경사도나 정책 최적화를 알고 있다고 기대하지 않습니다. 대신 모델은 애초에 어떻게 학습되는가라는 질문에서 출발해 각 단계의 목적과 작동 원리, 해결하는 문제를 분명히 설명합니다. 이 장을 마치면 다음 질문에 답할 수 있을 것입니다. 모델의 역량은 어떤 단계에서 만들어지는가? 각 단계는 무엇을 하는가? 왜 흔히 이 순서로 진행하며 어떤 조건에서 달라질 수 있는가? 여러분의 프로젝트에서는 어디에 노력을 집중해야 하는가?

먼저 가장 중요한 지도를 그려 보겠습니다. 현대 모델의 역량 개발은 흔히 세 단계로 설명합니다. 사전 학습은 기반을 마련하고, SFT와 RL은 목표·기반 모델·출력 요구사항에 따라 선택하거나 결합하는 사후 학습 단계입니다.

1. 사전 학습(Pre-training): 방대한 인터넷 텍스트로 ‘다음 토큰 예측’을 학습합니다. 이 단계에서 모델은 언어 규칙, 세계 지식, 기본적인 사고 능력을 익힙니다. 도서관의 모든 책을 읽어 박식하지만 아직 질문에는 능숙하게 답하지 못하는 사람과 같습니다. 가장 비싼 단계로 흔히 수천만 달러가 들며, 모든 역량의 토대가 됩니다.
2. 지도 미세 조정(SFT, Supervised Fine-Tuning): 교사가 학생에게 모범 답안을 보여 주고 따라 하게 하듯, 라벨이 붙은 입력-출력 쌍으로 모델을 학습합니다. 수천에서 수만 건의 질문과 모범 답변 시연을 통해 어떤 형식, 스타일, 절차로 응답해야 하는지 가르칩니다. 이 단계는 박식한 모델을 지시를 이해하고 구조가 잘 잡힌 출력을 내놓는 어시스턴트로 바꿉니다. 저렴하고 빠르며 안정적이어서 현재 배포되는 거의 모든 모델이 거치는 단계입니다.
3. 강화 학습(RL, Reinforcement Learning): 강아지를 훈련하듯 모델이 반복해서 시도하고 보상과 벌을 바탕으로 개선하게 합니다. 잘하면 간식을 주고 못하면 주지 않는 식입니다. 모범 답안을 보여 주는 대신 스스로 시도하게 하여 좋은 행동의 확률은 높이고 나쁜 행동의 확률은 낮춥니다. 보상·데이터·환경이 적절하면 이 단계는 모델이 처음 보는 상황에서도 더 나은 결정을 내리게 할 수 있습니다. 또한 이 장에서 가장 많은 분량을 차지하고 가장 많은 엔지니어링 노력이 필요한 단계입니다.

직관적으로 비유하면 사전 학습은 ‘만 권의 책 읽기’(지식 축적), SFT는 ‘교사가 모범 풀이를 차근차근 보여 주기’(시연 모방), RL은 ‘직접 문제를 풀고 정오답을 통해 다듬기’(시행착오 학습)입니다. 먼저 사전 학습을 하고 SFT 뒤에 RL을 적용하는 구성이 흔하지만 필수 순서는 아닙니다. 강한 기반 모델에는 곧바로 RL을 적용할 수 있고, 형식과 스타일만 안정화하면 되는 작업에는 SFT만으로 충분할 수 있습니다.

이 장 전체를 관통하는 두 가지 주제가 있습니다. 이후의 모든 내용이 이 두 주제를 뒷받침하므로 기억해 두십시오.

• 주제 1: 이 장의 통제 실험에서는 SFT가 암기하는 경향을, RL이 더 잘 일반화하는 경향을 보입니다. GeneralPoints와 V-IRL의 같은 작업·모델·예산 조건에서는 SFT가 학습 답안에 과적합한 반면, RL은 분포가 바뀐 테스트에서 전이 가능한 전략을 더 잘 학습했습니다. 이는 해당 실험에서 측정한 결과이며 SFT와 RL의 보편적인 속성은 아닙니다. SFT도 데이터가 다양하고 정규화가 적절하면 일반화할 수 있고, RL도 보상이나 환경이 편향되면 과적합할 수 있습니다. 이 장에서 “SFT는 암기하고 RL은 일반화한다”는 표현은 이러한 실험 조건을 가리키는 요약으로 사용합니다. 7.1절에서는 두 최적화 목표가 이런 차이를 만들 수 있는 이유를 설명합니다.
• 주제 2: 데이터와 환경은 알고리즘보다 중요합니다. 업계에서 가장 직관에 어긋나면서도 가치 있는 교훈입니다. 기성 RL 알고리즘(PPO, GRPO 등)은 사용법을 알면 충분합니다. 실제 성패를 좌우하는 것은 두 가지입니다. 시뮬레이션 환경(연습장이 충분히 현실적인가?)과 학습 데이터(시연과 보상 신호의 품질이 충분한가?)입니다. 많은 경우 SFT 데이터가 충분히 좋다면 RL 자체가 필요하지 않을 수 있습니다. 이 장은 독자의 관심을 ‘어떤 알고리즘을 조정할까?’에서 ‘데이터와 환경을 제대로 마련했는가?’로 계속 되돌립니다.

읽기 안내: 이 장은 독자의 배경에 따라 두 가지 경로로 읽을 수 있습니다.

• 에이전트 애플리케이션 개발자(직접 모델을 학습할 필요가 없는 독자): 먼저 서두의 ‘사전 학습, SFT, RL: 세 단계의 전체상’을 읽어 큰 그림을 파악하십시오. 이어지는 두 [선택 읽기] 절(고전 RL과 사전 학습 배경)은 건너뛰고 SFT 절부터 계속 읽어도 됩니다. ‘SFT와 RL의 본질적인 차이’와 ‘언제 SFT와 RL을 선택할 것인가’라는 의사결정 프레임워크, 그리고 ‘데이터와 환경이 알고리즘보다 중요하다’는 판단에 집중하십시오. 이러한 통찰은 하네스(harness) 엔지니어링에서 언제 프롬프트로 해결하고 언제 미세 조정에 투자할지 결정하는 데 영향을 줍니다.
• 모델 학습 엔지니어: 처음부터 순서대로 읽으십시오. 두 [선택 읽기] 절은 강화 학습과 사전 학습의 배경을 온전히 설명하며, 이후 실험은 재현 가능한 학습 방안을 제공합니다.

사전 학습, SFT, RL: 세 단계의 전체상

서두에서 세 단계의 지도를 제시했습니다. 이 절에서는 각 단계의 작동 원리를 자세히 살펴봅니다. 세 단계는 사용하는 데이터, 최적화 목표, 비용이 서로 다릅니다. 공통점과 차이점을 이해하는 것이 이 장 전체를 이해하는 열쇠입니다. 표 7-1에서 먼저 전체를 조망한 뒤 세부 내용을 설명합니다.

표 7-1 모델 역량을 만드는 세 단계

단계	사용하는 데이터	최적화 목표	학습하는 내용	일반적인 비용
사전 학습	방대한 원시 인터넷 텍스트	다음 토큰 예측	언어 규칙, 세계 지식, 기본적인 사고	매우 높음(수백만~수천만 달러)
SFT	수천~수만 건의 ‘입력-출력’ 시연 쌍	다음 토큰 예측(응답 부분에서만 손실 계산)	지시 따르기, 출력 형식, 스타일, 절차 프로토콜	낮음(수 시간~수일)
RL	작업·환경 + 보상 신호(모범 답안은 선택 사항)	기대 보상 최대화	전이 가능한 의사결정 전략, 새롭게 발견한 해법	높음(흔히 SFT의 수십~수백 배)

사전 학습이 하는 일: 다음 토큰 예측

현대 대규모 모델의 모든 ‘지능’은 놀라울 정도로 단순한 작업인 다음 토큰 예측(Next Token Prediction, NTP)을 토대로 합니다.

모델에 텍스트 앞부분을 보여 주고 다음 토큰을 맞히게 합니다. 예를 들어 ‘중국의 수도는’이라는 입력이 주어지면 모델은 ‘베이징’에 높은 확률을 부여해야 합니다. 모델은 예측할 때마다 자신의 예측과 실제 다음 토큰을 비교합니다. 그 차이인 손실(loss)이 클수록 파라미터를 더 많이 조정해 다음에는 비슷한 컨텍스트에서 더 정확하게 맞히도록 합니다. 수조 개 토큰에 달하는 인터넷 텍스트에서 이 작업을 반복하면 모델은 문법, 사실, 논리, 심지어 기본적인 사고까지 익힐 수밖에 없습니다. 방대한 컨텍스트 전반에서 다음 토큰을 계속 정확히 맞히려면 지름길이 없으며, 텍스트의 패턴을 실제로 ‘소화’해야 하기 때문입니다.

SFT와 RL까지 줄곧 이어지는 핵심 사항이 있습니다. 모델의 출력은 본질적으로 확률 분포입니다. 앞선 텍스트가 주어지면 모델은 어휘에 포함된 가능한 모든 토큰에 확률을 부여합니다. ‘학습’이란 본질적으로 이 확률 분포를 조정하는 일, 즉 원하는 토큰의 확률은 높이고 원하지 않는 토큰의 확률은 낮추는 일입니다. 세 단계의 차이는 오직 ‘무엇을 원하는가’와 ‘어떤 신호로 원하는 것을 정의하는가’에 있습니다.

사전 학습을 마친 모델은 박식하지만 사용자 친화적이지 않습니다. 질문을 해도 답하는 대신 질문을 더 만들어 낼 수 있습니다. 인터넷 텍스트에서는 질문 뒤에 또 다른 질문이 이어지는 경우가 많기 때문입니다. 아직 ‘질문을 받으면 답해야 한다’는 프로토콜을 배우지 못한 상태입니다.

SFT의 본질: 데이터만 다른 ‘다음 토큰 예측’

이 장에서 이해해야 할 첫 번째 핵심 통찰은 다음과 같습니다. 수학적으로 SFT와 사전 학습은 같은 작업입니다. 둘 다 다음 토큰을 예측하고 같은 손실 함수를 최소화합니다. 많은 초심자가 SFT를 완전히 새로운 방법이라고 생각하지만 그렇지 않습니다. SFT와 사전 학습의 차이는 두 가지뿐입니다.

1. 데이터가 다릅니다. 사전 학습은 구조 없이 온갖 내용이 섞인 원시 인터넷 텍스트를 사용합니다. SFT는 ‘사용자 질문 → 이상적인 답변’이라는 통일된 형식으로 세심하게 준비한 ‘입력-출력’ 쌍을 사용합니다. 모델은 이러한 시연에서 계속 ‘다음 토큰을 예측’하면서 ‘질문을 받았을 때 응답을 어떻게 구성할 것인가’라는 프로토콜을 학습합니다.
2. ‘응답’ 부분에서만 손실을 계산합니다(손실 마스킹). SFT 샘플은 질문과 라벨이 붙은 응답으로 구성됩니다. 모델에 ‘질문하는 법’이 아니라 ‘답하는 법’만 가르치려는 것이므로 손실을 계산할 때 질문 부분의 토큰은 마스킹하고 응답 부분을 통해서만 경사를 역전파합니다. 이것이 SFT와 사전 학습 사이의 유일하게 실질적인 엔지니어링 차이입니다.

이를 이해하면 제한된 시연 데이터에서는 SFT가 암기 성향을 보일 수 있다는 결론도 자연스럽게 따라옵니다. SFT의 최적화 목표는 라벨이 붙은 응답의 모든 토큰 확률을 최대화하는 것, 쉽게 말해 ‘이 모범 답안을 잘 재현하는 것’입니다. 같은 질문이 주어지면 시연을 최대한 가깝게 재현하도록 학습됩니다. 목표가 명확하고 형식이 고정된 작업에는 매우 효율적이어서 수천 건의 예시만으로도 효과를 내지만, 데이터의 범위와 다양성이 부족하면 분포가 바뀔 때 시연의 표면 패턴에 과적합할 수 있습니다.

요약하면 SFT는 매우 높은 샘플 효율로 안정적인 입력-출력 매핑과 프로토콜을 모델 파라미터에 인코딩합니다. 대량의 사실 지식, 즉 모델이 무엇을 아는지가 아니라, 형식·스타일·절차를 포함해 어떻게 말하고 행동할지에 관한 프로토콜 지식을 인코딩합니다. 사실 지식은 사전 학습이나 RAG에 의존합니다. 이 장 말미에서 이 구분을 다시 살펴보겠습니다.

학습 비용: LoRA 파라미터 효율적 미세 조정. SFT와 뒤에서 다룰 RL은 모두 모델 파라미터를 업데이트하며, 전체 파라미터 미세 조정은 VRAM 요구량이 큽니다. 수십억 개 파라미터의 경사와 옵티마이저 상태를 저장해야 하기 때문입니다. LoRA(Low-Rank Adaptation)는 가장 일반적인 비용 절감 방법입니다. 원래의 큰 가중치 행렬을 수정하는 대신 작은 ‘패치’인 저랭크 행렬을 붙여 작업을 학습합니다. 파라미터 수는 원래의 1~5%에 불과하지만 전체 미세 조정에 가까운 성능을 낼 수 있습니다. 원래 가중치를 동결하므로 기반 모델이 이미 갖춘 역량을 덜 교란해 파국적 망각 위험도 줄입니다. 검증된 몇 가지 경험칙이 있습니다¹. LoRA는 반드시 모든 주요 가중치 행렬, 특히 파라미터 수가 가장 많은 MLP 계층에 적용해야 합니다. 어텐션 계층에만 적용하면 정확도가 떨어집니다. 최적 학습률은 전체 미세 조정의 약 10배입니다. SFT와 RL 모두에 적용되는 매우 실용적인 전이 규칙입니다. SFT에는 중간~높은 랭크(64~256)를 사용하십시오. RL은 회차마다 정보량이 적으므로 낮은 랭크(8~32), 심지어 rank=1로도 충분합니다. 배포할 때는 하나의 추론 서버에 여러 LoRA 어댑터를 동시에 로드해 멀티테넌트 서비스를 제공할 수 있습니다. 이 책은 LoRA를 모든 사후 학습 방법의 기본 엔지니어링 선택으로 간주하며 이후에는 따로 자세히 설명하지 않습니다.

SFT를 RL보다 먼저 해야 하는 경우

사전 학습은 언어와 지식의 토대를 제공하므로 뒤의 사후 학습보다 먼저 이루어집니다. 설명이 필요한 부분은 어떤 조건에서 SFT를 RL보다 먼저 해야 하는가?입니다.

그 답은 RL의 작동 방식에 있습니다. RL 정책은 모범 응답의 토큰을 직접 모방하는 대신, 스스로 생성한 응답을 보상 신호로 평가해 학습합니다. 보상 계산에는 참조 답안이나 선호도 데이터가 쓰일 수 있습니다. 품질을 판단하려면 먼저 모델 출력을 파싱할 수 있어야 합니다. 작업에서 JSON 객체나 도구 호출을 출력해야 하는데 모델이 형식도 갖추지 못한 텍스트를 쏟아 낸다면, 보상 함수는 성공과 실패조차 구분하지 못해 계산할 근거가 없고 RL도 학습할 수 없습니다.

따라서 구조화 출력이 불안정한 설정에서는 SFT로 먼저 모델이 형식에 맞는 출력을 내도록 만드는 것이 효과적입니다. 소수의 시연으로 출력 형식을 안정화해 확실히 파싱할 수 있게 하고, RL이 채점 가능한 출발점을 마련합니다. 이것이 업계에서 견고하게 쓰이는 ‘SFT 후 RL’ 2단계 패러다임입니다. 이런 설정에서 SFT 없이 바로 RL을 적용하면 출력이 불안정해 보상 신호가 잡음이 되고 학습이 작동하지 않을 수 있습니다. 중국 회화의 개념을 빌리면 SFT가 먼저 ‘형(形)’(형식, 구조)을 세우고, RL이 이어서 ‘신(神)’(전략, 일반화)을 추구합니다. 즉 선형후신(先形後神)입니다.

중요한 경계 조건이 있습니다. ‘SFT를 먼저 해야 한다’는 원칙은 ‘비교적 작은 기반 모델 + 엄격하게 구조화된 출력’ 환경에서 성립합니다. 실험 7-11에서는 Llama-3.2-Vision-11B 규모 모델에 SFT 없이 바로 RL을 적용하면 완전히 실패하는 모습을 보여 줍니다. 그러나 기반 모델이 충분히 강하다면 처음부터 적절한 출력을 만들어 SFT를 생략할 수도 있습니다. DeepSeek-R1-Zero는 강력한 기반 모델에 직접 RL을 적용해 성공할 수 있고, 성찰과 긴 사고 연쇄가 자발적으로 출현함을 보여 주었습니다. 다만 출력 가독성이 떨어지고 중국어와 영어가 뒤섞이는 대가가 따랐습니다. 그래서 DeepSeek는 최종 R1에 ‘콜드 스타트 SFT’를 다시 추가해 ‘형’을 재정립했습니다. R1이 Zero에서 콜드 스타트로 이어진 과정은 ‘선형후신’을 가장 잘 보여 주는 사례입니다.

SFT와 RL의 본질적인 차이(이 장에서 가장 중요한 표)

지금까지 이 장의 통제 실험을 요약해 ‘SFT는 암기하고, RL은 일반화한다’고 표현했습니다. 이제 그런 경향이 나타날 수 있는 이유를 자세히 설명하겠습니다. 핵심은 최적화 목표가 다르다는 점입니다.

• SFT는 라벨이 붙은 답안의 확률을 최대화합니다. 각 학습 샘플에서 모범 답안을 재현하도록 최대 우도로 학습합니다. 다양하고 대표성 있는 시연은 일반화 가능한 특징을 가르칠 수 있지만, 시연이나 프롬프트의 다양성이 부족하면 표면 패턴이나 지름길에 과적합할 수 있습니다. GeneralPoints의 제한된 시연에서는 J/Q/K를 모두 10으로 취급하는 패턴에 과적합해, 테스트에서 값이 달라졌을 때 성능이 떨어졌습니다.
• RL은 기대 보상을 최대화합니다. 모델이 여러 경로를 탐색하고 높은 보상을 받은 경로의 확률을 높입니다. 보상이 실제 목표를 충실히 반영하고 탐색이 충분하면 시연에 없던 전이 가능한 전략을 발견할 수 있습니다. GeneralPoints에서는 값이 달라져도 계산 과정을 다시 적용하는 경향이 더 나은 분포 밖 성능으로 나타났습니다. 반대로 보상이나 환경이 편향되면 RL도 지름길에 과적합할 수 있습니다.

표 7-2 SFT와 RL의 본질적 비교

차원	SFT(지도 미세 조정)	RL(강화 학습)
최적화 목표	라벨이 붙은 답안의 확률 최대화(최대 우도)	기대 보상 최대화
학습 신호	라벨 응답의 토큰별 지도 신호	정책이 생성한 응답·궤적 + 응답 또는 단계별 스칼라 보상
데이터 형식	‘입력-출력’ 시연 쌍	작업·환경 + 보상 신호(모범 답안은 선택 사항)
직접적인 최적화 압력	시연의 매핑과 프로토콜 모방	보상을 얻는 행동과 전략 강화
분포 이동 상황	시연 범위와 정규화에 따라 달라짐. 이 장의 제한된 시연 실험에서는 과적합	보상·환경·탐색에 따라 달라짐. 이 장의 실험에서는 더 나은 전이 성능
샘플 효율	높음(수천 건으로도 효과적)	낮음(흔히 SFT의 수십~수백 배)
학습 안정성	높고 빠르게 수렴	낮고 진동하기 쉬워 세심한 조정 필요
적합한 상황	형식·스타일·절차 고정, 고품질 시연, 안정적인 환경	새로운 상황에 대한 일반화, 최적 전략 탐색, 높은 주석 비용

post-training은 모델이 언제 행동하는지도 형성한다. Coding 모델이 구체적인 예다. GPT 계열과 Claude 계열은 서로 다른 기본 행동 임계값을 보이는 경우가 많다. 전자는 편집 전에 저장소를 더 넓게 읽고, 후자는 더 적은 파일로 위치를 특정해 먼저 구현한 뒤 테스트 피드백으로 방향을 바로잡을 수 있다. 이는 한 모델을 ‘신중하다’, 다른 모델을 ‘직관적이다’라고 의인화하는 이야기가 아니다. 파라미터 안의 정책이 파일 하나를 더 읽는 기대가치가 현재 패치를 제출하고 검증하는 기대가치보다 여전히 큰지를 추정하는 것이다. SFT 시범이 편집 전의 폭넓은 조사를 반복해서 포함하면 모델은 더 높은 행동 임계값을 모방한다. 과정 보상이나 결과 보상이 빠른 위치 특정과 조기 검증 루프를 반복해서 인정하면 확률 질량은 더 이른 행동으로 이동한다. 실험 6-7은 완전히 동일한 중립 Coding Harness 안에서 모델을 교체해 이 행동이 모델과 함께 변함을 측정했다. Harness가 절차를 강제하지 않아도 모델 자체가 안정적인 도구 사용 정책을 가질 수 있다. Harness는 이를 조절할 수 있지만 주된 원천은 post-training된 모델 파라미터에 있을 수 있다. 공급자는 전체 데이터와 보상 레시피를 공개하지 않으므로, 이 실험이 확립하는 것은 모델 쪽의 행동 차이지 그것을 만든 특정 독점 알고리즘이 아니다.

알아 둘 만한 더 깊은 메커니즘은 모드 추구(mode-seeking)입니다. 모델이 한 질문에 내놓을 수 있는 모든 답의 확률 분포에는 여러 ‘모드’가 있을 수 있으며, 각 모드는 합리적인 답변 방식의 한 계열을 나타냅니다. 최대 우도 SFT는 시연 데이터에 나타난 여러 모드에 확률을 배분하는 질량 포괄(mass-covering) 성향을 보일 수 있습니다. 반면 역방향 KL로 제약한 정책 최적화는 높은 보상을 받는 일부 모드에 확률을 집중하는 모드 추구 성향을 보일 수 있습니다. 정확한 행동은 데이터, 보상, KL 방향과 계수에 따라 달라지므로 이를 SFT와 RL의 고정된 속성으로 보아서는 안 됩니다. RLHF 절에서는 이 설계 선택을 KL 발산과 연결해 설명합니다.

온라인 피드백은 시연 밖 전략을 탐색할 기회를 줍니다. 고정된 데이터 세트로 수행하는 SFT는 시연이 제공하는 학습 신호를 사용하지만, 사전 학습 지식을 조합해 시연에 없는 입력에도 일반화할 수 있습니다. 온라인 RL은 모델이 현재 정책으로 응답을 생성하고 환경 피드백을 받아, 시연에 없던 후보도 직접 평가할 수 있습니다. 이것이 자동으로 더 높은 상한을 보장하지는 않습니다. 결과는 기반 모델, 시연 범위, 보상의 충실도, 탐색과 최적화 안정성에 좌우됩니다. ‘온라인/오프라인’과 더 엄밀한 ‘온폴리시/오프폴리시’라는 용어는 7.8절에서 정식으로 구분하므로 여기서는 온라인 피드백의 세 가지 기회만 살펴봅니다.

• 첫째, 고정된 시연 밖의 후보를 평가할 수 있습니다. SFT의 직접적인 지도 신호는 데이터에 기록된 응답에서 오지만, RL은 보상 함수가 채점할 수 있는 새 행동도 강화할 수 있습니다. 실험 7-13(SimpleVLA-RL)의 ‘pushcut’ 동작처럼 시연에 없던 전략을 발견할 가능성이 생깁니다. 다만 보상이 알아보지 못하는 품질은 학습할 수 없고, 탐색하지 못한 전략도 발견할 수 없습니다.
• 둘째, 생성보다 검증이 쉬운 작업을 활용할 수 있습니다. SFT에는 정답이나 좋은 궤적을 먼저 작성해야 하지만, RL에는 답의 품질을 신뢰성 있게 판단할 방법이 있으면 됩니다. 수학 답은 정답표와 비교하고, 코드는 테스트하며, 정리 증명은 검증기로 확인할 수 있습니다. 이 비대칭은 RLVR의 강점이지만 검증기가 불완전하면 보상 해킹으로 이어집니다.
• 셋째, 현재 정책이 실제로 방문하는 상태에서 학습할 수 있습니다. 오프라인 모방에는 공변량 이동(covariate shift) 문제가 있습니다. 정책이 시연에서 벗어나 데이터에 없던 상태에 들어가면 회복 신호가 부족할 수 있습니다. 특정 순차 모방 학습 설정에서는 오류가 궤적 길이 \(T\)에 따라 최악의 경우 약 \(T^2\)로 누적되고, 온라인 데이터 집계로 이를 약 \(T\) 수준으로 낮출 수 있습니다. 현재 정책의 궤적을 사용하는 온폴리시 증류(On-Policy Distillation, 7.12절)는 이 온라인 적합성과 SFT의 조밀한 지도 신호를 결합합니다.

비유하자면 SFT는 기존 지도를 세밀하게 학습하고, RL은 보상이라는 나침반으로 지도 밖 후보를 탐색할 수 있습니다. 지도와 나침반 어느 쪽도 부정확하면 길을 잃습니다. 그래서 많은 시스템은 SFT로 안정적인 출발점을 만든 뒤, 신뢰할 수 있는 보상과 환경이 있을 때 RL을 더합니다.

이제 전체상을 파악했으므로 이후의 모든 절이 지도에서 어디에 놓이는지 알 수 있습니다. 다음 두 [선택 읽기] 절인 ‘고전 RL 에이전트에서 현대 에이전트로’와 ‘모델 사전 학습 기초’는 더 깊이 알아보려는 독자를 위해 강화 학습과 사전 학습 배경을 보충합니다. 곧바로 사후 학습을 실습하고 싶은 독자는 SFT 절로 건너뛰어도 됩니다.

고전 RL 에이전트에서 현대 에이전트로 [선택 읽기]

에이전트와 환경의 상호작용

강화 학습(RL)은 근본적으로 현재 상황에 따라 행동을 선택하는 법을 익혀 누적 보상을 최대화하는 것입니다. 체스를 배우는 AI를 떠올려 보십시오. 한 수 한 수가 행동이고, 이기면 양의 보상을, 지면 음의 보상을 받으며, 누적 보상은 한 판 전체에서 얻은 총이익입니다. 에이전트와 환경은 계속 상호작용합니다. 각 단계에서 에이전트는 현재 상태를 관찰하고 행동을 선택하며, 환경은 새로운 상태를 만들어 보상을 줍니다.

이 상호작용을 직관적으로 이해할 수 있도록 다음 그림은 표준 RL 루프를 보여 줍니다. 각 시점에 에이전트가 환경 상태를 관찰해 행동을 출력하면, 환경은 그 행동에 따라 보상을 주고 새로운 상태로 전이합니다.

이 상호작용은 ‘상태 → 행동 → 보상 → 새 상태 → 행동 → 보상…’을 모두 기록한 궤적(trajectory)을 만듭니다. 정책의 품질은 결국 궤적의 품질로 나타납니다. 가치 함수(value function)는 ‘지금 이 상태에서 현재 정책대로 계속 행동하면 최종적으로 누적 보상을 얼마나 얻을 수 있는가?’라는 질문에 답합니다. 노련한 체스 선수가 현재 판세를 보고 끝까지 계산하지 않고도 승리 확률을 직관적으로 가늠하는 것과 같습니다. ‘현재 정책’을 ‘최적 정책’으로 바꾸면 최적 가치 함수를 얻으며, 이 장 뒤에서 벨먼 최적 방정식을 설명할 때 사용합니다. 에이전트와 환경의 경계에는 간단한 원칙이 적용됩니다. 에이전트가 마음대로 바꿀 수 없는 것은 모두 환경에 속합니다.

강화 학습에는 라벨이 붙은 정답이 필요한 지도 학습이나 데이터의 숨은 패턴을 찾는 비지도 학습과 구별되는 두 가지 특징이 있습니다. 시행착오 탐색에서는 교사가 정답을 직접 알려 주지 않으므로 에이전트가 어떤 행동이 좋은지 스스로 찾아야 합니다. 지연 보상에서는 행동의 효과가 여러 단계 뒤에야 드러날 수 있습니다. 예컨대 좋은 체스 수의 가치는 대국이 끝나야 분명해집니다. 이 때문에 고유한 탐색-활용 절충도 생깁니다. 익숙한 경로만 택하면 새로운 것을 배우지 못하고, 무작위 시도만 하면 목표에 도달하지 못합니다.

강화 학습 시스템은 다섯 가지 핵심 요소로 이루어집니다.

• 행동 공간(Action Space): 에이전트가 취할 수 있는 모든 행동의 집합을 정의합니다. 행동은 체스에서 ‘어느 수를 둘 것인가’처럼 선택지가 유한한 이산형일 수도 있고, 로봇에서 ‘관절을 몇 도 돌릴 것인가’처럼 연속적인 값일 수도 있습니다.
• 정책(Policy): 주어진 상태에서 무엇을 할지 정하는 에이전트의 행동 규칙입니다. 상태 A에서는 행동 X를 실행한다는 조회 테이블처럼 단순할 수도 있고, 심층 신경망처럼 복잡할 수도 있습니다.
• 보상 신호(Reward Signal): 환경이 주는 즉각적인 피드백입니다. 그러나 에이전트의 목표는 즉각적인 보상이 아니라 장기 보상을 최대화하는 것입니다. 투자를 오늘의 손익이 아니라 장기 수익으로 판단해야 하듯 이 구분은 매우 중요합니다.
• 가치 함수(Value Function): 특정 상태에서 앞으로 얻을 수 있는 총 누적 보상을 추정하여 즉각적인 피드백이 없어도 현명하게 결정하도록 돕습니다. 60년에 걸친 RL 연구에서 얻은 가장 중요한 통찰 중 하나는 가치 추정이 중심적인 역할을 한다는 것입니다.
• 환경 모델(Environment Model)(선택 사항): 행동에 환경이 어떻게 반응할지 예측합니다. 환경 모델을 사용하는 방식을 모델 기반 방식이라고 하며, 먼저 환경 변화를 예측하는 법을 배운 뒤 그에 따라 계획합니다. 모델을 사용하지 않는 모델 프리 방식은 환경을 예측하지 않고 경험에서 직접 학습합니다.

표 7-3은 다양한 에이전트 시스템의 핵심 요소를 비교합니다. 이를 통해 에이전트 개념의 보편성을 드러내고, 전통적인 RL 에이전트와 현대 LLM 에이전트의 행동 공간이 어떻게 다른지 보여 줍니다.

표 7-3 여러 에이전트 시스템의 핵심 요소 비교

에이전트 유형	환경	행동 공간	보상 신호
갓 태어난 가젤	지형, 중력, 몸의 자세	연속 고차원(근육군 수축)	균형 유지(+), 넘어짐(-)
로봇 청소기	방 구조, 배터리 잔량	이산형(방향, 청소, 충전)	청소한 면적(+), 배터리 소진(-)
체스 그랜드마스터	보드 상태, 제한 시간	유한 이산형(합법적인 수)	승리(+1), 패배(-1)
고객 서비스 에이전트	대화 기록, 지식 베이스	가변 길이 조합형(사고, 대화, API 호출)	문제 해결(+), 처리 시간(-)
코드 어시스턴트 에이전트	요구사항 문서, 코드베이스	가변 길이 조합형(사고, 검색, 편집, 실행)	테스트 통과(+), 버그 발생(-)

이 표에서 중요한 차이를 볼 수 있습니다. 보드게임과 Atari의 대표적 환경은 미리 정의된 유한 이산 원시 행동을 사용하고, 로봇 제어는 연속적이지만 차원과 물리적 경계가 정해진 행동을 사용합니다. 고객 서비스나 코딩을 담당하는 LLM 기반 에이전트는 유한한 토큰과 도구 호출을 조합해 가변 길이 행동 시퀀스를 생성하므로 가능한 시퀀스를 한 번에 열거하기 어렵습니다. 이들은 내부 사고를 활용해 역량을 높일 수도 있습니다.

두 가지 행동 표현: 고전 RL 설정과 LLM의 가변 길이 정책

여기서 비교하는 두 설정의 가장 눈에 띄는 차이는 행동을 표현하는 방식입니다. MDP 자체는 유한·무한·이산·연속 행동 공간을 모두 표현할 수 있습니다. 이 절에서 다루는 대표적 보드게임·Atari 환경은 유한 이산 원시 행동을, 로봇 제어는 유계 연속 행동을 사용합니다. LLM 정책은 유한한 토큰과 도구 스키마로 가변 길이 시퀀스를 구성합니다. 이 조합형 표현의 차이는 알고리즘 설계, 샘플 효율, 일반화 방식에 큰 영향을 줍니다. 이제 각각을 살펴보겠습니다.

기초 예제: MDP와 표형 Q-learning.

MDP(Markov Decision Process, 마르코프 결정 과정)는 상태, 행동, 보상 같은 핵심 요소를 정의하는 강화 학습의 수학적 프레임워크입니다. 핵심 가정은 미래가 앞선 이력 자체가 아니라, 의사결정에 필요한 과거 정보를 충분히 담은 현재 상태에만 좌우된다는 마르코프 속성입니다. 예를 들어 체스의 상태에는 기물 배치뿐 아니라 어느 쪽 차례인지, 캐슬링·앙파상 권리, 50수 규칙과 반복 판정에 필요한 정보가 포함되어야 합니다. 이렇게 상태를 충분히 정의하면 전체 기보를 매번 다시 읽지 않고도 다음 전이를 판단할 수 있습니다. 관측이 필요한 이력을 담지 못하면 이력을 상태에 포함하거나 부분 관측 모델을 사용해야 합니다.

이 절에서 다루는 대표적인 RL 환경은 사전에 정의한 행동 공간을 사용합니다. 바둑에는 가능한 착점이 361곳이나 되지만 모두 유한하고, 체스 행동도 열거할 수 있으며, Atari 게임에는 몇 개에서 십여 개 정도의 이산 원시 행동만 있습니다. 로봇 에이전트는 연속적이지만 경계가 있는 행동 공간을 사용합니다. 관절 각도, 속도, 파지력은 연속 값이지만 물리적 경계가 명확하고 차원도 로봇의 자유도에 따라 정해집니다.

유한 이산 행동은 각 후보를 평가하기 쉽게 합니다. 상태와 행동의 수가 충분히 작다면 표형 Q-learning으로 값을 테이블에 저장할 수 있고, 더 큰 Atari나 보드게임 상태 공간에서는 함수 근사와 탐색을 결합합니다. 연속 행동 MDP에서는 모든 행동을 열거할 수 없으므로 정책 경사나 actor-critic 같은 방법으로 정책과 가치 함수를 근사합니다. 이 절의 고전적 예제는 사전 학습 지식 없이 시행착오로 학습한다는 점에서도 LLM 정책과 다릅니다.

이 프레임워크에서 가장 기초적이고 중요한 알고리즘 중 하나가 Q-learning입니다. 각 ‘상태-행동’ 쌍의 가치를 추정합니다. 상태 s에서 행동 a를 취한 뒤 계속 최적으로 행동한다면 총보상을 얼마나 기대할 수 있는지를 나타냅니다. 직관적으로 어떤 행동이 좋은지는 그 행동이 주는 즉각적인 보상과, 그 행동으로 도달한 다음 상태가 얼마나 좋은지에 달려 있습니다.

이 직관을 식으로 나타내면 RL 교과서에 나오는 유명한 벨먼 방정식의 핵심 재귀 관계를 얻습니다. 행동의 실제 가치 = 이 단계에서 얻은 즉각적인 보상 + 다음 상태에서 얻을 수 있는 최대 미래 가치입니다.

\[Q^*(s, a) = r + \gamma \max_{a'} Q^*(s', a')\]

여기서 \(r\)은 즉각적인 보상이고 \(s'\)은 행동을 실행한 뒤 도달한 다음 상태입니다. 직관을 위해 결정론적 형태로 썼으며, 확률적 환경에서는 다음 상태 \(s'\)에 대한 기댓값이 필요합니다. \(\gamma \in [0, 1)\)는 에이전트가 미래를 얼마나 중시하는지 결정하는 할인율(discount factor)입니다. \(\gamma\)가 1에 가까울수록 장기 수익을 중시하고 0에 가까울수록 당장의 보상에 집중합니다. 앞에서 반복해 언급한 ‘누적 보상’은 각 단계의 보상을 \(\gamma\)로 할인해 합한 \(\sum_{t} \gamma^{t} r_t\)입니다. 행동을 할 때마다 알고리즘은 이전 추정치를 ‘실제로 관찰한 결과’ 쪽으로 조금씩 조정합니다. ‘한 단계의 실제 결과로 이전 추정치를 수정하는’ 이 패러다임을 시간차 학습(Temporal-Difference Learning, TD 학습)이라고 합니다. 수천 번 시도하면 추정치는 점차 실제 가치에 가까워집니다.

다음 두 그림은 그리드 월드에서 Q-learning이 탐색하는 과정과 Q값이 점차 수렴하는 모습을 보여 줍니다.

Q-learning은 오프폴리시(off-policy) 방식의 한 종류로, 목표 정책과 다른 탐색 정책이 생성한 데이터로도 최적 정책을 학습할 수 있습니다. 다만 관련 상태-행동 쌍을 충분히 방문하는 탐색 범위와 적절한 학습률·수렴 조건이 필요하며, 임의의 데이터 분포에서 자동으로 수렴하는 것은 아닙니다. 온폴리시와 오프폴리시 방식의 엄밀한 정의와 LLM 사후 학습에 어떻게 대응하는지는 뒤의 ‘강화 학습 알고리즘 비교’ 절에서 설명합니다.

실험 7-1 ★: 보물찾기 게임에서 Q-learning의 성능

Q-learning의 특성과 한계를 검증하기 위해 보물찾기 게임 환경을 설계했습니다. 이 환경에는 몇 가지 핵심 과제가 있습니다. 숨겨진 메커니즘 때문에 에이전트가 열쇠와 문 사이의 대응 관계, 무기의 효과, 아이템 조합 규칙을 스스로 발견해야 합니다. 다단계 의존성 때문에 올바른 행동 순서로 진행해야 작업을 완료할 수 있으며 최적 해법은 11단계입니다. 희소 보상 때문에 핵심 행동과 최종 승리에만 의미 있는 보상이 있고 대부분의 중간 단계에서는 피드백이 없습니다.

Q-learning 에이전트는 표준 파라미터 설정과 ε-탐욕 탐색 전략을 사용합니다. 보통 현재의 최적 행동을 선택하지만 가끔 무작위 행동을 택하고, 학습하면서 무작위 탐색의 비율을 점차 줄입니다.

학습 곡선은 전형적인 특징을 보여 줍니다. 한 에피소드는 게임 시작부터 완료 또는 실패까지의 한 판 전체를 뜻합니다. - 첫 1,000개 에피소드: 승률 0%, Q 테이블에는 상태가 124개뿐이며 에이전트가 맹목적으로 탐색 - 첫 5,000개 에피소드: 여전히 안정적으로 승리하지 못하며 Q 테이블에는 상태가 133개 - 7,000~8,000개 에피소드: 승률이 34%에서 96%로 점차 상승 - 10,000개 에피소드: 승률 100%, Q 테이블에는 상태가 145개이며 11단계 최적 해법 발견

전체 학습은 10초도 걸리지 않아 시뮬레이션이 매우 효율적이지만, 완전한 시도를 거의 10,000번 해야 합니다. 이는 이 실험에서 사용한 사전 지식 없는 ε-탐욕 표형 Q-learning의 특징을 보여 줍니다. 무작위 탐색을 대량으로 거쳐 우연히 전체 경로를 완주해야 하고, 가치 신호가 매우 느리게 전파되므로 반복해서 강화해야 합니다.

게임 시뮬레이터에서는 10,000번 시도하는 데 10초밖에 걸리지 않으므로 비용이 무시할 만합니다. 그러나 현실의 에이전트 환경에서는 전화 한 통마다 비용이 들고, 브라우저 조작마다 지연이 생기며, 잘못된 결정 하나가 되돌릴 수 없는 결과를 낳을 수 있습니다. 따라서 10,000번의 시도는 전혀 받아들일 수 없습니다. 사전 학습된 LLM 정책을 활용하는 이유 중 하나가 바로 여기에 있습니다. 이미 쌓은 지식을 바탕으로 훨씬 적은 환경 상호작용만으로 효과적인 결정을 내릴 수 있기 때문입니다.

이 사전 지식 없는 표형 Q-learning 실험의 한계는 세 가지입니다. 간단한 작업에도 방대한 상호작용이 필요해 샘플 효율이 낮고, 한 환경에서 배운 값을 다른 환경으로 바로 옮기기 어려우며, 새 작업을 처음부터 탐색해야 합니다. 이는 MDP라는 수학적 틀 자체의 한계가 아닙니다. 함수 근사, 전이 학습, 모델 기반 RL 같은 방법은 더 복잡한 상태와 지식 이전을 다룰 수 있지만, 사전 학습된 LLM과 비교하면 많은 환경 상호작용이 필요할 수 있습니다.

사전 학습된 LLM 정책 기반 에이전트.

대규모 언어 모델은 에이전트의 행동을 표현하고 초기화하는 방식에 실용적으로 큰 변화를 가져왔습니다.

고전적인 RL에서도 내부 계산이나 정보 수집을 상태와 행동으로 모델링할 수 있습니다. LLM이 가져온 실질적인 변화는 ‘사고’를 처음 가능하게 한 것이 아니라, 사전 학습된 언어 정책이 내부 계산을 가변 길이 토큰 시퀀스로 표현하고 외부 행동과 같은 정책 안에서 생성할 수 있게 한 점입니다. 사고 토큰은 외부 세계를 직접 바꾸지 않지만 최종 행동의 품질을 높일 수 있습니다. 이제 에이전트의 행동 표현에는 ‘무엇을 할 것인가’뿐 아니라 ‘얼마나 오래, 무엇을 생각할 것인가’도 포함됩니다.

가장 중요한 실용적 혁신은 사고 토큰을 특수한 행동처럼 정책의 출력 공간에 포함한 것입니다. 전통적인 RL의 대표적 환경은 이동, 공격, 집기처럼 환경 상태를 바꾸는 원시 행동을 주로 사용하지만, 필요하다면 내부 계산도 MDP나 계층적 정책 안에 모델링할 수 있습니다. LLM 에이전트에서는 내부 사고가 학습된 언어 행동 공간의 핵심 구성 요소가 됩니다. 외부 환경을 직접 바꾸지 않고 환경 보상도 즉시 받지 않지만, 토큰 생성 비용과 컨텍스트 한도 안에서 다양한 계산 경로를 표현할 수 있습니다.

이런 가변 길이 조합형 행동은 원시 행동보다 탐색 공간이 훨씬 커서, 사전 지식 없이 처음부터 학습하기 어렵습니다. 처음부터 학습하는 에이전트는 눈을 가린 채 사막에서 보물을 찾으며 무작정 헤매는 것과 같습니다. LLM은 다릅니다. 방대한 텍스트 사전 학습을 통해 인간이 남긴 문제 해결 패턴을 학습했습니다. 수학 문제는 ‘조건 파악 → 공식 떠올리기 → 단계별 계산’, 코드 작성은 ‘요구사항 이해 → 구조 설계 → 세부 구현’의 순서로 해결한다는 식입니다. 이 사전 학습된 정책이 구조화된 경로에 높은 사전확률을 부여해 탐색 공간을 크게 압축합니다. 따라서 추가 RL 학습 없이도 사전 학습된 LLM은 기본적인 논리적 사고 연쇄(Chain of Thought, CoT)를 생성할 수 있습니다. 모델은 수학 풀이, 코드 주석, 토론 답변 같은 사전 학습 텍스트에서 다음 토큰을 예측하며 ‘다음 사고 단계는 어떤 모습이어야 하는가’를 암묵적으로 학습합니다.

RL 사후 학습은 이어서 외부 보상을 사용해 LLM이 이러한 패턴을 특정 작업에서 더 효율적으로 활용하도록 가르칩니다. 언어의 구조는 별도의 ‘내부 보상’이 아니라 사전 학습 정책의 사전분포(prior)로 작용합니다. ‘외화를 USD로 환산해야 하므로 먼저 환율을 찾아보자’처럼 학습 데이터에서 일관된 경로는 초기 생성 확률이 높고, ‘통화를 환산해야 하므로 먼저 날씨를 확인하자’처럼 관련 없는 경로는 낮을 수 있습니다. RL은 이 출발 분포 위에서 실제 작업 보상으로 경로의 확률을 다시 조정합니다.

사전 학습된 언어 정책 덕분에 LLM 에이전트는 처음 보는 지시를 이해하는 제로샷 일반화와 극소수의 예시로 새 작업을 익히는 퓨샷 적응을 수행합니다. 이는 앞의 사전 지식 없는 표형 Q-learning 설정과 뚜렷이 대비됩니다. 또한 알려진 개념을 재조합하는 조합적 일반화, 프롬프트와 예시를 통한 인컨텍스트 학습, 시각·언어·행동을 통합하는 멀티모달 이해를 지원합니다. 단, 인컨텍스트 학습의 효과와 내부 메커니즘은 별개의 문제입니다. 2장에서 분석했듯 어텐션 메커니즘은 사고보다 검색에 가깝게 작동하지만, 그렇다고 작업 적응에서 발휘하는 실용적 효과가 줄어들지는 않습니다.

사전에 정의된 원시 행동에서 가변 길이 조합형 행동으로 확장된 점은 AI 에이전트 패러다임의 중요한 전환입니다. LLM 행동도 유한한 토큰 어휘와 도구 스키마로 정의되지만, 내부 사고·자연어 쿼리·프로그램 코드·복잡한 JSON·멀티모달 콘텐츠를 가변 길이로 조합하므로 가능한 시퀀스 수가 폭발합니다. 코드 인터프리터와 검색 도구는 이 표현을 실제 환경의 광범위한 작업과 정보에 연결합니다. 에이전트는 기본 도구를 조합해 전에 없던 작업을 처리할 수 있지만, 거대한 조합 공간에서 보상 함수를 정의하고 효율적으로 탐색하는 방법이 필요합니다.

도구 사용과 긴 연쇄 사고에 맞게 최적화된 Kimi K3 같은 모델은 LLM+RL 패러다임의 전형적인 방향을 보여 줍니다. 대규모 언어 사전 학습이 토대를 마련하고 사후 학습이 문제 분해, 도구 사용, 자기 교정을 강화합니다. 9장에서 자세히 다룰 OpenVLA는 LLM 시대의 VLA(Vision-Language-Action) 아키텍처 패러다임을 보여 줍니다. 비전 인코더가 환경 관측을 처리하고, 언어 모델이 지시를 이해하고 사고하며, 행동 디코더가 제어 신호를 생성함으로써 언어 조건부 제어와 작업 간 일반화를 가능하게 합니다. 분명히 해 둘 점은 OpenVLA 자체는 거의 100만 개에 이르는 로봇 시연 궤적으로 모방 학습을 한다는 것입니다. 본질적으로 RL이 아니라 SFT입니다. 이 장 뒤의 실험 7-13에서 소개하는 SimpleVLA-RL은 보상으로 이러한 VLA 아키텍처를 한층 더 최적화해 로봇 공학에 RL을 도입한 대표 사례입니다.

Princeton University 조교수이자 ReAct 논문의 저자인 Shunyu Yao가 「The Second Half」에서 정리한 OpenAI의 탐색 경로는 이 분야의 사고방식이 진화해 온 과정을 보여 줍니다. 1단계(2015~2016년), 알고리즘 중심: 더 나은 알고리즘이 핵심이라는 믿음이 지배적이었습니다. Atari 같은 표준 환경에서 진전이 있었지만 새 환경마다 처음부터 다시 학습해야 했습니다. 2단계(2016~2018년), 환경의 중요성: Gym은 여러 작업을 표준화했고, Universe와 World of Bits는 인터넷 전체를 RL 학습 환경으로 만들려 했으며, Dota 2는 특정한 복잡한 환경에서 인간을 뛰어넘는 성능을 추구했습니다. 아이디어는 명확했지만 범용 컴퓨터 사용과 웹 탐색에는 이르지 못했습니다.

3단계(2018년~현재), 사전 지식의 각성: GPT-2/GPT-3는 언어 사전 학습의 힘을 보여 주었고, WebGPT와 ChatGPT는 그 사전 지식을 실용적인 에이전트로 전환할 수 있음을 입증했습니다. 가장 중요한 발견은 사전 지식을 RL과 아무 관계 없는 방식으로도 습득할 수 있다는 것입니다. 이는 직관에 어긋나는 진실입니다. 수십 년간 RL 연구자들은 우선순위를 정확히 거꾸로 두었을지 모릅니다. 실제 순서는 알고리즘 > 환경 > 사전 지식이 아니라 사전 지식 > 환경 > 알고리즘입니다.

실험 7-2 ★★: 전통적인 RL과 LLM 에이전트 비교 연구

같은 보물찾기 게임에서 Q-learning과 최대 50개의 경험을 버퍼에 유지하는 LLM 에이전트 Kimi K3를 비교했습니다. 결과는 놀라웠습니다. LLM 에이전트는 첫 시도에 18단계 만에 게임을 완료했습니다.

초기 단계(목적 있는 탐색): 녹슨 검을 집고(‘맨손보다는 무기가 낫다’), 지도를 체계적으로 탐색합니다. 북쪽 문이 잠긴 것을 발견한 뒤 ‘열쇠를 찾아야 한다’고 추론하고, 창고를 탐색해 붉은 열쇠와 마법 수정을 얻습니다. 중간 단계(메커니즘 이해와 선제적 조합): ‘열쇠 자동 사용’ 규칙을 이해하고 녹슨 검만으로는 경비병을 이길 수 없다고 예상해 8단계에서 먼저 은검을 조합합니다. 후반 단계(실행과 오류 교정): 은검을 들고 북쪽으로 향해 13단계에서 강력한 경비병을 물리칩니다. 도중에 검을 반복해서 휘두르거나 왔던 길을 되돌아가는 등 한두 번 효과 없는 시도를 하지만, 최종적으로 18단계에서 용의 보물을 얻습니다.

이는 의미 이해와 기호 매핑의 근본적인 차이를 보여 줍니다. LLM 에이전트는 게임의 개념적 구조를 이해했고 모든 단계에 목적과 논리적 근거가 있었습니다. Q-learning에서 ‘문’, ‘열쇠’, ‘검’은 의미 없는 기호 조합일 뿐이므로 방대한 통계 학습을 통해서만 그 관계를 서서히 발견할 수 있습니다.

계산 비용에는 흥미로운 역설이 있습니다. Q-learning은 10초에 게임을 10,000번 실행하지만 LLM 에이전트는 한 판에 1~2분이 걸립니다. 그러나 현실 작업에서는 상호작용마다 드는 시간, 비용, 위험이 순수한 계산 비용보다 훨씬 크므로 GPU 시간만으로 판단하는 것은 공정하지 않습니다. 더 중요한 통찰은 LLM 에이전트가 성공한 이유가 더 나은 ‘학습 알고리즘’이 아니라 방대한 사전 지식을 갖추었기 때문이라는 것입니다. 게임 규칙이 바뀌면 Q-learning은 완전히 다시 학습해야 하지만 LLM 에이전트는 사고를 통해 곧바로 적응할 수 있습니다. 여기에서 실용적인 설계 원칙을 얻을 수 있습니다. 시뮬레이션 비용이 낮고 반복 가능성이 높은 상황에서는 전통적인 RL이 여전히 가치가 있습니다. 상호작용 비용이 높고 빠른 적응이 필요한 현실에서는 LLM 에이전트의 샘플 효율이 실질적으로 더 중요합니다.

1장에서는 컨텍스트 적응, 외부 아티팩트 업데이트, 파라미터 업데이트가 함께 작동하는 방식을 이미 개념적으로 설명했습니다. 이 장 말미의 ‘완전한 사후 학습 지형과 실전 요점’ 절에서 이 주제를 다시 살펴봅니다. 이 장의 주제는 외부 규칙만으로 온전히 표현할 수 없는 역량을 모델 파라미터에 기록하는 사후 학습입니다.

모델 사전 학습 기초 [선택 읽기]

사후 학습 기법이 효과적인 이유를 알려면 먼저 사전 학습이 무엇을 구축하는지 이해해야 합니다. 사후 학습(SFT와 RL)은 본질적으로 사전 학습이 만든 표현 공간 안에서 최적화됩니다. 사전 학습이 마련한 지식 구조가 사후 학습의 상한을 결정합니다. 따라서 소규모 언어 모델을 처음부터 학습하고, 시각 역량을 확장하고, 새로운 언어 지식을 주입하는 세 가지 실험을 통해 사전 학습의 핵심을 살펴봅니다. 이 절의 세 실험은 보충 내용으로, 대규모 데이터로 처음 학습해 모델에 기본 언어 패턴과 세계 지식을 가르치는 사전 학습에 관한 직관을 형성하는 것이 목적입니다. 사전 학습 과정을 이미 잘 아는 독자는 건너뛰어도 됩니다.

언어 모델 학습은 ‘토큰화 — 사전 학습 — 사후 학습’의 3단계 파이프라인을 따릅니다. 토큰화는 텍스트를 이산적인 단위로 나눕니다. 예를 들어 “I like programming”을 “I”, “like”, “program”, “ming”으로 나눌 수 있습니다. 이 토큰은 모델이 처리하는 가장 작은 텍스트 단위입니다. 사전 학습 작업은 개념적으로 단순합니다. 텍스트 조각의 앞부분을 모델에 보여 주고 다음 토큰을 예측하게 합니다. 예측과 정답을 비교한 차이를 손실이라고 하며, 손실이 작을수록 예측이 정확합니다. 모델은 이를 바탕으로 파라미터를 계속 조정합니다. 방대한 텍스트 데이터에서 반복 학습하면 언어 규칙, 세계 지식, 기본적인 사고 역량을 점차 익힙니다. 사전 학습 후에는 유창한 텍스트를 생성할 수 있지만 출력에 구조가 부족하고 지시를 따르는 데 서툽니다. 이어지는 사후 학습은 라벨이 붙은 입력-출력 쌍을 사용하는 SFT와, 인간이 선호하는 응답을 생성하도록 가르치는 DPO 같은 선호도 최적화를 통해 모델을 실용적인 어시스턴트로 바꿉니다.

실험 7-3 ★★: LLM을 처음부터 학습하기—알고리즘 개선의 힘

1억 파라미터 모델 MiniMind 2를 사례로, 소비자용 GPU에서 전체 학습 과정을 완료합니다. QK Norm과 Muon 옵티마이저라는 두 가지 알고리즘 최적화를 통해 수렴 속도를 세 배 높이고 생성 품질을 크게 개선하면서도, 학습 시간 약 14시간과 총비용 34달러라는 매우 낮은 비용을 달성합니다.

학습 단계별 효과는 다음과 같습니다. 사전 학습 후에는 ‘세계에서 가장 높은 산은 무엇인가?’ 같은 사실 질문에 답할 수 있지만 형식이 일정하지 않습니다. SFT 후에는 지시 준수와 출력 형식이 크게 개선되어 기대한 방식으로 답을 구성할 수 있습니다. 선호도 최적화는 사실 오류와 부자연스러운 표현을 더 줄입니다. 1억 파라미터 모델에는 복잡한 문제에서 오류를 내기 쉽다는 뚜렷한 한계가 여전히 있지만, 이 실험이 주는 교훈은 다음과 같습니다. 적은 예산이 고정되어 있다면 단순히 규모를 키우는 것보다 알고리즘을 개선하는 편이 더 높은 가치를 제공합니다.

실험 7-4 ★★: 나만의 VLM 학습하기

VLM은 시각 인식과 언어 이해를 하나의 모델에 통합합니다. 핵심 과제는 ‘보이는 것’과 ‘말하는 것’을 대응시키는 교차 모달 정렬입니다. 아키텍처는 세 컴포넌트로 이루어집니다. 비전 인코더(예: CLIP, 파라미터 동결)는 이미지에서 의미 특징을 추출합니다. 가볍고 처음부터 학습하는 유일한 부분인 투영 계층은 시각 특징과 언어 모델 사이의 ‘번역기’로서 시각 특징을 언어 모델이 이해할 수 있는 표현 공간에 매핑합니다. 언어 모델은 설명 텍스트를 생성합니다. 학습에는 ‘LLM 동결 + 투영 계층만 학습’하는 전략을 사용해 새 기술을 배운 뒤 옛 기술을 잊는 파국적 망각을 피합니다. 정렬 사전 학습을 마치면 LLM의 동결을 풀고 고품질 이미지-설명 쌍으로 SFT를 수행해 설명의 세밀함과 정확성을 크게 높입니다.

이 실험은 멀티모달 모델 학습의 기본 패러다임을 보여 줍니다. 단일 모달 사전 학습의 결과를 재사용하고 가벼운 투영 계층을 학습해 교차 모달 정렬을 달성합니다. 효율적이고 확장하기 쉽지만, 투영 계층의 제한된 표현력이 깊은 교차 모달 이해를 가로막을 수 있습니다. 같은 ‘비전 인코더 + 투영 계층 + LLM’ 아키텍처를 한 단계 확장해 모델이 행동을 출력하게 하면 9장에서 자세히 다룰 VLA(Vision-Language-Action) 모델이 됩니다.

실험 7-5 ★★: 새 언어를 배우기 위한 연속 사전 학습

주로 영어로 사전 학습되어 한국어를 거의 이해하지 못하는 Mistral 7B v0.3을 기반 모델로 삼아, 한국어 Wikipedia에서 연속 사전 학습을 수행해 한국어 역량을 추가합니다. 이미 사전 학습을 마친 모델에 새로운 언어 데이터로 비지도 학습을 수행하는 방식입니다. 모델은 범용 언어 모델링 역량을 이미 갖추었으므로 새로운 데이터 분포에 적응하기만 하면 되며, 처음부터 학습하는 것보다 비용이 훨씬 낮습니다. 핵심 엔지니어링 요소는 파국적 망각을 줄이기 위해 혼합 데이터(한국어 약 80% + 영어 약 20%)를 사용하는 것입니다. 대상 언어 비율이 지나치게 높으면 기존 언어 성능이 저하되고, 너무 낮으면 학습 효율이 충분하지 않습니다. 마지막으로 한국어 지시 데이터로 SFT를 수행해 실용적인 한국어 대화 능력을 얻습니다. 이 실험의 결론은 장 말미의 ‘완전한 사후 학습 지형과 실전 요점’에서 다시 사용합니다. 모델이 새로운 도메인 지식을 대량으로 기억하게 하려면 SFT가 아니라 연속 사전 학습을 사용해야 합니다.

세 가지 사전 학습 실험은 공통된 패턴을 보여 줍니다. 예산이 제한된 상황에서는 단순히 규모를 키우는 것보다 알고리즘 개선과 아키텍처 혁신의 가치가 더 큽니다. 더 중요한 점은 사전 학습이 모델에 서술적 지식과 언어 모델링 역량을 부여하지만, 구조화된 지시 따르기와 작업 지향적 행동은 부족하다는 것입니다. 바로 이 간극을 SFT가 메워야 합니다.

사전 학습에서 기본 역량을 얻었다면 다음 단계는 사후 학습을 통해 범용 모델을 실용적인 에이전트로 바꾸는 것입니다. 사후 학습의 첫 단계가 지도 미세 조정(SFT)입니다.

SFT(지도 미세 조정)

7.1절에서는 데이터만 다르고 응답에서만 손실을 계산하는 ‘다음 토큰 예측’이라는 SFT의 본질을 이미 살펴봤습니다. 이 절에서는 네 가지 실험을 통해 안정적인 매핑과 프로토콜을 파라미터에 기록하는 이 메커니즘이 서로 다른 작업에서 실제로 무엇을 고정하는지 살펴봅니다. SFT의 핵심 가치는 새로운 지식 주입이 아니라 프로토콜 고정입니다. 매핑 관계, 상호작용 형식, 스타일 규범을 파라미터에 기록해 긴 프롬프트가 없어도 추론 시 기대에 맞는 출력을 내게 합니다. 일반적으로 고품질 예시 수천~수만 건만 있어도 기본 대화 능력과 지시 따르기를 확립할 수 있습니다.

이러한 효율에는 학습 분포에 의존한다는 대가가 따를 수 있습니다. 특히 다양한 정답 전략을 탐색해야 하거나 배포 분포가 시연 데이터와 달라지는 작업에서는 SFT가 시연 패턴을 재현하는 데 치우쳐 새로운 상황의 성능이 저하될 수 있습니다. 다음 실험들은 SFT와 RL의 보편적인 우열을 입증하기보다 ‘프로토콜 고정’ 과정을 여러 각도에서 보여 줍니다.

SFT를 직접 시작하기 전에 피할 수 없는 실용적인 질문이 있습니다. SFT 데이터는 어디에서 오는가? 업계의 답은 세 가지 경로로 요약됩니다. 인간 전문가 시연은 품질 상한이 가장 높지만 비싸고 느려서 형식과 스타일을 정의하는 ‘시드 데이터’에 가장 적합합니다. 교사 모델 생성, 즉 합성 데이터는 강력한 모델이 ‘입력-출력’ 쌍을 대량 생성하게 한 뒤 필터링하고 학생 모델에 증류하는 방법으로, 실험 7-8과 7-9가 이 경로를 사용합니다. 모델 자기 부트스트래핑은 같은 문제에서 여러 후보를 샘플링한 뒤 검증기가 정답을 고르고, 선택한 샘플로 다시 모델 자체를 학습하는 방법입니다. 실험 7-9에서 자세히 다룰 거부 샘플링 미세 조정입니다. 세 경로는 흔히 결합합니다. 소량의 인간 시드 데이터로 먼저 형식을 고정하고 교사 모델로 규모를 늘린 뒤, 거부 샘플링으로 품질을 기준에 맞춥니다. 어느 경로든 구축 파이프라인은 대체로 같습니다. 작업 분포와 출력 스키마를 정의하고, 후보를 대량 생성하고, 규칙 기반 검증·형식 검사·수동 표본 검사로 품질을 걸러낸 뒤, 중복을 제거하고 혼합 비율의 균형과 다양성을 확보합니다. 규모를 탐낼 필요는 없습니다. 일반적으로 고품질 예시 수천~수만 건이면 프로토콜을 고정하기에 충분합니다. 지저분한 예시 10만 건을 쌓기보다 깨끗한 1만 건을 다듬으십시오. SFT는 데이터의 잡음까지 빠짐없이 파라미터에 충실히 기록합니다.

실험 7-6 ★★★: 음성 SFT—‘음성 복제’에서 ‘준언어적 모델링’으로 [확장 실험]

Orpheus(컨텍스트 프롬프트 음성 복제)와 Sesame(준언어적 토큰 모델링)을 사례로, ‘음성 스타일과 표현 습관’이 어떻게 파라미터에 기록되는지 보여 줍니다. 두 모델은 서로 다른 경로를 택합니다.

• Orpheus: 음성 파형을 토큰 시퀀스로 압축합니다. 같은 화자의 참조 오디오를 이어 붙여 모델이 ‘이 사람의 목소리로 말하는’ 법을 배우고, 문장이 달라져도 음색의 일관성을 유지하게 합니다.
• Sesame: 웃음과 한숨 같은 준언어 현상을 <laugh>, <sigh> 같은 특수 토큰으로 추상화합니다. 모델은 ‘이 토큰을 보면 해당 소리를 내는’ 법을 학습합니다.

표현 중심 작업에서 SFT는 사실 지식이나 복잡한 사고가 아니라 스타일 제어 프로토콜과 구조화된 표현 습관을 고정합니다. 핵심은 학습 데이터의 다양성과 주석 품질입니다. 흔한 실패 유형으로는 학습 데이터의 화자가 너무 적어 모두 같은 목소리로 들리는 문제와, 모델이 학습 샘플의 세부 내용을 암기해 새로운 상황에서 성능이 떨어지는 토큰 과적합 때문에 ‘기계적인 웃음’이 생기는 문제가 있습니다.

실험 7-7 ★★★: 다국어 사고—어떤 언어로든 사고하게 만들기 [확장 실험]

대부분의 사고 모델은 영어로만 ‘생각’합니다. 어떤 언어로 질문해도 모델의 내부 사고 연쇄는 거의 항상 영어입니다. 학습 데이터의 고품질 사고 시연이 대부분 영어로 쓰였기 때문입니다. 이 실험의 목표는 간단합니다. 모델이 지정된 언어로 사고하게 만드는 것입니다.

방법은 gpt-oss-20b에 SFT를 수행하는 것입니다. 시스템 지시에 reasoning language: German(또는 다른 언어)이라는 줄을 추가한 뒤 영어, 스페인어, 프랑스어 등의 사고 예시로 학습합니다. 학습 데이터에 중국어가 전혀 없어도, 학습 후 사고 언어를 중국어로 지정하기만 하면 모델이 중국어로 완전한 사고 연쇄를 수행합니다. 이 제로샷 언어 간 일반화가 이 실험에서 가장 흥미로운 발견입니다. 단, 이는 SFT 자체의 일반화 역량이 아닙니다. 다국어 사전 학습이 이미 모델에 공유 언어 간 표현 공간을 마련했고, SFT는 기존의 언어 간 역량을 활성화했을 뿐입니다.

실험 7-8 ★★: 프롬프트 증류—더 낮은 비용으로 유용한 역량 복제하기

실제 애플리케이션에서 모델에 복잡한 작업을 수행시키려면 수천, 심지어 수만 토큰의 긴 시스템 프롬프트가 필요한 경우가 많아 호출할 때마다 지연과 비용이 늘어납니다. 사고형 LLM을 사용하면 내부 사고 토큰이 비용을 더 키웁니다. 프롬프트 증류의 발상은 ‘긴 프롬프트 + 사고하는 교사’의 행동을 ‘짧거나 없는 프롬프트 + 사고하지 않는 학생’으로 압축하는 것입니다. 교사는 전체 프롬프트와 사고 모드에서 고품질 답을 생성합니다. 학습 데이터에는 사용자 입력과 최종 결론만 남기고 긴 프롬프트와 중간 사고 과정은 버립니다. 학생은 ‘곧바로 결론을 내는’ 법을 배웁니다. 증류 후에는 같은 입력에 대한 학생의 출력 품질이 교사에 가까워지면서도 긴 프롬프트와 사고 토큰을 처리할 필요가 없어 지연과 비용이 크게 줄어듭니다.

증류는 두 차원에서 수행할 수 있습니다. ‘대형에서 소형으로’는 대형 모델을 중소형 모델로 바꿔 비용과 품질의 균형을 맞춥니다. ‘사고형에서 비사고형으로’는 같은 규모에서 명시적인 CoT를 암묵적인 파라미터 지식으로 접어 넣어 응답 속도를 20~30배 높입니다. 둘은 배타적이지 않으며 프로덕션 환경에서 함께 사용하는 경우가 많습니다. 증류가 교사의 한계도 물려받는다는 점에 유의해야 합니다. 교사가 분포의 롱테일에서 체계적으로 오류를 내면 학생은 그 오류를 더욱 굳혀 버립니다. 교사가 정확성을 보장하기 위해 도구에 의존한다면 단순 출력 증류는 도구가 제공한 견고성을 잃습니다. 엔지니어링 관점에서 제품 설계가 안정적이고 입력 분포를 예측할 수 있으며 비용 제약이 크다면 프롬프트 증류는 뛰어난 최적화 방법입니다. 탐색 단계이거나 작업이 아직 안정되지 않았다면 명시적인 사고와 편집 가능한 프롬프트를 유지하는 것이 빠른 반복의 핵심입니다.

실험 7-9 ★★★: 사고 연쇄(CoT) 증류 [확장 실험]

프롬프트 증류는 사고 과정을 버리지만 CoT 증류는 반대로 강력한 교사 모델의 완전한 사고 궤적을 학생 모델에 전달합니다. 역량 있는 교사 모델의 CoT를 증류하면 파라미터 수가 같은 학생 모델이 교사 역량의 70~80%를 회복할 수 있습니다. 최첨단 역량의 경계를 넓히려는 것이 아니라 직접 통제할 수 있는 모델을 원하는 팀에는 가장 실용적인 추종 전략입니다. DeepSeek-R1이 오픈 소스로 공개한 일련의 증류 소형 모델은 R1의 사고 궤적으로 Qwen과 Llama 계열에 SFT를 수행한 이 접근법의 대표 사례입니다.

배경: ‘사고 장벽’ 현상. 일부 비공개 소스 사고 모델(예: OpenAI o-series, Gemini 계열)은 사고할 때 내부 사고 연쇄를 생성하지만 사용자가 보는 것은 원래 사고 과정이 아닙니다. 증류 방지, 안전, 제품 경험 등의 이유로 제공자가 CoT를 출력 전에 다시 쓰거나 요약하는 경우가 많아 가장 가치 있는 원래 사고 과정이 API 뒤에 감춰집니다. 이 실험에서 오픈 소스 사고 모델을 교사로 선택한 이유가 바로 여기에 있습니다. DeepSeek V4, Kimi K3, GLM 5.2 같은 모델은 완전한 사고 연쇄를 직접 공개하므로 기술적으로나 라이선스 면에서 증류가 가능합니다. 다만 사용 전에 증류 제품에 관한 라이선스 조건을 확인해야 합니다.

실험 현장에서 얻은 교훈: 코드를 쓸 수 있는 모델이라고 해서 다른 모델의 증류를 기꺼이 돕는 것은 아닙니다. 이 실험을 구현할 때 저자는 먼저 GPT-5.6-Sol로 구동되는 OpenAI Codex를 사용해 실험 코드를 작성했습니다. 작업이 모델 증류를 명시적으로 포함하자 Codex는 계속 진행하기를 거부했습니다. 이어 Claude Opus 5로 구동되는 Claude Code로 전환했지만 같은 거부를 겪었습니다. 최종적으로 Kimi K3가 실험 코드와 후속 실행을 완료했습니다.

두 거부 모두 일반적인 수학 추론 때문도 아니고 단순히 모델의 내부 사고 연쇄를 공개해 달라는 요청 때문도 아니었습니다. 강력한 교사의 데이터로 학생 모델을 학습하는 완전한 증류 실험의 구현이 요청이었습니다. 모델 증류는 기술적으로 일반적인 지도 미세 조정과 매우 비슷하지만, 공급자의 안전 및 제품 정책에서는 모델 추출, 역량 복제, 지식재산권 보호와 연결되어 민감한 범주로 취급될 수 있습니다.

이 사건을 “Claude는 사고 연쇄를 제공하지 않는다”로 단순화해서는 안 되며, “Kimi의 가드레일이 더 약하다”는 증거도 아닙니다. Claude API가 summarized thinking을 반환하는지, Coding Agent가 증류 pipeline 구현에 응하는지, 서비스 약관이 모델 출력을 학습에 사용하는 것을 허용하는지는 서로 다른 세 가지 문제입니다. 이 실험은 어떤 모델의 숨겨진 추론이나 안전 장치를 우회하려 하지 않았고, 승인된 연구 절차를 위해 제품이 공개한 능력만 사용했습니다.

더 실용적이고 중요한 판단은 다음과 같습니다. 사후 학습을 하는 대다수 사람은 비공개 소스 모델의 사고 연쇄를 증류할 필요가 전혀 없습니다. 오늘날 최상위 오픈 소스 모델과 SOTA 비공개 소스 모델의 격차는 생각만큼 크지 않습니다. 교사 모델은 ‘세계 최고’일 필요 없이 ‘학생보다 분명히 강하기’만 하면 됩니다. 사후 학습할 모델이 200B 파라미터 이하라면 오픈 소스 SOTA 모델로 교사 역할을 충분히 수행할 수 있습니다.

실험 설계: 세 단계로 진행합니다. 1단계 궤적 수집에서는 수학, 코드 같은 대상 작업 분포에서 문제를 샘플링하고, 오픈 소스 교사 모델로 완전한 ‘사고 + 답’ 궤적을 생성합니다. 이어 규칙 기반 검증기로 최종 답이 틀린 궤적을 걸러냅니다. 그렇지 않으면 학생이 잘못된 사고 과정까지 모방합니다. ‘후보 생성, 검증과 필터링, 올바른 궤적만 유지’하는 이 단계에는 거부 샘플링(rejection sampling)이라는 이름이 있습니다. 이렇게 만든 데이터로 SFT를 수행하는 것이 거부 샘플링 미세 조정(RFT)입니다. 순수 SFT와 RL 사이에 자리합니다. 학습할 보상 모델도, 정책 경사도 없이 그저 ‘많이 샘플링하고, 틀린 것은 버리고, 맞은 것만 남겨’ 데이터 품질을 높입니다. 검증 가능한 작업의 데이터를 매우 비용 효율적으로 구축할 수 있습니다. 2단계 SFT 학습에서는 ‘문제 → <think> 사고 궤적 </think> + 최종 답’을 학습 쌍으로 삼아 7B 규모 같은 소형 모델에 표준 SFT를 수행합니다. 3단계 비교 평가에서는 같은 벤치마크에서 증류 전후의 학생 모델과 교사 모델을 비교해 회복한 역량의 비율을 측정합니다.

인수 기준: 증류한 학생 모델이 증류 전보다 수학 및 코드 벤치마크에서 크게 개선되고, 사고 궤적에 성찰·되짚기·검증처럼 교사와 비슷한 행동이 나타나야 합니다. 증류의 비용도 유의하십시오. 학생은 교사의 체계적인 오류와 장황한 사고 습관까지 물려받으며, 후자는 실험 7-10의 AdaptThink 방식으로 더 최적화할 수 있습니다.

네 실험이 다루는 설계에는 ‘안정적인 매핑과 프로토콜을 파라미터에 기록한다’는 공통점이 있습니다. 음성 SFT는 스타일 제어 프로토콜을, 다국어 SFT는 사고 구성 템플릿을, 증류 SFT는 입력에서 출력으로 가는 직접 매핑을 고정합니다. 목표가 명확하고 형식이 깨끗하며 평가 기준이 안정적일수록 SFT는 높은 샘플 효율로 성능을 높일 수 있습니다. 다만 분포 이동 시 실제로 성능이 저하되는지는 대상 작업, 데이터, 모델에 맞춘 별도 평가로 확인해야 하며, 이 절의 사례만으로 SFT의 일반화 한계를 보편적인 결론으로 단정할 수는 없습니다.

SFT를 선택할 때와 RL을 선택할 때

7.1절에서는 SFT와 RL의 본질적인 차이를 설명했습니다. 이 절은 더 실용적인 질문에 답합니다. 구체적인 작업이 주어졌을 때 어느 쪽을 사용해야 하는가? 아래 의사결정 프레임워크의 일부 결론은 이후 RL 실험인 실험 7-10과 7-11에서 추가로 검증합니다. 먼저 잠정적인 판단을 세운 뒤 RL 절을 읽고 돌아와 교차 확인해도 좋습니다.

SFT는 JSON 출력이나 일관된 대화 스타일처럼 형식을 안정화해야 하고, 고품질 전문가 시연을 이용할 수 있으며, 배포 환경이 학습 환경과 매우 유사한 작업에 적합합니다. RL을 고려할 수 있는 상황은 다릅니다. 학습과 배포가 체계적으로 다르고 이를 반영하는 보상을 만들 수 있거나(학습에서는 J/Q/K 카드가 모두 10이지만 배포에서는 11/12/13으로 바뀌는 규칙 변화, 학습에서는 검은색 무늬를 사용하지만 배포에서는 붉은색 무늬를 사용하는 외형 변화), 최적 전략을 탐색해야 하거나, 모든 경로를 시연하기에는 주석 비용이 너무 클 때입니다.

구조화 출력이 불안정한 설정에서 가장 견고한 전략은 ‘SFT 후 RL’ 2단계 파이프라인입니다. 이때 SFT의 일차 목표는 작업 성능 최대화가 아니라 출력의 형식 안정성 확보입니다. 모델이 파싱 가능한 JSON과 올바른 도구 인터페이스 호출을 생성하도록 하는 것입니다. 출력 형식이 안정되어야 RL 보상 신호를 확실하게 계산할 수 있습니다. SFT 없이 기반 모델에 직접 RL을 수행하면 출력 형식이 엉망이고 보상을 계산할 수 없어 학습에 실패하는 경우가 많습니다. 다만 이 결론에는 경계 조건이 있습니다. 뒤의 실험 7-11처럼 ‘비교적 작은 기반 모델 + 엄격한 구조화 출력 요구사항’이라는 설정에서 나온 결과입니다. DeepSeek-R1-Zero는 충분히 강력한 기반 모델이라면 SFT를 생략하고 직접 RL을 수행해 성공하며 성찰과 긴 연쇄 사고 역량을 출현시킬 수 있음을 보여 주었습니다. 다만 출력 가독성이 낮고 여러 언어가 섞이는 대가가 따랐고, 바로 이 때문에 DeepSeek는 최종 R1에 ‘콜드 스타트 SFT’를 다시 추가했습니다. R1이 Zero에서 콜드 스타트로 왕복한 과정은 ‘선형후신’을 잘 보여 줍니다. 구조화 출력이 불안정할 때는 SFT로 ‘형’인 형식과 가독성을 빠르게 확립하고, 신뢰할 수 있는 보상이 있을 때 RL로 ‘신’인 전략과 사고 역량을 더 키울 수 있습니다.

각 방식에는 비용이 따릅니다. SFT는 샘플 효율이 높고 빠르게 수렴하며, 일반화 성능은 데이터의 범위와 다양성에 크게 좌우됩니다. RL은 시연에 없던 전략을 탐색할 수 있지만 많은 샘플이 필요하고 학습이 불안정합니다. 다양하고 고품질인 시연을 추가해도 새로운 상황의 성능이 정체되고, 그 상황을 신뢰성 있게 평가할 보상과 환경이 있다면 RL을 고려할 수 있습니다.

실무에서는 다음 순서로 결정할 수 있습니다.

1. 먼저 사후 학습이 필요한지 물어보십시오. 프롬프트 최적화, 도구 설계, 컨텍스트 관리 같은 하네스 엔지니어링으로 해결할 수 있다면 모델을 학습할 필요가 없습니다. 대부분의 에이전트 애플리케이션이 여기에 해당합니다.
2. 학습이 필요하다면 SFT부터 시도하십시오. 출력 형식(JSON 스키마, API 호출 형식), 프로토콜 지식(용어 사용, 출력 형식, 절차 습관, 즉 ‘어떻게 말하고 행동하는가’), 스타일(어조, 길이)을 고정하는 데 적합합니다. 단, SFT는 대량의 사실 지식인 ‘무엇을 아는가’를 주입하는 데 적합하지 않습니다. 그러려면 연속 사전 학습이나 RAG를 사용해야 합니다. 장 말미의 ‘완전한 사후 학습 지형과 실전 요점’을 참고하십시오. SFT는 비용이 낮고 빠르게 효과를 냅니다.
3. SFT가 충분하지 않다면 RL을 추가하십시오. 새로운 상황에 대한 일반화나 최적 전략 탐색이 필요하거나 주석 비용이 지나치게 높은 경우에 적합합니다. 출력이 보상 함수가 요구하는 형식을 안정적으로 따르지 못한다면 먼저 SFT나 제약 디코딩으로 형식을 안정화한 뒤 RL을 적용합니다. 강한 기반 모델이 이미 형식을 충족한다면 직접 RL도 가능합니다.

단일 턴 강화 학습: 암기와 일반화 비교

‘단일 턴’은 모델이 입력을 받고 출력을 생성한 뒤 보상을 받는 한 번의 상호작용으로 작업이 끝나며, 여러 단계에 걸쳐 상태를 유지할 필요가 없다는 뜻입니다. 이 단순화된 설정에서는 다중 턴 상호작용의 복잡성 없이 SFT와 RL 학습 메커니즘의 근본적인 차이에 집중할 수 있습니다. 단일 턴 환경은 같은 작업, 같은 기반 모델, 같은 계산 예산에서 학습 방법만 변수로 두는 명확한 통제 실험 조건을 제공합니다. 첫 실험은 RL이 ‘언제 사고할 것인가’라는 메타 전략을 어떻게 배우는지 보여 주고, 두 번째 실험은 산술 사고 카드 게임으로 ‘SFT는 암기하고 RL은 일반화한다’는 현상을 체계적으로 정량화합니다.

실험에 앞서 뒤에 나올 용어를 이해할 수 있을 정도의 최소한의 직관을 RL 알고리즘에 관해 익혀 보겠습니다. 전체 수식과 비교는 이 장 뒤의 ‘강화 학습 알고리즘 비교’ 절에서 다룹니다. 이 장의 RL 학습은 대부분 정책 경사(policy gradient)를 토대로 합니다. 같은 문제에 여러 응답을 생성하고, 보상이 높은 응답의 확률은 높이며 낮은 응답의 확률은 낮춥니다. 보상을 주는 방향으로는 더 나아가고 그렇지 않은 방향으로는 덜 나아가는 것입니다. 한 번의 큰 업데이트로 모델이 궤도에서 이탈하는 일을 억제하기 위해 주류 PPO 알고리즘은 확률비가 정한 구간을 벗어날 때 대리 목적함수에서 얻는 추가 이득을 클리핑합니다. 이는 큰 변경을 억제하지만 정책 변화의 하드 제약은 아닙니다. 뒤의 실험에서 말하는 ‘가치 네트워크를 사용하는 PPO’로, 가치 네트워크는 더 세밀한 어드밴티지를 계산하기 위한 기준선을 추정합니다. 다른 방식인 GRPO는 가치 네트워크를 학습하지 않고 같은 문제의 여러 응답을 서로 비교해 상대적인 품질을 판단합니다. 다음 두 실험에는 이 정도 직관이면 충분합니다.

실험 7-10 ★★: AdaptThink—‘사고하지 않을 때’를 학습하기

대형 사고 모델(예: OpenAI o1, DeepSeek-R1)은 모든 문제에서 긴 사고 연쇄를 생성해 간단한 문제에도 불필요한 오버헤드를 일으킵니다. 이 실험은 먼저 한 가지 직관을 검증합니다. <think></think>로 사고를 건너뛰는 NoThinking 모드는 간단한 문제에서 비슷하거나 오히려 더 나은 성능을 보이고, 어려운 문제에서만 Thinking 모드의 이점이 나타납니다.

AdaptThink는 RL로 모델이 모드를 적응적으로 선택하도록 학습합니다. 핵심 컴포넌트는 두 가지입니다.

• 제약 최적화 목표: 전체 성능이 떨어지지 않도록 보장하면서 NoThinking을 장려합니다.
• 중요도 샘플링 전략: Thinking과 NoThinking 샘플의 균형을 맞춰 콜드 스타트 문제를 해결합니다. 여기서 콜드 스타트는 초기 모델이 거의 항상 Thinking을 선택해 NoThinking 분기의 샘플이 너무 적고 효과적으로 학습할 수 없는 현상을 뜻합니다. 소수의 시연 예시를 사용하는 앞선 DeepSeek-R1의 ‘콜드 스타트 SFT’와는 다른 의미입니다.

여기서 말하는 ‘중요도 샘플링’은 일반적인 통계 방법입니다. 샘플링 분포가 특정 샘플 부류에 치우쳤을 때 샘플에 가중치를 적용해 분포를 ‘교정’하고 학습 신호가 모든 부류를 공정하게 포괄하도록 합니다. 이 발상은 이 책 뒤에서 다룰 PPO와 DAPO 같은 RL 알고리즘에 반복해서 사용됩니다.

이 과거 학습 실행의 공식 기록은 체크포인트가 없는 학습 보고서입니다. 공개 W&B 주 실행 wubbn5tj는 NVIDIA H100 80GB GPU 8개를 사용했습니다. 0→300단계에서 MATH500 정확도는 0.8100→0.8180(+0.80%포인트), 응답 길이는 4911.46→1576.62(-67.90%)였고, GSM8K는 각각 0.796816→0.818802(+2.20%포인트), 1025.24→477.33(-53.44%)였습니다. AIME mean@16은 각각 0.314583→0.310417(-0.42%포인트), 12119.51→6402.23(-47.17%)였습니다. 이에 대응하는 NoThinking 비율은 83.80%, 84.15%, 56.25%입니다. 이는 데이터셋 집계 수준에서 난이도와 일치하는 라우팅 신호가 있음을 보여 주지만, 문제별로 ‘완벽하게 난이도를 인식한다’고 하거나 정확도가 전반적으로 향상됐다고 주장할 근거는 되지 않습니다.

실행은 보고서의 측정 지점 이후에도 계속되어 410단계, 누적 36.92시간에 도달한 뒤 W&B에서 crashed 상태로 표시됐습니다. 설정된 10 epochs / 3,140단계는 완료되지 않았습니다. 300단계에 체크포인트 타이밍 이벤트가 있지만 체크포인트는 책과 함께 배포되지 않으며, run_eval_verl_hf.sh로 성공적으로 평가했거나 MMLU를 다시 실행했다는 독립적인 실행 증빙도 없습니다. 과거 소스 커밋은 9e588202…이고, 향후 재현은 그 직접 자식 커밋인 0033ad172…에 고정됩니다. 세 진입점 파일은 바뀌지 않았지만 학습 스크립트가 생성하는 -fl- 경로와 평가 스크립트에 하드코딩된 -fl4096 경로는 호환되지 않으므로 수동으로 수정해야 합니다.

AdaptThink는 프롬프트 증류와 함께 ‘빠른-느린 이중 시스템’을 구성합니다. 증류는 사고가 필요한 작업의 비율을 줄이고, AdaptThink는 남은 작업의 작동 전략을 최적화해 사고 효율을 함께 극대화합니다.

실험 7-11 ★★: GeneralPoints—단일 턴 RL에서 ‘암기와 일반화’ 비교

GeneralPoints는 모델의 일반화를 평가하기 위해 특별히 설계된 산술 사고 카드 게임으로, Chu et al.(2025, 「SFT Memorizes, RL Generalizes」, arXiv:2501.17161)이 제안했습니다. 목표는 ‘24 게임’과 비슷합니다. 카드에 나온 숫자 네 개를 각각 정확히 한 번씩 사용하고 덧셈, 뺄셈, 곱셈, 나눗셈을 조합해 목표 숫자 24를 만들어야 합니다. 실험에는 텍스트 전용 GP-L과 이미지 기반 GP-VL 두 변형이 있어 같은 프레임워크에서 규칙 일반화와 시각 일반화를 살펴볼 수 있습니다.

규칙 변형: 학습할 때는 J/Q/K를 모두 10으로 계산하지만 테스트에서는 각각 11/12/13으로 계산해, 테스트 세트에 처음 보는 숫자 조합인 11, 12, 13을 포함한 연산이 들어가도록 하고 일반화를 엄격히 평가합니다. 시각 변형: 학습에는 검은색 무늬(♠♣), 테스트에는 붉은색 무늬(♥♦)를 사용해 시각적 외형 변화에 대한 견고성을 평가합니다. Llama-3.2-Vision-11B를 사용하며 표준 사후 학습 파이프라인을 따릅니다. 먼저 SFT 초기화로 기본적인 지시 준수 능력을 부여하고, 이어 같은 계산 예산에서 SFT와 RL을 별도 분기로 추가 학습합니다. RL에는 PPO와 가치 네트워크를 사용합니다. 두 분기 모두 J/Q/K=10이라는 단일 규칙의 데이터로 학습하고 분포 내(ID) 및 분포 외(OOD) 테스트 세트에서 평가합니다.

결과는 이 통제된 설정에서 뚜렷한 차이를 보여 줍니다. 규칙 OOD: GP-L에서 RL은 +3.5%포인트(11.5%→15.0%) 향상되지만 SFT는 8.1%포인트(11.5%→3.4%) 하락합니다. GP-VL에서 RL은 +3.0%포인트 향상되고 SFT는 5.6%포인트 하락합니다. 시각 OOD: GP-VL에서 RL은 +17.6%포인트(23.6%→41.2%) 향상되지만 SFT는 9.9%포인트(23.6%→13.7%) 하락합니다.

시각 인식 정확도를 추적하면 RL은 결과 중심 최적화를 통해 기반 비전 인코더를 개선하며, 이 개선이 전체 성능 향상과 높은 상관관계를 보입니다. 반면 SFT는 사고 과정의 토큰 패턴에 과적합하고 시각 토큰 학습을 소홀히 해 인식 정확도가 떨어집니다.

이 실험에서는 RL에 SFT 초기화가 필요했습니다. Llama-3.2-Vision-11B 규모의 기반 모델과 엄격한 구조화 출력 요구사항에서는 SFT 없이 곧바로 엔드투엔드 RL을 수행하면 완전히 실패합니다. 기반 모델이 구조화된 출력을 만들지 못해 보상 자체를 계산할 수 없습니다. 이는 특정 설정에서 얻은 결론이지 보편 법칙이 아닙니다. 기반 모델이 충분히 강력하다면 SFT를 건너뛰고 직접 RL을 수행해 성공할 수 있습니다. 앞에서 다룬 DeepSeek-R1-Zero를 참고하십시오. 또 하나 주목할 발견은 이 실험에서 검증 반복 횟수가 많을수록 측정된 일반화가 좋아졌다는 것입니다. 10회 반복은 +5.99%, 1회 반복은 +0.48%로, 테스트 시점의 계산량이 관찰된 향상에 중요한 요인이었음을 보여 줍니다.

이 실험의 분포 이동에서 SFT 성능은 떨어지고 RL은 더 나은 성능을 보인 이유는 무엇일까요? 관찰과 일치하는 한 가지 설명은 제한된 SFT 데이터가 ‘J/Q/K를 만나면 10으로 취급한다’는 고정 패턴을 강화해, 테스트에서 J=11로 바뀌어도 10으로 계산하게 했다는 것입니다. 결과로 학습한 RL 분기는 ‘정답이 나올 때까지 다시 계산한다’는 전략을 강화했을 가능성이 더 높아 규칙이 바뀐 뒤에도 같은 절차를 적용할 수 있었습니다. 이는 이 실험의 ‘암기’와 ‘일반화’ 대조를 설명하지만, SFT는 암기만 하거나 RL은 반드시 일반 알고리즘을 배운다는 뜻은 아닙니다.

이 실험의 핵심 기여는 제한된 GeneralPoints 설정에서 SFT의 과적합 경향과 RL의 더 나은 분포 밖 성능을 체계적으로 정량화하고, 텍스트 전용과 비전-언어 변형 모두에서 같은 패턴을 관찰한 것입니다. 이 설정에서는 SFT가 형식을 안정화하고 RL이 그 토대 위에서 전략을 탐색해 상호 보완적으로 작동했습니다. 중국 회화의 표현을 빌린 ‘선형후신’ 학습 구성은 먼저 외형인 형식과 구조를 정확히 그린 뒤 내면의 전략을 다듬는 방법론적 토대를 제시합니다.

RLHF: 인간 선호도에서 보상 모델로

앞선 실험에는 작업의 정답을 검증할 수 있다는 공통 전제가 있습니다. 공식이 맞는지, 형식이 규칙을 따르는지는 규칙 기반 검증기가 채점할 수 있습니다. 그러나 오늘날 배포된 대화 모델이 ‘적절하고 안전한 어시스턴트’처럼 행동하는 데에는 더 일찍 성숙한 다른 연구 계열인 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화 학습)가 기여했습니다. RLHF를 이해해야 ChatGPT 같은 제품의 대화 품질과 안전 정렬이 어디에서 오는지 알 수 있고, 뒤에서 다룰 알고리즘의 KL 페널티와 보상 해킹 같은 개념도 이해할 수 있습니다.

InstructGPT의 3단계 파이프라인. OpenAI의 InstructGPT²는 오늘날에도 사용하는 표준 절차를 확립했습니다.

1. SFT: 인간이 시연한 ‘지시-응답’ 쌍으로 사전 학습 모델을 미세 조정해 기본적인 지시 준수 역량을 확립합니다. 앞의 ‘SFT(지도 미세 조정)’ 절에서 다룬 내용입니다.
2. 보상 모델(RM) 학습: 같은 프롬프트에서 모델이 여러 응답을 생성하게 하고, 인간 주석자가 두 개씩 비교해 어느 쪽을 선호하는지 표시합니다. 이 선호도 쌍으로 채점 모델을 학습하며, 학습 목표는 Bradley-Terry 모델을 토대로 합니다.

$\(\mathcal{L}_{\text{RM}} = -\log \sigma\big(r(x, y_w) - r(x, y_l)\big)\)$

여기서 \(y_w\)는 선호하는 응답, \(y_l\)은 거부한 응답, \(\sigma\)는 시그모이드 함수입니다. 직관은 매우 간단합니다. RM이 선호하는 응답에 더 높은 점수를 주게 합니다. 점수가 아니라 비교를 수집하는 이유는 사람이 절대 점수를 일관되게 매기기 어렵기 때문입니다. ‘이 응답은 7.3점이다’라고 일관되게 라벨링하기는 거의 불가능하지만 ‘A와 B 중 어느 쪽이 더 나은가’를 판단하는 일은 훨씬 신뢰할 만합니다. 이 장 전체를 관통하는 ‘보상 모델’의 역할을 기억하십시오. 여기서는 인간 선호도에서 학습한 채점기입니다. 7.10절의 보상 설계에서는 최종 결과만 보는 ORM, 단계별로 채점하는 PRM, 자연어로 사고 과정을 제시하는 생성형 보상 모델 등 여러 형태를 살펴봅니다. 정답을 규칙으로 직접 판정할 수 있을 때는 보상 모델이 결정론적 코드 조각으로 단순해지며, 이것이 뒤에서 다룰 RLVR입니다. 모두 같은 질문에 답합니다. 보상은 어디에서 오는가? 3. RM 점수로 PPO 수행: RM의 점수를 보상 신호로 사용해 SFT 모델에 PPO 학습을 수행합니다. PPO의 메커니즘은 다음 절에서 설명합니다. 모델은 RM이 ‘인간이 선호할 것’이라고 판단하는 응답을 생성하는 법을 배웁니다.

KL 페널티: 출발점에서 너무 멀리 벗어나지 않기(KL 발산 완전 해설). RLHF에서 모델이 실제로 최적화하는 보상은 보통 RM 점수 자체가 아니라 페널티 항을 뺀 값입니다.

\[r = r_{\text{RM}} - \beta \cdot \mathrm{KL}\big(\pi_\theta \,\|\, \pi_{\text{ref}}\big)\]

이 공식 하나에서 초심자가 흔히 묻는 네 가지 질문이 생깁니다. 하나씩 살펴보겠습니다.

(1) KL 발산이란 무엇이며 페널티는 어디에 적용되는가? KL 발산(Kullback-Leibler Divergence)은 두 확률 분포의 차이를 측정합니다. 분포가 비슷할수록 KL이 작고 동일하면 0이며, 다를수록 커집니다. 비교하는 두 분포는 같은 앞선 컨텍스트가 주어졌을 때 현재 정책 \(\pi_\theta\)(학습 중인 모델)과 참조 정책 \(\pi_{\text{ref}}\)(학습 출발점, 보통 SFT 모델)이 만드는 응답 분포입니다. \(\beta\)는 페널티 강도를 제어하며 학습 스크립트에서 흔히 보는 kl_coef 하이퍼파라미터입니다. 자기회귀 정책의 응답 수준 KL은 다음처럼 현재 정책에서 샘플링한 토큰 로그 확률비의 합에 대한 기대값으로 쓸 수 있습니다.

\[D_{\mathrm{KL}}(\pi_\theta\|\pi_{\text{ref}})=\mathbb{E}_{y\sim\pi_\theta}\left[\sum_t \log\frac{\pi_\theta(y_t\mid x,y_{<t})}{\pi_{\text{ref}}(y_t\mid x,y_{<t})}\right]\]

실제 학습에서는 \(y_t\sim\pi_\theta(\cdot\mid x,y_{<t})\)로 샘플링한 각 토큰에서 이 로그 확률비를 계산해 보상에서 빼는 경우가 많습니다. 개별 로그 확률비는 음수일 수도 있고 그 자체가 KL은 아닙니다. 토큰 합의 기대값이 위의 분포 수준 KL이 되며, 구현에 따라 이 추정치를 보상 조정(보상 셰이핑)이나 별도의 정규화 항으로 목적 함수에 넣습니다.

(2) 왜 ‘현재 정책을 먼저, 참조 정책을 나중에’ 두는가? KL 발산은 \(\mathrm{KL}(P\|Q)\neq\mathrm{KL}(Q\|P)\)인 비대칭 값이므로 방향이 임의적이지 않습니다. 여기서는 현재 정책을 먼저 두어 \(\mathrm{KL}(\pi_\theta\|\pi_{\text{ref}})\)라고 씁니다. 참조 분포를 목표로 보고 현재 정책을 근사 분포로 두는 관례에서는 이를 역방향 KL이라고 부릅니다. 현재 정책이 높은 확률을 주는 응답을 기준으로 참조 정책과의 로그 확률비를 측정하므로, 보상을 좇는 정책이 출발 모델에서 지나치게 멀어지는 것을 직접 억제합니다. 참조 정책이 안전을 보장하는 것은 아니지만, 학습이 시작된 언어·형식 분포에 정책을 묶어 두는 기준점 역할을 합니다. 반대로 \(\mathrm{KL}(\pi_{\text{ref}}\|\pi_\theta)\)은 참조 정책이 확률을 주는 영역을 현재 정책도 포괄하도록 더 강하게 압박합니다. 어느 방향이 적합한지는 목적 함수와 근사 방식에 달려 있으며, 여기서는 일반적인 RLHF 정책 정규화에 쓰이는 방향을 설명합니다.

(3) 모드 추구는 언제 나타나는가? 제한된 분포 계열로 다봉형 목표 분포를 근사할 때 역방향 KL은 저확률 영역에 질량을 두는 비용을 크게 매기므로 하나의 모드에 집중하는 모드 추구 성향을 보일 수 있습니다. 그러나 RLHF의 정책은 보상 항과 KL 정규화를 함께 최적화하므로 역방향 KL만으로 소수 모드를 선택하거나 다양성을 낮춘다고 보장할 수는 없습니다. 실제 다양성은 보상 모델, KL 계수, 샘플링 방법과 정책의 표현력에 함께 좌우됩니다. 여기서 KL 항의 일차 목적은 특정 응답 스타일을 강제하는 것이 아니라 보상 최적화 과정에서 정책이 참조 분포로부터 과도하게 이탈하지 않도록 제한하는 것입니다.

(4) 이것이 없으면 어떻게 되는가? 직관은 간단합니다. 출발점에서 너무 멀리 벗어나면 보상 모델의 점수를 신뢰하기 어렵습니다. RM은 참조 정책 주변의 출력 분포에서 학습합니다. 모델이 RM에서 한 번도 보지 못한 분포로 최적화되면 RM의 점수는 근거 없는 외삽값이 되고, 높은 점수가 더는 높은 품질을 의미하지 않을 수 있습니다. 따라서 KL 페널티는 모델이 실제 작업을 잘하지 않고 보상의 허점을 악용해 높은 점수만 얻는 보상 해킹과, 출력이 반복이나 무의미한 문자열 같은 극단적인 형태로 퇴화하는 분포 붕괴의 위험을 완화합니다. 검증 가능한 보상을 사용하는 RLVR 학습에서도 안정화를 위해 KL 정규화를 유지하는 경우가 많습니다. DAPO와 Open-Reasoner-Zero 같은 일부 연구는 의도적으로 제거했지만, DeepSeek-R1-Zero의 GRPO 목적 함수에는 KL 항이 명시적으로 포함되어 있습니다.

보상 모델은 ‘과도하게 최적화’될 수 있습니다. 결국 RM은 인간 선호도의 대리 지표일 뿐입니다. Goodhart의 법칙에 따르면 지표가 최적화 목표가 되면 더는 좋은 지표가 아닙니다. 대리 지표를 극단까지 밀어붙이면 실제 목표와의 상관관계가 왜곡됩니다. OpenAI의 연구³는 이러한 보상 모델 과최적화 현상을 체계적으로 측정했습니다. RL 학습이 진행될수록 대리 보상인 RM 점수는 단조롭게 오르지만, 실제 품질인 인간 평가는 처음에는 오르다가 나중에는 떨어집니다. 모델이 점차 배우는 것은 더 잘 답하는 법이 아니라 RM에서 높은 점수를 받는 법입니다. 장황하고 비위를 맞추며 엄밀하게 들리지만 내용 없는 말을 생성합니다. 이는 RLHF에서 나타나는 보상 해킹의 구체적인 형태이며, KL 페널티와 조기 중단이 가장 일반적인 완화책입니다. 이 장 말미의 ‘흔한 함정’에서 다룰 보상 해킹 문제도 근원이 같습니다.

DPO: 명시적인 보상 모델 건너뛰기. DPO(Direct Preference Optimization)⁴는 다음 전제에서 출발합니다. ‘RM 학습 + PPO’의 조합이 결국 ‘선호 응답의 확률은 높이고 거부 응답의 확률은 낮추되 참조 모델에서 너무 멀리 벗어나지 않는’ 결과를 낸다면, 명시적인 RM을 건너뛰고 선호도 쌍을 암묵적 보상을 포함한 분류 손실로 직접 바꾸면 되지 않을까요? 수학적으로 이는 KL 제약이 있는 오프라인 선호도 최적화와 같으며, 보상 모델이 정책 자체에 암묵적으로 내장된다고 증명할 수 있습니다. DPO 학습은 SFT만큼 단순합니다. 온라인 샘플링이나 가치 네트워크가 없고 별도의 RM도 유지할 필요가 없습니다. 대가는 완전히 오프라인이라는 점입니다. 선호도 데이터 너머의 새 행동을 탐색할 수 없으며, 성능 상한은 선호도 데이터의 품질과 범위로 결정됩니다.

RLHF와 RLVR의 관계. 요약하면 두 접근법의 차이는 보상이 어디에서 오는가에 있습니다. RLHF의 보상은 인간 선호도 데이터를 토대로 학습한 RM에서 나오고, RLVR(Reinforcement Learning with Verifiable Rewards)은 테스트 통과 여부나 정답 여부를 판단하는 규칙 기반 검증기를 사용합니다. 에이전트 작업은 대부분 검증할 수 있으며, 바로 이 때문에 이 장은 RLVR을 주제로 삼습니다. 그러나 둘 중 하나만 선택하는 관계는 아닙니다. 실제 배포 모델은 두 방식을 결합합니다. RLHF는 대화 품질과 안전 정렬을, RLVR은 사고와 에이전트 역량을 담당합니다. 뒤의 ‘보상 패러다임의 진화’ 절에서 다룰 생성형 보상 모델은 두 계열이 만나는 지점으로 볼 수 있습니다. 규칙으로 다룰 수 없는 개방형 작업에 학습 가능한 보상 모델을 사용합니다.

강화 학습 알고리즘 비교

앞의 단일 턴 실험에서는 해당 통제 설정에서 RL의 일반화 이점을 보여 주었고, 직전 절에서는 RLHF의 선호도 최적화 방식을 소개했습니다. 그러나 각 연구에서 사용한 구체적인 알고리즘은 서로 다르며 많은 선택지 중 일부에 불과합니다. 더 복잡한 다중 턴 작업으로 넘어가기 전에 주류 알고리즘의 특징과 적용 시나리오를 체계적으로 살펴볼 필요가 있습니다.

공식에 길을 잃지 않도록 가장 중요한 내용을 먼저 말하겠습니다. 이 절에는 알고리즘 이름과 수식이 꽤 많이 나오지만 이 장의 두 번째 주제를 기억하십시오. 산업 현장에서는 기성 RL 알고리즘(PPO, GRPO 등)의 사용법을 알고 적절한 것을 고르면 충분합니다. 실제 성패를 좌우하는 것은 알고리즘이 아니라 데이터와 환경입니다. 이러한 알고리즘은 이미 veRL과 TRL 같은 성숙한 프레임워크로 패키징되어 있어 보통 설정 몇 줄만 바꾸면 사용할 수 있습니다. 따라서 여기서는 유도 과정을 가르치는 대신 어떤 상황에 어떤 알고리즘을 쓸지 보여 주는 선택 지도를 제공합니다. 모델 학습 엔지니어를 위한 수식 부분은 건너뛰어도 흐름을 놓치지 않습니다. 다음 절에서는 데이터와 환경이 알고리즘보다 중요한 이유를 적극적으로 설명합니다.

현대 LLM 에이전트의 RL 환경은 전통적인 RL과 근본적으로 다릅니다. 에이전트는 사용자 의도를 이해하고, 도구를 호출하고, 구조화된 출력을 생성하고, 여러 대화 턴에 걸쳐 긴 연쇄 사고를 수행해야 합니다. 이처럼 목표와 단계가 여러 개인 의사결정에서는 ‘적절한 알고리즘 선택’도 어느 정도 영향을 미치지만 데이터와 환경에 비하면 훨씬 작습니다.

구현 관점에서 RL 알고리즘은 환경과 상호작용하며 새 전략을 탐색하는 온라인 탐색 방식과 기존 데이터를 토대로 더 안정적이고 직접적으로 최적화하는 오프라인 최적화 방식으로 나뉩니다. 앞에서 약속한 엄밀한 용어도 정리하겠습니다. 온폴리시(On-Policy) 방식은 같은 정책에서 새로 샘플링한 데이터만 사용해 정책을 업데이트합니다. 오프폴리시(Off-Policy) 방식은 앞에서 본 Q-learning처럼 다른 정책이나 이전 버전 정책이 생성한 데이터에서도 학습할 수 있습니다. 이 장의 방식을 이 정의에 대응하면, SFT는 데이터가 모델 자체가 아니라 교사나 인간 시연에서 오는 오프폴리시 모방 학습입니다. LLM 학습에서 표준적으로 사용하는 PPO와 GRPO는 온폴리시 방식입니다. 매 회차 현재 모델로 작업 전체를 처음부터 끝까지 한 번 실행해 완전한 궤적을 생성하는 새 롤아웃을 샘플링해 업데이트합니다. DPO는 온라인 샘플링도 엄격한 정책 반복도 없는 오프라인 선호도 최적화입니다.

이 알고리즘 대부분은 정책 경사라는 같은 발상, 즉 ‘기대 수익을 높이는’ 방향으로 정책 파라미터 \(\theta\)를 조정하는 방식에 기반합니다. 가장 기본적인 형태인 REINFORCE는 다음과 같습니다.

\[\nabla_\theta J(\theta) = \mathbb{E}\big[\nabla_\theta \log \pi_\theta(a \mid s)\, G\big]\]

여기서 \(\pi_\theta(a\mid s)\)는 행동 \(a\)를 상태 \(s\)에서 선택할 확률인 정책이고, \(G\)는 이 궤적 전체 또는 해당 단계 이후의 누적 수익입니다. 수익이 높을수록 모델은 해당 행동의 확률을 더 강하게 높입니다. 궤적 전체의 수익 \(G\)를 가중치로 사용하면 편향은 없지만 분산이 큽니다. 그래서 기준선 \(b\)를 도입하고 이 행동이 평균보다 얼마나 나은지를 나타내는 어드밴티지 \(\hat{A}=G-b\)를 가중치로 사용해 분산을 줄입니다. 뒤의 PPO와 GRPO는 본질적으로 ‘어드밴티지 \(\hat{A}\)를 어떻게 안정적으로 추정하고 사용할 것인가’를 각각 다른 방식으로 개선한 것입니다.

PPO는 ‘클리핑’을 사용해 확률비가 정한 구간을 벗어날 때 대리 목적함수에서 얻는 추가 이득을 잘라, 큰 정책 변경을 억제합니다. 다만 실제 확률비나 전체 정책 거리를 엄격한 경계 안에 보장하지는 않습니다.

\[L^{\text{CLIP}}(\theta) = \mathbb{E}\Big[\min\big(\rho\,\hat{A},\ \operatorname{clip}(\rho,\, 1-\epsilon,\, 1+\epsilon)\,\hat{A}\big)\Big],\quad \rho = \frac{\pi_\theta(a\mid s)}{\pi_{\theta_{\text{old}}}(a\mid s)}\]

여기서 \(\rho\)는 새 정책과 이전 정책의 확률 비율이며, \(\epsilon\)(예: 0.2)은 대리 목적함수가 추가 이득을 인정하는 클리핑 구간을 정합니다. \(\rho\) 자체가 이 구간을 절대 벗어나지 못하게 하는 하드 제약은 아닙니다. 뒤에서 언급할 ‘Clip-Higher’는 특히 상한 \(1+\epsilon\)을 완화합니다.

GRPO는 PPO가 궤적의 각 단계에서 가치 함수를 별도로 추정하고 더 세밀한 어드밴티지를 계산하기 위해 학습하는 보조 신경망인 가치 네트워크를 제거합니다. 대신 ‘그룹 내 상대 비교’로 어드밴티지를 추정합니다. 같은 문제에서 \(N\)개 궤적을 샘플링해 수익 \(r_1,\dots,r_N\)을 얻고, 각 궤적의 어드밴티지를 그룹 내 상대 성과로 정의합니다.

\[\hat{A}_i = \frac{r_i - \operatorname{mean}(r_1,\dots,r_N)}{\operatorname{std}(r_1,\dots,r_N) + \varepsilon}\]

즉 ‘그룹 평균보다 좋으면 양수, 나쁘면 음수’로 정하며 가치 네트워크가 필요 없습니다. 바로 이 때문에 비용이 더 낮습니다. \(\varepsilon\)은 모든 수익이 같아 표준편차가 0일 때 0으로 나누는 일을 막는 작은 상수입니다. 구현에 따라 이런 그룹은 어드밴티지를 모두 0으로 두거나 업데이트에서 건너뜁니다. 위 공식에서는 KL 정규화 항을 생략했습니다. 실제 학습에서는 보통 직전 절에서 소개한 KL 페널티를 더해 정책이 참조 모델 근처에 머물도록 제약합니다.

표 7-4는 주류 방식의 핵심 특징을 요약합니다. 읽을 때 흔히 혼동하는 두 가지를 구분하십시오. 보상이 어디에서 오는가(규칙 검증기, 학습한 보상 모델, 인간 선호도 데이터)와 어떤 알고리즘으로 최적화하는가는 별개의 문제입니다. PPO와 GRPO는 보상 출처를 가리지 않으며 규칙 검증기(RLVR)와 보상 모델(RLHF) 어느 쪽에도 연결할 수 있습니다. 실제 차이는 어드밴티지 추정 방식, 즉 가치 네트워크와 그룹 상대 기준선 중 무엇을 사용하는가에 있습니다.

표 7-4 사후 학습 및 추론 시점 최적화 방식 비교

방식	유형	핵심 아이디어	장점	단점	적용 시나리오
REINFORCE	온라인 RL 알고리즘	전체 궤적의 최종 보상으로 정책 업데이트	구현이 간단함	분산이 크고 학습이 불안정함	이론적 기준선. 원형을 직접 쓰는 경우는 드물지만 기준선을 사용하는 변형(RLOO, REINFORCE++ 등)은 현재 주류에 속함. GRPO도 본질적으로 그룹 상대 기준선을 사용하는 REINFORCE
PPO	온라인 RL 알고리즘	확률비 구간 밖의 대리 목적함수 이득을 클리핑해 큰 정책 변경 억제	안정적이며 가치 네트워크가 더 세밀한 기여도 할당 제공	정책 거리의 하드 경계가 아니며 가치 네트워크를 추가로 학습·저장해야 하고 하이퍼파라미터에 민감함	다중 턴 에이전트, 긴 궤적의 기여도 할당
GRPO	온라인 RL 알고리즘	같은 문제에서 여러 궤적을 샘플링해 그룹 안에서 상대 품질 비교	가치 네트워크가 필요 없어 비용이 낮음	응답 전체에 같은 어드밴티지를 부여해 기여도 할당이 거칠며, 그룹 내 궤적을 구별할 수 있는 보상이 필요함	보상의 변별력이 좋은 단일 턴 또는 짧은 궤적 작업
DPO	오프라인 선호도 최적화	선호도 쌍을 암묵적 보상이 포함된 분류 손실로 직접 변환	매우 간단하고 효율적이며 온라인 샘플링이 필요 없음	새 정책을 탐색할 수 없고 오프라인 선호도 데이터의 품질과 범위에 제한됨	기존 고품질 선호도 데이터가 있는 상황
KTO	오프라인 선호도 최적화	샘플 하나의 ‘좋음/나쁨’ 라벨만 필요	주석 비용이 매우 낮음	신호가 거침	주석 자원이 극히 제한된 상황
Best-of-N	추론 시점 방식	추론할 때 N개 출력을 생성해 최선의 결과 선택	모델 수정이 없고 구현이 간단함	추론 비용이 배수로 늘고 역량이 파라미터에 내장되지 않음	초기 단계의 빠른 품질 개선, RL 보상 상한 추정

이 장의 실험에서 사용한 알고리즘을 명확히 밝히겠습니다. GeneralPoints와 V-IRL(실험 7-11, 7-12)은 같은 연구에서 나왔으며 가치 네트워크를 사용하는 PPO를 씁니다. AdaptThink(실험 7-10)는 중요도 샘플링을 포함한 맞춤형 제약 최적화 목표를 사용합니다. 뒤에서 다룰 ReTool(실험 7-15)은 veRL 기반의 수정된 PPO 구현을 사용합니다. 학습 데이터는 DAPO-Math-17k에서 가져오지만 최적화 알고리즘은 여전히 PPO입니다. SimpleVLA-RL(실험 7-13)과 RLVP(실험 7-14)는 GRPO를 기반으로 합니다. 다중 턴 환경에서는 기여도 할당 문제가 더 복잡하고 알고리즘마다 장단점이 있습니다.

실용적인 선택 경로는 다음과 같습니다. 신뢰할 만한 보상 신호와 충분한 계산 자원이 있다면 단순성이 필요한 경우 GRPO를, 긴 궤적에서 유연성과 세밀한 기여도 할당이 필요한 경우 PPO를 선택하십시오. 고품질 선호도 데이터가 있다면 더 저렴한 DPO나 KTO를 선택하고, 초기 탐색 단계에서는 Best-of-N으로 빠르게 시작하십시오.

이 표를 보고 ‘그렇다면 미세 조정에는 어떤 알고리즘을 써야 할까?’라고 생각할 수 있습니다. 답은 놀라울 수 있습니다. 대부분의 경우 어느 것이든 괜찮습니다. 처음부터 알고리즘에 매달리지 마십시오. 다음 절은 이 주제를 집중적으로 다룹니다.

데이터와 환경: 알고리즘보다 더 중요한 것

이 장에서 가장 기억해 주었으면 하는 절로, 두 번째 주제를 정면으로 다룹니다. 알고리즘을 설명하는 데 상당한 분량을 썼지만 산업 현장의 경험은 반대 방향을 가리킵니다. 알고리즘은 더 기본적인 세 요소인 시뮬레이션 환경의 충실도, 학습 데이터의 품질, 기반 모델의 역량보다 훨씬 덜 중요합니다. 기존 알고리즘의 사용법을 알면 충분하며, 팀의 실력을 가르는 것은 환경을 얼마나 잘 구축하고 데이터를 얼마나 세심하게 선별하는가입니다. 이는 평가 및 시뮬레이션 환경이 사후 학습의 초석이라는 6장의 결론, 그리고 7.2절에서 살펴본 OpenAI의 우선순위 역전과도 일치합니다. 수십 년 동안 RL 연구는 우선순위를 거꾸로 두었으며 실제 순서는 사전 지식(기반 모델) > 환경 > 알고리즘입니다.

환경: 모델의 훈련장

RL의 본질은 ‘시행착오 학습’이고 시행착오에는 훈련장인 시뮬레이션 환경이 필요합니다. 모델은 환경에서 작업을 반복 실행하고 피드백을 받아 정책을 조정합니다. 환경이 실제 배포 시나리오를 얼마나 닮았는지를 뜻하는 충실도는 학습한 정책을 실제로 사용할 수 있는지를 직접 결정합니다.

• 왜곡된 환경은 쓸모없는 정책을 만듭니다. 시뮬레이션의 고객 서비스 담당자가 늘 고정된 스크립트로 답하고 오류 메시지가 프로덕션과 다르다면, 모델은 시뮬레이션에서만 통하는 시험 요령을 배워 배포하는 즉시 무너집니다. RL 프로젝트가 실패하는 가장 흔한 이유는 알고리즘이 나빠서가 아니라 연습장이 시험장과 달랐기 때문입니다.
• 충실도 높은 환경을 구축하는 일은 학습 자체보다 더 어렵고 비싼 경우가 많습니다. 대규모 병렬 처리, 안정적인 재현성, 현실적인 피드백을 지원하는 환경에는 보통 모델 조정보다 훨씬 많은 엔지니어링 노력이 듭니다. 이 장 뒤의 AWorld MCP 샌드박스와 ReTool 코드 인터프리터 샌드박스를 비롯한 도구 호출 실험이 환경 엔지니어링에 대규모로 투자한 이유는 간단합니다. 실제 API에는 속도 제한이 있고 계정이 정지될 수 있으며 부작용도 생기므로 학습에 직접 사용할 수 없습니다. 먼저 안정적이고 제어 가능하며 재생할 수 있는 ‘그림자 세계’를 구축해야 합니다.
• 환경의 나머지 절반은 보상 함수입니다. 환경은 ‘세계가 어떻게 변하는가’를 시뮬레이션할 뿐 아니라 ‘행동이 좋았는가 나빴는가’도 판단해야 합니다. 여기에서 보상 신호가 나옵니다. 보상 설계는 환경 엔지니어링의 일부이며 다음 절에서 자세히 다룹니다.

한마디로 알고리즘을 조정하기 전에 ‘내 시뮬레이션 환경이 정말 현실 세계를 닮았는가?’라고 물으십시오. 이 질문의 답은 PPO와 GRPO 중 하나를 고르는 일보다 훨씬 중요합니다.

환경을 만들 수 없다면? 모델에 환경 역할 맡기기

하지만 더 근본적인 문제가 있습니다. 많은 상황에서 충실도 높은 환경은 ‘비싸서’가 아니라 아예 구축할 수 없습니다. 실제 API에는 부작용이 있어 무모하게 호출할 수 없고, 실제 사용자를 시행착오에 동원할 수 없으며, 물리 세계를 빠르게 돌릴 수도 없습니다. 쓸 만한 ‘그림자 세계’조차 세울 수 없다면 RL을 포기해야 할까요? 점점 주류가 되는 답은 모델로 환경을 시뮬레이션하는 것, 즉 LLM이 환경 역할을 맡아 에이전트와 상호작용하는 데 필요한 피드백을 생성하게 하는 것입니다. 이 경로에는 두 수준이 있습니다.

첫 번째 수준: 모델이 도구 호출의 반환값을 합성합니다. ZeroSearch(2025)를 예로 들어 보겠습니다¹¹. ‘검색할 줄 아는 모델’을 학습하려면 보통 실제 검색 엔진이 필요하지만 검색 API는 비용이 들고 속도 제한이 있으며 반환 결과도 제어할 수 없습니다. ZeroSearch는 아예 LLM에 검색 엔진 역할을 맡깁니다. 학생 모델이 검색 쿼리를 내면 이 ‘시뮬레이션 엔진’이 검색 결과를 생성해 돌려줍니다. 더 나아가 커리큘럼식 설계를 사용합니다. 학습 초기에는 시뮬레이션 엔진이 관련성 높은 고품질 문서를 반환하고, 학습이 진행될수록 잡음을 점차 섞어 반환 품질을 낮춥니다. 학생이 실제 검색 엔진의 불완전한 결과에서 유용한 정보를 추출하도록 강제하는 것입니다. 그 결과 학습 중 실제 검색 엔진을 한 번도 보지 못한 모델도 실제 검색에 바로 연결하면 좋은 성능을 냅니다.

두 번째 수준: 모델이 전체 환경의 동역학을 시뮬레이션합니다. 도구 하나의 반환값만이 아니라 ‘행동을 한 뒤 세계가 어떤 모습이 되는가’조차 모델에 맡길 수 있습니다. DreamGym(2025)¹²은 환경 동역학을 사고형 ‘경험 모델’로 증류합니다. 현재 상태와 에이전트의 행동을 입력하면 단계별로 사고해 상태 전이와 피드백 신호를 만들고, 실제 환경에 접근하지 않은 채 온라인 RL을 위한 롤아웃을 대량 합성합니다. 고객 서비스나 영업 에이전트 학습에서는 LLM에 사용자 역할을 맡기는 사용자 시뮬레이터를 흔히 사용합니다. τ-bench 평가 계열도 바로 이 발상을 토대로 하며, 같은 모델 시뮬레이터가 시험장과 훈련장 역할을 모두 할 수 있습니다.

그러나 이 경로의 위험도 분명히 말해야 합니다. 시뮬레이터의 세계 지식이 학습의 상한이고, 시뮬레이터의 체계적 편향은 정책에 고스란히 흡수됩니다. 시뮬레이션 고객이 실제 사용자보다 인내심이 많거나 시뮬레이션 검색 엔진이 쓰레기 결과를 전혀 반환하지 않는다면, 학생은 ‘모델이 연기하는 세계’에서만 작동하는 정책을 배웁니다. 더 나쁘게는 RL이 시뮬레이터의 허점을 적극적으로 찾아 악용하며 보상 해킹을 합니다. 따라서 건전한 엔지니어링 방법은 혼합입니다. 상호작용 대부분은 모델 시뮬레이션으로 처리하되 실제 환경 상호작용으로 보완하고, 실제 환경 상호작용을 사용해 시뮬레이터의 편향을 주기적으로 보정합니다.

데이터: 가장 중요한 연결고리, 품질이 모든 것을 이깁니다

환경이 훈련장이라면 데이터는 교과서이자 세 요소 중 가장 중요한 것입니다. 여기서 ‘데이터’는 SFT 단계의 시연 샘플인 입력-출력 쌍과 RL 단계의 작업 분포 및 보상 신호를 가리킵니다. 어느 단계든 철칙은 하나입니다.

데이터 품질은 알고리즘을 이깁니다. 아무리 정교한 알고리즘이라도 지저분하고 구멍이 많거나 체계적으로 편향된 데이터를 주면 학습한 정책도 지저분해집니다. SFT는 데이터의 잡음과 편향을 파라미터에 그대로 새기고, RL은 편향된 보상을 향해 집요하게 최적화하면서 잘못된 방향으로 점점 더 나아갑니다. 보상 해킹이 자라기 좋은 토양입니다. 쓰레기가 들어가면 쓰레기가 나옵니다(Garbage in, garbage out). 사후 학습에서는 이 원칙이 그대로 드러납니다.

더 나아가 많은 팀이 큰돈을 아낄 수 있는 통찰을 놓쳤습니다.

많은 상황에서는 SFT 데이터 품질이 충분히 높으면 RL 자체가 필요하지 않습니다. RL은 비싸고 불안정하며 흔히 SFT보다 수십~수백 배 비용이 드는데도 팀은 습관적으로 먼저 RL을 찾습니다. 작업 분포를 예측할 수 있고 충분히 다양하며 고품질인 시연을 모을 수 있다면 견고한 SFT만으로도 충분한 경우가 많습니다. RL을 정말 대체할 수 없는 상황은 제한적입니다. 7.5절에서 봤듯 배포 분포가 체계적으로 이동하거나, 전문가 시연 자체가 최적이 아니거나, 모든 경로를 시연할 만큼 주석 비용을 감당할 수 없을 때입니다. 먼저 SFT 데이터를 제대로 만들고, 그 뒤 RL이 필요한지 판단하십시오. 이 순서로 계산 자원과 시간을 크게 아낄 수 있습니다.

설득력 있는 산업 사례로 Anthropic을 들 수 있습니다. 2025년 이전의 사후 학습 방법은 주로 두 부분으로 이루어졌습니다. 방대한 고품질 데이터의 SFT와 RLAIF(Reinforcement Learning from AI Feedback. Bai et al. 2022의 Constitutional AI는 ‘헌법’을 기준으로 모델이 자신의 응답을 채점하고 정렬하게 함)입니다. 반면 현재 코드 및 사고 작업의 표준인 RLVR(Reinforcement Learning with Verifiable Rewards)에는 거의 의존하지 않았습니다. 그런데도 당시의 코딩 모델은 이미 뛰어났습니다. 그 이유는 대체로 알고리즘이 아니라 SFT와 RLAIF 양쪽에서 Anthropic이 데이터 품질을 얼마나 높은 수준까지 끌어올렸는지에 있습니다. 이는 앞의 판단, 즉 SFT 데이터가 충분히 좋다면 단순한 방법만으로도 정교한 검증 가능 보상 RL이 필요하지 않을 수 있다는 점을 확인해 줍니다. 그렇다고 RL이 쓸모없다는 뜻은 아닙니다. 신뢰할 수 있는 보상과 환경을 마련할 수 있다면 좋은 데이터라는 토대 위에서 RL이 추가적인 개선을 제공할 수 있습니다. 데이터와 보상은 각각 모델이 배울 수 있는 범위와 최적화 방향을 결정합니다.

데이터 품질은 구체적으로 무엇을 뜻할까요? 적어도 세 차원이 있습니다. 범위는 배포 중 마주칠 다양한 상황, 특히 롱테일과 엣지 케이스를 포괄하는지 묻습니다. 다양성은 시연의 화자, 스타일, 해법이 충분히 풍부한지 묻습니다. 그렇지 않으면 실험 7-6의 ‘모두 같은 말투’처럼 모델이 단일 모드로 붕괴합니다. 주석 정확성은 시연 답안 자체가 올바른지 묻습니다. 특히 사고 연쇄 증류에서는 잘못된 사고 과정도 학생이 모방하므로 실험 7-9에서 먼저 규칙 검증기로 오답 궤적을 걸러냈습니다. 이 세 가지에 투자한 비용의 수익률은 대개 더 화려한 알고리즘으로 전환하는 것보다 훨씬 높습니다.

운영 수준에서 ‘주석 정확성’을 극대화하는 표준 방법은 거부 샘플링이며 파이프라인은 정해져 있습니다. 프롬프트마다 후보를 k개 샘플링(실무에서는 보통 k가 4~16) → 규칙 기반 검증기, 단위 테스트, 참조 답안으로 정답 여부 판단(자동 검증기가 없는 작업은 보상 모델이나 강력한 모델로 대신 채점) → 필터를 통과한 궤적만 남기고 중복 제거, 데이터가 일부 쉬운 문제에 쏠리지 않도록 프롬프트별 보존 수 제한 → 남은 데이터로 SFT 한 차례 수행. 모델이 강해지면 다시 샘플링하고 필터링하면서 이 루프를 반복할 수 있습니다. 이것이 바로 STaR와 RFT 같은 부트스트래핑 방식의 핵심 루프입니다. ‘데이터 품질이 알고리즘을 이긴다’는 구호를 실행 가능한 파이프라인으로 바꿉니다. 새 알고리즘 없이 신뢰할 만한 검증기와 충분한 샘플링 예산만 있으면 됩니다.

거부 샘플링은 주어진 질문 세트의 답을 주로 필터링합니다. 한 단계 더 나아가 에이전트가 질문 분포 자체를 바꾸게 할 수 있습니다. Autodata의 Agentic Self-Instruct에서는 메인 에이전트가 네 가지 역할을 조율합니다. 도전자가 작업을 생성하고, 약한 해결사와 강한 해결사가 이를 풀며, 검증기가 답의 품질을 판단해 발견한 내용을 작업 생성 과정에 피드백합니다. 시스템은 강한 모델은 풀 수 있지만 약한 모델은 아직 어려워하고 평가자가 확실히 판단할 수 있는 작업을 찾습니다. 이렇게 추론 계산량을 현재 역량의 경계에 있는 새로운 학습 데이터로 전환합니다¹⁰.

이는 기존 풀 안의 어려운 항목에 더 많은 예산을 배정할 뿐인 동적 샘플링과 다릅니다. 동적 샘플링은 예산 배분을 바꾸지만 에이전트 기반 데이터 생성은 작업 분포를 바꿉니다. 다만 여기에서 ‘자기 개선’이라는 표현은 신중하게 사용해야 합니다. 루프가 약한 해결사만 학습하고 강한 해결사와 작업 생성기는 고정한다면 적응형 증류에 더 가깝습니다. 작업 생성 에이전트 자체도 이후 학습 결과로 최적화할 때에야 더 완전한 메타 수준 루프가 됩니다. Autodata는 데이터 과학자 에이전트의 메타 최적화로 이러한 가능성을 탐색하지만, 아직 성숙한 범용 방법이 아니라 최전선 연구 방향입니다.

실제 비즈니스 데이터에서 검증된 합성 궤적으로

실제 서비스에서 동작하는 에이전트에는 사용자 요청, 지원 티켓, 도구 호출 로그, 작업 결과와 같은 비즈니스 데이터가 많이 쌓입니다. 이 가운데 재사용할 가치가 가장 큰 것은 특정 사용자의 원문이나 실제 주문 한 건이 아니라, 이런 데이터가 드러내는 작업 구조입니다. 사용자가 무엇을 하려 했는지, 당시 에이전트가 무엇을 볼 수 있었는지, 어떤 도구를 호출할 수 있었는지, 어떤 비즈니스 제약을 지켜야 했는지, 어느 단계에서 자주 실패했는지, 성공 후 시스템 상태가 어떠해야 하는지가 여기에 포함됩니다. 따라서 실제 티켓과 로그를 단순히 바꿔 써서 학습에 사용해서는 안 됩니다. 더 안전한 방법은 식별 정보를 제거하고 유사 사례를 묶어 작업 설계도를 추출한 뒤, 완전히 가상의 인물, 주문, 파일을 사용해 격리된 환경에서 작업을 다시 만드는 것입니다. 이렇게 하면 실제 난이도는 유지하면서 모델이 개인정보, 고객 데이터, 내부 자격 증명을 암기할 위험을 줄일 수 있습니다.

실행 가능한 흐름은 실제 서비스 데이터 → 작업 유형 추출 → 합성 작업 구성 → 여러 번 rollout → 두 단계 검증 → 학습 데이터 구성으로 요약할 수 있습니다. 2026년의 여러 연구는 서로 다른 방향에서 같은 원칙에 도달합니다. 작업을 임의로 이어 붙이는 대신 스킬 분류 체계나 스킬 그래프로 드문 역량 조합을 체계적으로 다루고¹⁶, 실행 가능한 환경에서 진단과 복구를 포함한 궤적을 합성하며¹⁷, 테스트·참조 해법·풀이 과정을 가능한 한 분리하고 변경 전에는 테스트가 실패하지만 올바른 실행 후에는 통과하는 fail-to-pass 검사로 그럴듯해 보여도 학습 가치가 낮은 샘플을 제거합니다¹⁸. 또한 작업 자체와 실제로 실행된 궤적을 별도로 검증합니다¹⁵. 실무에서는 다음 세 단계로 진행할 수 있습니다.

1. 먼저 작업을 합성하고 그다음 궤적을 샘플링합니다. 서비스 데이터에서 사용자 의도, 초기 상태, 사용 가능한 도구, 비즈니스 제약, 성공 조건, 흔한 실패 유형을 추출하고 유사 사례를 작업 유형 목록으로 묶습니다. 유형마다 새로운 이름, 식별자, 파일 내용, 시스템 상태를 만들고 초기화할 수 있는 샌드박스에 배치합니다. 예를 들어 로그에서 ‘일부만 배송된 주문은 전체 환불할 수 없다’는 사례가 반복된다면, 합성기는 상품 수, 결제 방식, 배송 비율이 서로 다른 가상 주문을 만들되 ‘배송되지 않은 상품만 환불할 수 있다’는 비즈니스 규칙은 유지합니다. 각 작업 패키지에는 에이전트가 볼 수 있는 작업 설명과 초기 상태, 그리고 에이전트에게 숨겨진 검증기, 참조 결과, 생성 설명이 포함되어야 합니다. 그런 다음 하나 이상의 강력한 교사 모델이 목표 에이전트 Harness를 통해 작업을 처음부터 끝까지 실행하고 메시지, 도구 호출, 도구 결과, 최종 상태를 기록합니다. 같은 작업을 여러 번 시도하되 검증을 통과한 궤적만 남깁니다. 실제 서비스에서 시간 초과, 잘못된 인자, 손상된 중간 파일이 흔한 문제라면 샌드박스에서 이를 안전하게 발생시켜 ‘오류 발견 → 진단 → 수정 → 재검증’에 성공하는 궤적도 합성할 수 있습니다. 처음부터 끝까지 매끄러운 전문가 시연만 만들 필요는 없습니다.
2. 작업 검증과 궤적 검증을 분리합니다. 작업 검증은 ‘좋은 연습 문제인가’를 묻습니다. 참조 해법이 깨끗한 환경에서 작업을 완료하는지, 초기 상태에서는 테스트가 실패하고 올바르게 실행한 뒤에는 통과하는지, 설명이 충분하면서 답을 누설하지 않는지, 난이도가 적절한지, 필요하다고 명시한 도구나 Skill을 제거하면 실제로 더 어려워지는지를 확인합니다. 궤적 검증은 ‘좋은 시연인가’를 묻습니다. 최종 데이터베이스 상태, 파일, 외부 작업 결과가 필수 비즈니스 규칙을 모두 지키는지, 실행이 정상 종료했는지, 도구 호출이 유효한지를 확인합니다. 특정 절차를 학습시키려면 관련 Skill이 결정 전에 읽혔고 실제 행동에 영향을 주었는지도 살펴야 합니다. 사후에 언급만 해서는 부족합니다. 단위 테스트, 데이터베이스 assertion, 형식 검증, 상태 차이로 표현할 수 있는 조건은 결정론적 코드로 검사하는 것이 우선입니다. 의사소통이 적절한지처럼 형식화하기 어려운 부분만 모델 평가기로 보완하고, 사람의 표본 검토로 계속 보정합니다. 테스트는 교사 궤적을 보지 않은 독립된 역할이 만들고, 정답임을 아는 예시, 오답임을 아는 예시, 제약 하나를 의도적으로 누락한 예시로 역검증하는 것이 좋습니다. 그렇지 않으면 검증기가 참조 답안의 겉모양만 알아보는 법을 배울 수 있습니다.
3. 동일한 작업과 검증 기반을 SFT와 RL에서 서로 다르게 사용합니다. 초기에는 검증을 통과한 완전한 성공 궤적으로 SFT를 수행합니다. 시스템 메시지, 사용자 작업, 도구 결과는 문맥으로 남기되 loss 계산에서는 제외하고, 에이전트가 생성한 추론, 도구 호출, 최종 응답을 주로 지도합니다. 그러면 최종 답만이 아니라 전체 실행 과정을 학습합니다. 다음에는 합성 작업 생성기와 검증기를 그대로 RLVR 환경으로 전환해 현재 모델이 새 rollout을 만들게 하고, 테스트를 통과한 정도에 따라 보상합니다. 실패 궤적을 정답 예시처럼 모방하게 해서는 안 됩니다. 실패 궤적은 선호 쌍을 만들거나, 학습 과정이 빠뜨린 작업 유형을 찾거나, 올바른 진단과 수정이 추가된 뒤 복구 시연으로 만드는 데 사용할 수 있습니다. 학습 데이터는 중복을 제거하고 고객, 기간, 작업 템플릿별로 그룹을 나누어 분할해야 합니다. 독립 평가 세트는 학습과 겹치지 않는 실제 비즈니스 사례와 작업 유형에서 만들어야 합니다. 참조 해법, 숨겨진 테스트, 검증기 피드백은 모델이 볼 수 있는 학습 내용에 절대 포함하면 안 됩니다.

목표는 가능한 한 많은 데이터를 만드는 것이 아니라, 실제 서비스 상황에 따라 무엇을 합성할지 정하고 실행 가능한 검사로 무엇을 남길지 정하는 것입니다. 품질은 언제나 수량보다 우선합니다. 실제 작업에 가깝고 엄격한 검증을 통과한 소수의 궤적이 검증되지 않은 합성 궤적을 대량으로 모은 것보다 대개 학습 가치가 높습니다. 합성기는 작업 범위의 빈틈을 메우고, 검증기는 데이터 품질을 지키며, SFT는 기본 행동을 가르치고, RLVR은 같은 작업과 검증 기반을 활용해 성공률을 더 높입니다.

9장에서 이 점을 다시 살펴봅니다. 음성 인식에서 모델은 사용자가 말을 마쳤는지 계속 판단하지 못하고 흔들립니다. 근본 원인은 모델 아키텍처가 아니라 ‘전지적 관점’에서 붙인 학습 라벨입니다. 결정 시점에 사용할 수 있는 정보만으로 데이터를 다시 라벨링하면 문제가 사라집니다. 아키텍처보다 데이터가 더 중요한 경우가 많습니다.

그렇다면 알고리즘은 언제 필요한가?

알고리즘이 중요하지 않다는 뜻이 아니라 순서가 나중이라는 뜻입니다. 합리적인 노력의 순서는 강력한 기반 모델 선택 → 환경과 데이터 다듬기 → 마지막으로 알고리즘과 하이퍼파라미터에서 한계 이득 짜내기입니다. 환경이 현실적이고 데이터가 좋으며 기반 모델이 강해야 알고리즘 간 차이가 비로소 드러납니다. 그때에야 ‘GRPO인가 PPO인가? Clip-Higher를 사용할 것인가?’ 같은 질문을 진지하게 조정할 가치가 있습니다. 환경과 데이터가 준비되기 전에 알고리즘을 좇는 것은 수레를 말 앞에 두는 전형적인 실수입니다. 이 우선순위를 기억하며 이제 데이터와 환경이 만나는 보상 설계가 성패를 좌우하는 다중 턴 작업으로 넘어가겠습니다.

단일 턴에서 다중 턴으로: 기여도 할당과 보상 설계

다중 턴 작업의 핵심 과제

단일 턴에서 다중 턴으로 넘어가면 복잡성이 질적으로 도약합니다. 정책은 현재 단계의 최적 행동만 고르는 데 그치지 않고 미래 상태의 가치도 고려해야 합니다. 즉각적인 피드백뿐 아니라 지연된 보상에서 기여도 할당(Credit Assignment)도 수행해야 합니다. 여러 단계의 시퀀스 중 어느 단계가 최종 결과에 가장 크게 기여했는지 판단하는 것입니다. 예를 들어 고객 서비스 에이전트가 10턴의 대화 끝에 사용자 문제를 해결하고 긍정적인 평가를 받았다고 합시다. 이 평가의 공로는 2번째 턴의 정확한 질문에 돌아가야 할까요, 아니면 7번째 턴의 끈기 있는 설명에 돌아가야 할까요? 다중 턴에는 에이전트가 완전한 상태를 얻지 못해 과거 관측으로 암묵적인 상태 표현을 만들어야 하는 부분 관측 가능성(Partial Observability)이라는 과제도 생깁니다.

여기서 다루는 다중 턴 상호작용은 1장과 4장에서 설명한 ReAct 루프 형태입니다. 각 턴은 사고 → 행동 → 관찰의 한 번의 반복이며, ‘여러 턴이 끝나야 최종 결과를 판단할 수 있다’는 구조적 제약 때문에 보상이 지연됩니다.

보상 신호의 밀도와 패러다임

이 하위 절에서 다루는 보상 설계는 단일 턴 작업에도 적용됩니다. 다중 턴 환경에서는 기여도 할당이 어려워 ‘피드백이 얼마나 조밀하고 어떤 형태인가’가 선택 사항에서 성패를 좌우하는 요소로 격상되기 때문에 이 절에 배치했습니다. 보상 신호에는 두 가지 설계 차원이 있습니다. 밀도는 이진·희소·과정 보상처럼 얼마나 자주 피드백하는지를 뜻하고, 표현 형식은 스칼라·벡터·생성형처럼 피드백의 모습을 뜻합니다.

다중 턴 보상 설계를 다루기 전에 보상 신호의 설계 공간을 체계적으로 정리하겠습니다. 이는 RL 학습의 핵심 주제이자 6장에서 다룬 자동 평가와 밀접하게 연관됩니다. 세심하게 설계한 평가 환경은 흔히 고품질 학습 환경으로 전환할 수 있습니다. 다만 ‘평가 환경을 재사용할 수 있다’는 말과 ‘해당 평가 데이터를 학습에 직접 사용할 수 있다’는 말은 구분해야 합니다.

세 가지 사례를 보겠습니다. SWE-bench는 이러한 전환의 대표 사례입니다. 이를 토대로 SWE-Gym을 구축해 학습 가능한 작업 세트를 만듭니다. 문제 설명을 입력으로, 패치를 지도 신호로, 테스트 케이스를 보상 신호로 사용합니다. 그러나 학습에 사용하는 것은 새로 만든 작업 세트이며, OpenAI가 수동으로 선별한 500문항 평가 하위 집합 SWE-Bench Verified는 학습 데이터에서 엄격히 격리해야 합니다. 학습 세트에 섞는 순간 평가는 의미를 잃습니다. 이는 이 장 말미의 사고 질문 10에서 다룰 긴장 관계입니다. τ²-bench의 완전한 궤적 기록인 대화 이력, 도구 호출, 상태 변화는 모방 학습에 가치 있는 데이터를 제공합니다. 성공 궤적은 긍정 샘플로, 실패 궤적은 주석을 붙인 뒤 부정 샘플로 사용할 수 있습니다. AndroidWorld의 파라미터화된 템플릿은 수많은 변형을 일괄 생성해 간단한 단일 단계 조작에서 복잡한 애플리케이션 간 워크플로로 나아가는 커리큘럼 학습을 자연스럽게 지원합니다.

이 사례들은 모두 같은 결론을 가리킵니다. 학습 데이터와 평가 데이터를 분리한다는 전제 아래, 평가 환경이 제공하는 보상 신호의 품질이 RL 학습 효율을 직접 결정합니다.

이진 보상이 적합한 상황.

많은 작업에는 가장 단순한 이진 보상(성공=1, 실패=0)이면 충분합니다. ‘수학 문제에 답하기’에서는 답이 맞거나 틀릴 뿐 중간은 없습니다. ‘SQL 쿼리 실행’에서는 반환 결과가 기대와 일치하거나 일치하지 않습니다. 정답이 명확한 작업에서는 이진 보상이 단순하고 신뢰할 만하며 더 복잡한 설계가 필요 없습니다.

문제는 명확한 정답이 없는 개방형 작업에서 생깁니다.

희소 보상의 딜레마.

Pine AI의 전화 에이전트를 생각해 봅시다. 이 에이전트가 Xfinity에 전화해 요금제를 바꾸는 일을 이진 보상(성공=1, 실패=0)으로 학습합니다. 첫 번째 시도에서는 계정 번호 수집을 잊어 실패하고 보상 0을 받습니다. 두 번째 시도에서는 신용카드 끝 네 자리를 잊어 실패하고 보상 0을 받습니다. 세 번째에는 청구지 주소를 놓쳐 실패하고 보상 0을 받습니다. 그렇게 100번 시도한 뒤에야 우연히 성공합니다.

Silver와 Sutton이 「Welcome to the Era of Experience」⁶에서 지적했듯 문제의 근원은 현재의 RL 방식이 성공이나 실패라는 최종 결과에서만 학습할 뿐 환경이 주는 풍부한 피드백에서는 학습하지 못한다는 것입니다. 고객 서비스 담당자는 “신용카드 끝 네 자리가 필요합니다”라고 분명히 말합니다. 사람은 한 번 들으면 기억하지만 RL은 최종 ‘실패’만 볼 뿐 이유를 배우지 못합니다. 더 나쁜 점은 10단계 절차에서 앞의 아홉 단계가 완벽하고 10번째 단계만 틀려도 신호는 여전히 ‘전체 작업 실패’뿐이며, 어느 단계가 잘못되었는지 알 수 없다는 것입니다. 이 장 뒤의 온폴리시 증류와 검증된 경로 페널티(RLVP) 같은 고급 기법은 이 딜레마를 완화하기 위해 고안되었습니다.

과정 보상(Process Reward)은 실행 중 핵심 단계마다 즉시 피드백해 평가를 블랙박스에서 화이트박스로 바꿉니다. 예를 들어 코드 생성에서는 요구사항 이해, 코드 검색, 해법 설계, 코드 작성, 테스트 실행 단계를 따로 평가할 수 있습니다. 고객 서비스에서는 신원 확인, 정보 조회, 확인, 결제 같은 단계가 올바른지 점검할 수 있습니다. 하지만 과정 보상은 주석 비용이 높고 혁신을 지나치게 제약할 수 있으므로 실무에서는 결과 보상과 결합해야 합니다.

보상 패러다임의 진화.

DeepSeek의 연구(Liu et al., 2025)는 스칼라-준스칼라-생성형 스펙트럼에서 보상 패러다임별 학습 신호의 차이를 체계적으로 분석합니다. 이 책은 여기에 벡터, 즉 다차원 채점이라는 차원을 추가합니다. 패러다임의 차이를 직관적으로 이해하기 위해 Pine AI가 Xfinity에 전화해 요금제를 바꾸는 앞선 상황으로 돌아가겠습니다. 이번에는 에이전트가 작업을 완료했지만 결함이 있습니다. 추가해야 할 청구지 주소를 누락했고, 요금제 이름을 ‘Performance Pro’가 아니라 ‘Performance Plus’라고 잘못 말했습니다. 다음 점수는 설명을 위한 예시입니다.

스칼라 패러다임: 7.2점을 부여합니다. 진단 능력이 없어 무엇을 잘했고 무엇을 못했는지 알 수 없습니다. 준스칼라 패러다임: 먼저 장단점을 분석한 뒤 6.5점을 부여합니다. 근거는 있지만 정보가 여전히 제한적입니다. 벡터 패러다임(이 책에서 추가한 차원): 정보 조회 정확성 9/10, 정보 수집 완전성 6/10, 의사소통 유창성 8/10, 의사소통 정확성 7/10, 사용자 소통 정확성 10/10, 전체 작업 완료도 8/10처럼 여러 차원을 따로 채점합니다. 건강검진 보고서처럼 문제를 정확히 짚습니다. ‘정보 수집’이 6점밖에 되지 않으므로 수집 단계의 프롬프트를 최적화해야 한다는 식입니다.

생성형 패러다임: 상세한 자연어 설명을 제공하고 반복 샘플링으로 같은 실행을 여러 관점에서 분석합니다. 예를 들어 같은 실행을 여러 번 평가하면 서로 다른 측면을 다룬 분석을 얻을 수 있으며, 이 진단을 함께 활용해 개선 방향을 정하는 편이 단일 점수 하나보다 훨씬 가치 있습니다. DeepSeek 논문의 실제 결론은 생성형 보상 모델이 추론 시점 확장, 즉 여러 평가를 샘플링해 취합하는 방식으로 평가 품질을 계속 높여 여러 보상 모델 벤치마크에서 모델 크기만 키우는 스칼라 방식을 앞선다는 것입니다. 생성형 보상의 핵심 가치는 풍부한 환경 피드백을 학습 가능한 지식으로 바꾸는 데 있습니다. 수백 번 맹목적으로 시행착오를 거치지 않고도 한 번의 실패에서 개선 방향을 배우게 합니다.

RLHF 관점에서 생성형 보상 모델은 앞에서 다룬 Bradley-Terry 판별형 보상 모델의 진화로 볼 수 있습니다. 판별형 RM은 어느 응답의 순위가 더 높은지 나타내는 스칼라 점수만 출력하지만, 생성형 RM은 ‘왜 좋고 왜 나쁜가’를 설명하는 자연어 사고가 포함된 판단을 생성합니다. 본질적으로 더 투명하며 규칙과 스칼라 점수로 다루기 어려운 개방형 작업에도 확장하기 쉽습니다.

보상 함수는 작업을 어떻게 검증할 수 있는지에 따라 선택합니다. 수학 문제나 단위 테스트처럼 답을 코드로 자동 검증할 수 있다면 이진 보상이 가장 단순하고 직접적입니다. 고객 서비스의 정보 정확성, 소통의 정중함, 문제 해결률처럼 작업 품질에 독립적인 차원이 여러 개라면 벡터 보상으로 차원별 평가를 수행하십시오. 창작이나 복잡한 대화처럼 매우 개방적이고 차원으로 나누기 어렵다면 생성형 보상을 사용해 평가 모델이 정성 분석을 제공하게 하십시오.

생성형 보상 모델 학습.

생성형 보상 모델은 어떻게 학습할까요? 전통적인 방법은 인간 전문가가 많은 사례를 평가하면 모델이 이를 모방하게 합니다. 비용이 많이 들고 인간도 A가 B보다 나은 이유를 명확히 설명하기 어려울 때가 많습니다. DeepSeek의 방법은 모델이 스스로 평가하는 법을 배우게 하며 세 단계로 이루어집니다.

1단계: 모델이 특정 작업의 평가 원칙을 자동 생성합니다. 예를 들어 ‘사용자를 도와 Xfinity 요금제를 변경하는 전화’를 평가할 때 모델은 다음과 같이 요약합니다. ‘좋은 에이전트는 1) 올바른 공식 고객 서비스 채널을 찾고, 2) 완전한 신원 확인 정보를 수집하고, 3) 전화에서 사용자 요구를 정확히 전달하고, 4) 정보를 조작하거나 잘못 말하지 않으며, 5) 고객 서비스 담당자의 요청에 신속히 대응해야 한다.’

2단계: 각 원칙을 토대로 실행 과정을 평가합니다. 같은 예를 이어 가면 올바른 전화번호를 찾았는가? 그렇습니다. 1-800-XFINITY는 공식 고객 서비스입니다. 정보를 완전하게 수집했는가? 아닙니다. 청구지 주소를 놓쳤습니다. 모든 내용을 정확히 전달했는가? 오류가 하나 있었습니다. 요금제 이름을 잘못 말했습니다.

3단계: 시스템이 평가의 정확성을 자동으로 점검합니다. 예를 들어 모델이 ‘요금제 이름을 정확히 전달했다’고 말했지만 실제 궤적에서는 이름이 틀렸다면 음의 피드백을 줍니다. 누락된 청구지 주소를 정확히 찾아냈다면 양의 피드백을 줍니다. 수천 건의 사례에서 반복 연습하면서 모델은 여러 작업에 합리적인 원칙을 세우고 정확히 진단하는 법을 점차 배웁니다.

이 방식에는 몇 가지 핵심 장점이 있습니다. 고정된 채점 루브릭이 아니라 ‘기준을 세우고 평가하는’ 메타 역량을 배우므로 일반화가 잘됩니다. 평가 과정이 투명해 편향을 검토하기도 쉽습니다. 예를 들어 모델이 일관되게 ‘긴 응답’을 장점으로 취급한다면 길이를 품질과 잘못 동일시했다는 사실이 명확히 드러납니다. 또한 보상 모델이 고정되는 전통적인 방식과 달리 보상 모델과 정책 모델이 함께 진화할 수 있습니다.

과정 보상과 결과 보상: 다중 턴 작업의 핵심 선택

기여도 할당과 부분 관측 가능성 외에도 다중 턴 작업은 장거리 의존성 문제를 마주합니다. 하위 목표 설정이나 도구 선택 같은 초기 결정의 영향이 수십 단계 뒤에야 나타날 수 있습니다. 이에 따라 보상 설계에서 중요한 선택이 생깁니다. 과정 보상은 단계마다 피드백을 제공해 기여도 할당의 어려움을 줄이지만 인간의 설계 편향을 도입해 탐색 공간을 제한할 수 있습니다. 결과 보상은 마지막에만 피드백을 주어 탐색 자유는 극대화하지만 학습 난이도와 샘플 요구량이 더 높습니다. 비유하면 과정 보상은 교사가 숙제를 문제별로 채점해 학생이 어디에서 틀렸는지 빠르게 알게 하는 것과 같습니다. 결과 보상은 기말시험 점수만 보는 것과 같아서 학생이 학습 방법을 자유롭게 탐색할 수 있지만 피드백이 매우 늦습니다. 보상 함수 설계는 6장에서 다룬 평가 환경 구축과 밀접하며, 고품질 자동 평가 환경은 RL 학습의 전제 조건입니다.

용어상 두 보상은 두 가지 보상 모델에 대응합니다. 과정 보상 모델(Process Reward Model, PRM)은 사고나 실행의 각 중간 단계를 채점합니다. 대표 연구는 OpenAI의 「Let's Verify Step by Step」⁵으로, 수학 사고 작업에서 단계별 인간 주석으로 학습한 PRM이 최종 답만 보는 지도 방식보다 훨씬 뛰어난 성능을 보였습니다. 결과 보상 모델(Outcome Reward Model, ORM)은 최종 결과만 평가합니다. 앞에서 다룬 RLVR의 규칙 기반 검증기는 ‘학습한 채점 모델’을 결정론적 규칙으로 바꾼 ORM의 특수 사례라고 볼 수 있습니다.

실무에서의 기여도 할당. 엔지니어링 관점에서 기여도 할당은 몇 가지 구체적인 메커니즘으로 처리합니다. 다중 턴 LLM RL에서는 보통 할인율 \(\gamma\)를 1로 바로 설정합니다. 작업은 몇 턴에서 수십 턴만 지속되고 최적화 목표는 최종 성공이나 실패이므로 ‘더 이른 성공’에 대한 보상을 할인할 필요가 없습니다. PPO는 GAE(Generalized Advantage Estimation)에 의존합니다. 직관적으로 가치 네트워크를 사용해 궤적의 각 단계가 ‘기대보다 얼마나 나은지’를 추정하고, 편향과 분산을 가중치로 절충합니다. GRPO는 반대쪽 극단으로 갑니다. 응답 전체를 하나의 행동으로 취급하고 궤적 수준 어드밴티지를 모든 토큰에 균등하게 배분합니다. 2번째 턴의 정확한 질문과 7번째 턴의 효과 없는 인사말이 똑같은 기여도를 받습니다. 짧은 단일 턴 작업에서는 이러한 거친 기여도 할당이 큰 문제가 아니지만, 긴 지평의 다중 턴 작업에서는 학습 신호가 희석됩니다. 다중 턴 환경에서 가치 네트워크를 사용하는 PPO가 여전히 가치 있는 이유입니다. 중간 접근법은 턴 수준 기여도 할당입니다. 각 턴 뒤의 환경 피드백이나 과정 보상 등을 이용해 ‘턴’ 단위로 어드밴티지를 계산합니다. 토큰 수준보다 저렴하고 궤적 수준보다 세밀해 현재 다중 턴 에이전트 RL 프레임워크에서 흔히 사용하는 절충안입니다.

실험 7-12 ★★★: V-IRL-VL 공간 사고—과정 보상

V-IRL(Yang et al., 2024. 이 실험은 앞서 언급한 Chu et al. 2025 연구를 따르며, RL 알고리즘도 가치 네트워크를 사용하는 PPO)은 실제 도시 거리 풍경을 사용하는 오픈 월드 시각 탐색 환경입니다. V-IRL-L은 순수 텍스트 설명을 사용하고, V-IRL-VL은 앞·뒤·왼쪽·오른쪽 거리 풍경 이미지를 2×2 그리드로 제공합니다. 학습에는 New York의 경로 1,000개를 사용하고, 테스트에는 V-IRL 공식 벤치마크에서 Milan, New Delhi, London, Hong Kong 등 아홉 도시의 경로 18개를 사용합니다. 건축 양식, 도로 배치, 조명 조건이 크게 다릅니다.

규칙 변형: 학습에는 절대 방향(북쪽/동쪽), 테스트에는 상대 방향(왼쪽/오른쪽)을 사용합니다. 시각 변형: 도시 간 테스트입니다.

결과는 V-IRL의 이러한 분포 이동에서 이 장의 ‘SFT는 암기하고 RL은 일반화한다’는 패턴을 다시 보여 줍니다. 규칙 OOD에서 V-IRL-L의 RL은 +11.0%포인트 향상되지만 SFT는 79.5%포인트 하락합니다. V-IRL-VL의 RL은 +9.3%포인트 향상되고 SFT는 33.2%포인트 하락합니다. 시각 OOD에서 V-IRL-VL의 RL은 16.7%에서 77.8%로 +61.1%포인트 향상됩니다. 오픈 소스 모델을 사용한 엔드투엔드 RL이 비공개 소스 모델을 세심한 프롬프트 엔지니어링으로 조정한 강력한 기준선도 앞서는 반면, SFT는 11.1%로 5.6%포인트 하락합니다. 이 결과는 해당 실험 설정의 대조를 뒷받침하지만 모든 SFT와 RL 학습의 보편 법칙을 뜻하지는 않습니다.

이 실험에서는 과정 보상이 핵심 역할을 했습니다. 단일 턴 GeneralPoints 작업과 달리 탐색에는 단계마다 피드백이 필요합니다. 올바른 행동에는 +1, 잘못된 행동에는 -1, 랜드마크 인식 오류에는 추가로 -1.5를 줍니다. 이 조밀한 피드백은 긴 시퀀스의 기여도 할당 난이도를 낮춥니다. 에이전트가 5단계에서 길을 잘못 들면 20단계에서 작업이 끝날 때까지 기다리지 않고 즉시 음의 피드백을 받습니다. 단일 의사결정 지점에서 두 번 시도할 수 있는 검증 재시도 메커니즘(verify_iter=2)과 결합하면 샘플 효율과 학습 안정성이 더욱 향상됩니다.

시각 인식 정확도와 전체 성능의 관계를 추적하면 RL은 ‘인식 결과가 주어졌을 때의 의사결정’만 최적화하지 않고 ‘시각 인식 자체’도 개선합니다. 결과 중심 최적화 신호가 지각 계층으로 역전파되어 비전 인코더가 작업과 관련된 특징 표현을 학습하게 합니다. 반면 SFT는 사고 계층에 과적합하고 지각 계층의 학습을 소홀히 하는 경향이 있어 시각적 외형이 바뀌면 실패합니다.

다중 턴 작업에서는 SFT와 RL의 시너지가 더욱 뚜렷합니다. SFT로 초기화하지 않으면 기반 모델이 구조화된 JSON 출력을 만들지 못해 RL을 효과적으로 학습할 수 없습니다. 하지만 SFT를 지나치게 학습해 심각하게 과적합하면 RL도 분포 외(OOD) 성능을 회복할 수 없습니다. 미묘한 균형이 필요합니다. SFT는 ‘안정적인 형식과 기본 역량’을 얻을 만큼만 수행하고 너무 오래 머물지 않아야 합니다.

실험 7-13 ★★★: SimpleVLA-RL—결과 보상 [확장 실험]

VLA(Vision-Language-Action) 모델은 시각 인식, 언어 이해, 행동 생성을 통합하며 로봇 조작의 새로운 패러다임을 대표합니다. 두 가지 큰 과제를 안고 있습니다. SFT를 확장하려면 대규모 인간 시연 궤적이 필요하지만 수집 비용이 높고 다양성이 제한됩니다. 제한된 시나리오로 학습한 모델은 처음 보는 작업, 환경, 물체를 만나면 성능이 낮습니다. DeepSeek-R1이 RL을 통해 단계별 사고를 크게 개선한 데서 영감을 받아, 이 실험은 RL이 VLA의 단계별 행동 생성도 강화할 수 있는지 탐구합니다. SimpleVLA-RL은 veRL을 기반으로 하며 성공/실패라는 이진 결과 보상만 사용하고 세 가지 탐색 강화 조치를 도입합니다. 동적 샘플링은 전부 성공하거나 전부 실패한 그룹을 걸러내 안정적인 경사를 보장합니다. 더 높은 클리핑 경계 [0.8, 1.28]은 탐색을 장려합니다. 더 높은 온도 1.6은 다양한 궤적을 생성합니다. 세 가지를 결합하면 300단계 안에 성능이 약 30% 향상됩니다.

로봇 조작 벤치마크 LIBERO에서 보고된 결과는 97.6%로 매우 높습니다. 콜드 스타트 실험에서는 작업마다 궤적 하나만 사용한 SFT가 17.3%에 도달하고, RL을 추가하면 91.7%로 높아집니다. 74.4%포인트, 상대적으로 약 430% 향상된 결과로 데이터가 부족할 때 RL이 발휘하는 힘을 강력히 보여 줍니다.

학습 중 인간 시연에는 한 번도 없던 새로운 행동 패턴인 ‘pushcut’ 동작이 출현했습니다. 표준 시연 경로는 ‘접근 → 잡기 → 수직으로 들기 → 수평 이동 → 놓기’였지만, RL은 ‘접근 → 잡기 → 낮게 유지 → 수평으로 밀기 → 완료’라는 더 효율적인 경로를 발견했습니다. 들어 올리는 단계를 없애 속도를 높이고 정밀도 요구사항을 낮춥니다. RL이 모방 학습을 넘어 인간이 생각하지 못한 더 나은 전략을 발견할 수 있음을 강력히 보여 줍니다.

이 프레임워크는 동적 샘플링 전략이 포함된 GRPO 알고리즘을 사용합니다. 성공률이 중간 정도인 작업만 학습에 남겨 쉬운 것부터 어려운 것으로 나아가는 커리큘럼을 자연스럽게 형성합니다. 실시간 성능은 행동 청킹(action chunking)에 의존합니다. 모델이 한 번의 추론으로 여러 미래 행동을 생성하고 제어 스레드가 순서대로 실행하는 동안, GPU는 백그라운드에서 다음 묶음을 비동기로 생성합니다. 추론 시간이 실행 시간보다 짧기만 하면 로봇은 끊김 없이 부드럽게 움직입니다. 행동 청킹은 9장의 VLA 제어 계층에서 자세히 다룹니다.

일반화 역량은 여러 차원에서 개선됩니다. 특정 배치에서 학습한 전략을 다른 구성으로 옮기는 공간 일반화, 처음 보는 물체의 형태와 질감을 다루는 물체 일반화, 새로운 작업 목표 설명에 적응하는 목표 일반화입니다.

V-IRL-VL과 비교하면 두 보상 설계의 절충이 드러납니다. 결과 보상은 신호가 더 희소하지만 모델에 더 큰 탐색 자유를 주며, 바로 이 덕분에 ‘pushcut’을 발견했습니다. 과정 보상은 조밀한 피드백으로 수렴을 가속하지만 전략이 시연 공간을 벗어나지 못하게 할 수 있습니다. 간단히 말해 중간 단계의 정답을 쉽게 정의할 수 있다면 과정 보상이 더 효율적이고, 최적 경로를 알 수 없다면 결과 보상의 잠재력이 더 큽니다.

결과에 보상하고 과정을 제약하기: RLVP와 부분 보상

과정 보상과 결과 보상은 피드백이 얼마나 조밀해야 하는가라는 질문에 답합니다. 그러나 지금까지 다룬 어떤 RL 방식도 해결하지 못한 문제가 하나 남아 있습니다. 결과 보상만으로는 과정이 규칙을 따라야 한다는 요구사항을 표현할 수 없습니다. 그런데 현실의 에이전트를 배포할 수 있는지는 바로 이 요구사항에 달려 있습니다. 이 절에서는 RLVP 논문⁷의 방법(Reinforcement Learning with Verified Penalty)을 사용해 이 문제를 깊이 설명합니다. 방법을 한 문장으로 요약하면 결과에는 보상하고 경로에는 페널티를 부여합니다.

문제: 결과 보상으로 가르칠 수 없을 뿐 아니라 결과 보상이 오히려 위반을 유도하는 제약이 있습니다. 현실의 에이전트는 작업을 완료하는 것 외에도 작업 성공과 반드시 연관되지 않는 규칙인 결과 중립적 제약을 따라야 합니다. 전화를 받지 않겠다고 명시한 사용자에게 반복해서 전화하지 않기, 근무 시간 밖에 자율적으로 행동하지 않기, 신원 확인을 건너뛰지 않기, rm -rf 같은 파괴적인 명령을 실행하지 않기, 테스트를 통과하려고 테스트 파일을 수정하지 않기, 읽어 보지 않은 파일을 덮어쓰지 않기 등이 있습니다. 문제는 이러한 제약을 위반하면 흔히 ‘겉보기 성공률’이 높아진다는 것입니다. 편법을 쓰면 이득을 얻습니다. 버그를 실제로 수정하는 것보다 테스트 파일을 편집하는 편이 더 빨리 통과하고, 검증을 건너뛰면 올바른 절차보다 결과를 빨리 얻습니다. 따라서 순수 결과 보상은 제약을 가르치지 못하는 데 그치지 않고, 에이전트가 제약을 어기도록 적극적으로 밀어붙입니다. 논문에서는 결과 보상만으로 학습한 에이전트가 거의 모든 에피소드에서 선을 넘었습니다.

핵심 통찰: 실제 환경은 ‘비대칭 검증기’입니다. 전체 방법을 이해하는 열쇠입니다. 터미널, 코드베이스, 정리 증명기 같은 기계 검증 가능 환경에서는 어떤 행동이 나쁜 행동인지를 확인하기가 쉽습니다. 파괴적인 명령을 실행했는지, 전제 조건을 충족하기 전에 호출했는지는 특성이 명확하고 결정론적이기 때문입니다. 반면 에이전트가 목표를 향해 의미 있게 진전하고 있는지는 확인하기 어렵습니다. 사실상 ‘작업 해결’ 자체만큼 어렵습니다. ‘나쁜 행동 감지’는 저렴하고 신뢰할 만하지만 ‘진전 판단’은 비싸고 오류가 많으므로, 환경이 신뢰성 있게 제공할 수 있는 조밀한 신호는 본질적으로 ‘진전에 대한 보상’이 아니라 ‘경로에 대한 페널티’입니다. 이 비대칭성이 방법의 형태를 결정합니다.

접근법: 결과 보상에 검증 가능한 ‘경로 신호’를 추가합니다. 총보상은 두 부분으로 씁니다.

\[R = O + \beta\cdot\Phi\]

O는 원래의 결과 보상으로 희소하며 여전히 진짜 목표입니다. Φ는 결정론적 규칙 엔진이 행동마다 부여하는 경로 신호입니다. 학습한 판정 모델이 아니라 행동과 그 행동 직전 상태의 순수 함수로 계산합니다. Φ에는 마이너스와 플러스 부호에 해당하는 두 가지 용도가 있습니다.

• 페널티(−λ): 궤적에서 기계로 검증할 수 있는 위반 행동(파괴적인 명령, 테스트 파일 수정)이 발생할 때마다 해당 행동 토큰에서 λ점을 뺍니다.
• 준수 보상/부분 보상(+μ): 전제 조건 충족, 하위 목표 달성, 통과한 테스트 수 증가, 증명할 목표 수 감소처럼 검증 가능한 좋은 행동이 발생할 때마다 μ점을 더합니다.

두 신호는 결합하기 전에 각각 따로 정규화하여 조밀한 경로 신호가 희소한 결과 신호를 압도하거나 그 반대가 되는 일을 막습니다. 이 메커니즘은 PPO/GRPO 학습 루프에 직접 연결됩니다. 최적화 알고리즘은 바꾸지 않고 단계별 보상만 재구성해, 어드밴티지 계산이 과정 중의 옳고 그른 행동을 볼 수 있게 합니다.

작동하는 이유—그룹 내 보상 차이라는 하나의 설명. 7.8절을 떠올려 보십시오. GRPO는 가치 네트워크를 학습하지 않습니다. 같은 프롬프트에서 G개의 롤아웃을 한 그룹으로 샘플링한 뒤 그룹 평균에 대한 각 롤아웃의 정규화된 편차를 어드밴티지로 사용합니다. 따라서 보상에서 오는 정책 학습 신호는 그룹 내 차이에 의존합니다. 그룹의 모든 롤아웃이 정확히 같은 보상을 받으면 분산은 0이고 모든 어드밴티지도 0이 되어 그 그룹은 보상 기반 정책 경사에 기여하지 않습니다. 다만 목적 함수에 KL·엔트로피 같은 별도 보조항이 있다면 그 항의 경사는 남을 수 있습니다.

결과 보상만 사용하면 이러한 ‘분산 0 교착’이 두 가지 상황에서 필연적으로 발생하며, 공교롭게도 학습 초반과 후반에 가장 흔합니다.

• 전부 실패하는 그룹(학습 초반): 작업이 너무 어려워 그룹의 모든 롤아웃이 실패하고 O가 모두 0 → 그룹 내 분산 0 → 보상 기반 정책 경사 없음. 학습 초반에는 거의 모든 그룹이 이 상태라 값비싼 샘플을 대량 낭비합니다.
• 전부 통과하는 그룹(학습 후반): 작업을 거의 학습해 모든 롤아웃이 성공하고 O가 모두 1 → 역시 분산 0 → 보상 기반 정책 경사 없음.

다시 말해 순수 결과 보상은 성공률 양극단에서 정책을 개선할 상대적인 방향을 제공하지 못합니다. 커뮤니티의 기존 해법은 이러한 분산 0 그룹을 아예 버리는 것이었습니다. DAPO의 동적 샘플링은 모든 롤아웃이 맞거나 모두 틀린 프롬프트를 제외합니다. RLVP는 질문을 뒤집습니다. 버리는 대신 어떤 조밀한 신호로 사라진 분산을 복구할 수 있을까요? 이렇게 물으면 답은 곧바로 드러납니다.

• 검증 가능한 페널티는 롤아웃마다 위반 양상이 다를 때 분산을 복구할 수 있습니다. 그룹의 모든 롤아웃이 실패해도 실패한 방식은 대개 다릅니다. 일부는 파괴적인 명령을 실행하고 일부는 그렇지 않습니다. 이때 페널티를 더하면 전부 실패한 그룹에도 내부 차이인 분산이 생기고 보상 기반 학습 신호가 다시 생깁니다. 모든 롤아웃이 같은 위반을 저지르면 페널티도 같아 분산은 생기지 않습니다.
• 검증 가능한 진전 보상(부분 보상)은 진전에 도달할 수 있을 때만 분산을 복구합니다. 그룹의 일부 롤아웃이 테스트를 두 개 더 통과하거나 보조 정리를 하나 더 증명하면 진전의 차이가 생기고 +μ가 분산을 만들 수 있습니다. 그러나 작업이 너무 어려워 모든 롤아웃의 진전이 0에 머문다면, 예컨대 소프트웨어 복구에서 누구도 숨겨진 테스트 하나를 통과시키지 못한다면 진전 신호는 어디서나 0이고 분산도 0이라 도움이 되지 않습니다. 따라서 진전 보상은 ‘도달 가능성의 제약을 받는’ 해법의 절반입니다. 증명할 목표 수가 점차 줄어드는 정리 증명에서는 도달 가능하고 유용하지만, 통과한 테스트 비율에 도달하기 어려운 소프트웨어 복구에서는 쓸모가 없습니다.

요약하면 조밀한 신호는 결과 보상에서 사라진 그룹 내 분산을 복구할 수 있을 때만 유용합니다. 페널티와 진전 보상 모두 롤아웃 사이에 서로 다른 값을 만들 때만 이 조건을 만족합니다. 나쁜 행동의 양상이 다양하면 페널티가, 부분 성공에 도달할 수 있으면 진전 보상이 유용합니다.

사용 사례 1: 배포 가능성을 위한 경로 페널티—네 가지 설계 원칙. Φ를 페널티로 사용해 에이전트에 제약 준수를 가르칠 때, 제거 실험으로 검증한 네 원칙이 네 가지 구체적인 함정을 해결합니다.

1. 검증 가능한 ‘행동’에만 페널티를 부여하고 ‘진전 없음’에는 절대 부여하지 마십시오. 페널티 대상은 rm -rf 실행이나 전제 조건을 충족하지 않은 호출처럼 기계로 감지할 수 있는 구체적인 나쁜 행동이어야지, ‘이 단계에서 진전이 없음’이어서는 안 됩니다. ‘진전 없음’ 페널티를 피하는 가장 쉬운 방법은 ‘아무것도 하지 않는 것’이므로, 그런 페널티는 에이전트에 아무것도 하지 말라고 직접 가르치게 됩니다.
2. 결과 보상이 언제나 주요 동인이어야 하며, 페널티만 따로 최적화해서는 안 됩니다. 페널티만 있고 결과 보상이 없으면 최적 전략이 ‘아무것도 하지 않기’가 되는 치명적인 무행동 함정이 생깁니다. 위반도 0이지만 성공도 0입니다. 논문의 제거 실험에서는 순수 페널티로 인해 모든 무작위 시드에서 성공률이 0으로 붕괴했습니다. 결과 보상이 작업 완료를 향해 ‘끌어당기고’, 페널티는 어떻게 완료할지만 안내해야 합니다.
3. 각 페널티(−λ)에 대응하는 준수 보상(+μ)을 짝지으십시오. ‘테스트 파일 수정’에는 점수를 빼되, ‘버그를 실제로 고쳐 자연스럽게 테스트를 통과’하는 준수 행동에는 보상하십시오. 장벽만 세우지 말고 빠져나갈 길을 제공해야 합니다. 제거 실험에서는 이 짝지은 준수 보상을 없애면 준수 행동을 학습하는 속도가 크게 느려지고 불안정해졌습니다.
4. 준수 경로에 도달할 수 있어야 하며 페널티 대상을 속일 수 없어야 합니다. 먼저 소수의 스크립트형 시연으로 에이전트에 ‘규칙을 지키는 법’을 보여 주십시오. 그렇지 않으면 준수 행동을 전혀 탐색하지 못하고 +μ도 사용되지 않을 수 있습니다. 동시에 ‘무엇을 위반으로 볼 것인가’는 학습한 ‘준수 점수’ 판정기가 아니라 구체적이고 결정론적인 검사로 판단해야 합니다. 그렇지 않으면 속임수 문제가 정책에서 판정기로 옮겨갈 뿐입니다.

사용 사례 2: 샘플 효율을 위해 도달 가능한 진전에 보상하기(부분 보상). 같은 +μ를 준수 보상이 아니라 진전 보상으로 바꾸면 과정 제약에서 학습 가속으로 역할이 달라집니다. 전부 실패하는 그룹에서도 진전에 도달할 수만 있다면 +μ가 경사 0의 교착을 유용한 경사로 바꿔 모델이 더 적은 값비싼 상호작용으로 같은 역량에 도달하게 합니다. 논문은 정리 증명(miniF2F)과 소프트웨어 복구를 비교하고 핵심 변수는 신호 자체의 밀도가 아니라 도달 가능성이라고 결론 내립니다. 정리 증명에서는 증명한 단계마다 남은 목표 수가 실제로 줄어들어 진전에 도달할 수 있으므로 조밀한 진전 보상이 수렴을 크게 앞당기고 학습을 더 안정화하며 발산을 줄입니다. 소프트웨어 복구에서는 롤아웃 묶음 전체가 테스트 하나도 통과하지 못하는 경우가 흔합니다. 진전에 도달할 수 없으므로 평범한 결과 보상을 유지하는 편이 낫습니다. 학습 전에 기반 모델에서 소수의 롤아웃을 실행해 그룹 내 분산을 측정하면 도달 가능성을 진단할 수 있습니다.

RLVR과의 관계(흔한 혼동 해소). RLVP와 이 장에서 반복해 언급한 RLVR(Reinforcement Learning with Verifiable Rewards)은 글자 하나만 다르며, 바로 그 차이가 상호 보완 관계를 잘 보여 줍니다. RLVR은 결과를 검증하고, RLVP는 과정까지 추가로 검증합니다. 둘을 결합하면 ‘작업을 완료하는 것’과 ‘올바른 방식으로 완료하는 것’ 모두에 집중하는 학습 신호를 얻습니다. 안전하게 배포할 수 있는 에이전트에 꼭 필요한 조건입니다.

실험 7-14 ★★★: RLVP—결과에 보상하고 경로에 페널티 부여하기 [확장 실험]

실험 목표: ‘결과 보상 + 검증 가능한 경로 신호’가 작업 성공률을 희생하지 않으면서 페널티를 통해 제약 위반을 줄이고 부분 보상을 통해 샘플 효율도 높일 수 있는지 확인합니다.

기술적 접근법: GRPO에 결과 보상 O(작업 완료 여부)와 경로 신호 Φ(궤적에서 기계로 감지 가능한 위반 행동마다 감점하고, 대응하는 준수/진전 행동마다 가점) 두 신호를 추가합니다. 각각 따로 정규화한 뒤 R = O + β·Φ로 결합합니다. 테스트 환경에는 Terminal-Bench(터미널 조작, 파괴적 명령 실행 같은 위반)와 miniF2F(형식 정리 증명, 샘플 효율 검토)를 포함합니다.

대조군: 결과 보상만 사용하는 표준 GRPO입니다.

예상 관측 결과: Terminal-Bench(Qwen3-4B, 무작위 시드 5개)에서 에피소드당 위반이 순수 결과 보상의 3.71회에서 0.66회로 약 6분의 1로 줄어들면서 작업 성공률은 잡음 범위 안에서 유지됩니다. 준수는 거의 비용 없이 얻으며, 에이전트는 단순히 ‘덜 행동해 덜 위반’하는 것이 아니라 실제로는 효과적인 행동을 더 많이 합니다. miniF2F 대수 문제처럼 진전에 도달할 수 있는 상황에서 성공률 0.9까지 필요한 반복 횟수는 4B 모델 기준 7.0회에서 4.4회로 줄어듭니다. 더 큰 모델에서는 격차가 더 큽니다(30B: 8.5 → 5.4, 순수 결과 보상은 일부 시드에서 발산). 연결된 파일 조작 작업에서는 아무것도 배우지 못하고 낭비되는 ‘전부 실패 그룹’의 비율이 65%에서 8%로 줄어듭니다. 반례로 진전에 도달할 수 없는 소프트웨어 복구 환경에서는 롤아웃 묶음 전체가 테스트 하나도 통과하지 못하는 경우가 흔해 조밀한 진전 보상이 어디서나 0이며 아무 이점도 없습니다. 이는 ‘도달 가능성이 문턱’이라는 점을 확인해 줍니다.

RL로 도구 호출 학습하기

앞선 다중 턴 실험에서는 에이전트의 행동 공간이 이동과 관찰 같은 내장 조작으로 제한되었습니다. 현실의 에이전트는 검색 엔진, 코드 인터프리터, 문서 파서 등 다양한 외부 도구도 호출해야 하며, 이는 RL 학습에 새로운 과제를 더합니다.

도구 사용은 에이전트의 역량 경계를 ‘모델 자체의 사고’에서 ‘외부 시스템을 호출한 협업’으로 확장하므로 실용적인 에이전트로 가는 핵심 단계입니다. 난이도 기울기의 관점에서 도구 사용 RL 학습은 세 수준의 과제를 마주합니다. 첫 번째는 단일 도구 사용 학습으로, 입출력 명세 이해, 호출 시점 숙달, 오류 피드백 처리가 필요합니다. 두 번째는 다중 도구 생태계 안에서의 선택으로, 수십 개 도구 중 언제 검색하고 언제 코드를 실행하며 언제 문서를 파싱할지 결정해야 합니다. 세 번째는 도구 체인 오케스트레이션으로, 도구 사이의 의존성을 발견하고 상호 배타적 제약을 파악하며 비용 효율을 최적화해야 합니다.

현재 도구 호출을 위한 에이전트 RL 연구에는 활발한 두 계열이 있습니다. 하나는 Search-R1(Jin et al., 2025)이 대표하는 검색 증강입니다. 고정된 RAG 파이프라인을 따르는 대신, 모델이 사고 과정에서 검색을 시작할 시점을 자율적으로 정하고 반환 결과를 사용해 계속 사고하도록 RL로 학습합니다. 다른 하나는 SWE-Gym 같은 학습 환경이 대표하는 소프트웨어 엔지니어링입니다. 실제 코드베이스에서 코딩 에이전트를 위한 다중 턴 RL을 지원해 모델이 반복해서 코드를 편집하고 실행하고 수정하게 합니다. 두 계열에는 긴 지평의 기여도 할당(수십 단계 전에 내린 결정에 최종 성공의 공로를 돌림)과 환경 엔지니어링(안정적이고 재현 가능하며 대규모 병렬 처리가 가능한 학습 환경 구축)이라는 같은 두 가지 과제가 있습니다.

도구 RL에는 피할 수 없는 엔지니어링 세부 사항인 환경 피드백 토큰의 손실 마스킹도 있습니다. 도구 호출 궤적에는 모델 자체가 생성한 토큰(사고, 도구 호출 파라미터)과 환경이 반환한 토큰(코드 인터프리터 출력, 검색 결과, 고객 서비스 답변)이 함께 들어 있습니다. 후자는 정책이 생성한 것이 아니라 환경이 제공한 것입니다. 이를 정책 경사에 포함하면 모델이 ‘샌드박스가 무엇을 출력할지 예측’하도록 학습하게 되어 최적화 목표에서 벗어나고 학습이 불안정해집니다. 표준 방식은 손실을 계산할 때 환경 피드백 토큰을 마스킹하고 모델이 생성한 토큰에만 경사를 역전파하는 것입니다. 이는 <interpreter> 태그 안의 피드백 토큰 경사를 마스킹하는 ReTool의 핵심 기술 중 하나이며, Search-R1이 ‘학습 안정화를 위한 검색 토큰 마스킹’이라고 부르는 방식입니다. veRL과 AWorld 같은 주요 학습 프레임워크에는 이 메커니즘이 내장되어 있습니다.

실험 7-15 ★★★: ReTool—코드 인터프리터로 강화한 수학 문제 해결

순수 텍스트 사고는 정밀한 수치 계산, 기호 연산, 복잡한 방정식 풀이에서 오류가 누적되기 쉽습니다. 예를 들어 연속된 곱셈 열 단계는 단계마다 틀릴 수 있습니다. 코드 인터프리터는 실행 가능한 인터페이스로 정확하게 검증합니다. ReTool은 코드 인터프리터의 실시간 실행을 RL 사고 루프에 통합해 모델이 결과 피드백의 안내를 받으며 언제, 어떻게 도구를 사용할지 자율적으로 학습하게 합니다.

학습은 두 단계로 나뉩니다. 약 1시간의 SFT 워밍업에서는 순수 텍스트 사고 데이터를 코드 증강 궤적으로 바꿔 기본적인 도구 호출 패턴을 확립합니다. 수정된 veRL 구현을 기반으로 한 PPO를 사용하는 RL 학습에는 DAPO-Math-17k 데이터를 사용하며 400단계에 약 9일이 걸립니다. 실시간 코드 실행과 교차하는 롤아웃으로 정책을 최적화합니다. 모델이 <code> 태그를 포함한 코드를 생성하면 샌드박스가 실행하고 결과를 <interpreter> 태그로 감싸 피드백하며, 모델은 계속 생성해 ‘텍스트 1 + 코드 1 + 피드백 1 + … + 답’의 혼합 사고 시퀀스를 만듭니다. 학습 단계마다 응답 512개(질문 32개 × 후보 16개)를 생성하고, 응답당 평균 7~9회의 상호작용을 거칩니다. 전체 처리 토큰 수는 초기 25M에서 40M으로 늘어납니다.

ReTool 자체는 표준 PPO를 사용하며 최적화 알고리즘을 수정하지 않습니다. 그러나 학습 데이터가 DAPO 팀의 DAPO-Math-17k에서 나오므로 최근 주목받는 DAPO 알고리즘(Yu et al., 2025)을 이 기회에 소개하겠습니다. 표준 PPO를 네 가지로 개선하며, 핵심 목표는 모델이 하나의 전략, 즉 문제를 한 가지 방식으로만 푸는 상태에 너무 일찍 수렴하지 않도록 하는 것입니다.

• Clip-Higher(탐색 상한 완화): 표준 PPO의 클리핑은 확률비가 구간 밖일 때 대리 목적함수의 추가 이득을 잘라 큰 정책 변경을 억제하지만 하드 경계는 아닙니다. 지나치게 낮은 상한은 낮은 확률의 유망한 행동을 강화할 여지를 줄일 수 있습니다. Clip-Higher는 양의 어드밴티지에 적용하는 상한을 높여, 모델이 명백히 더 좋은 새 경로를 발견했을 때 그 확률을 더 과감히 높이고 탐색을 이어 가게 합니다.
• 토큰 수준 정책 경사 손실(각 토큰에 같은 가중치): 원래 GRPO는 샘플 수준에서 손실을 정규화합니다. 먼저 각 응답 안에서 토큰 수로 평균을 낸 뒤 샘플 간 평균을 냅니다. 이 때문에 긴 응답의 각 토큰이 1/|o_i|만큼 희석되어 고품질의 긴 사고 연쇄는 보상을 충분히 받지 못하고 장황한 반복은 페널티를 충분히 받지 않습니다. DAPO의 토큰 수준 정책 경사 손실은 이 샘플 수준 평균을 없애고 전체 배치의 모든 토큰에 걸쳐 일괄 정규화하여 각 토큰에 같은 가중치를 줍니다. 직접적인 결과로 긴 응답은 길이에 비례하는 경사 기여도를 받습니다.
• 동적 샘플링(계산량의 지능적 배분): 학습 중 질문별 샘플 수를 동적으로 조정합니다. 모델이 이미 안정적으로 풀 수 있는 간단한 질문은 추가 학습의 이득이 적으므로 샘플링을 줄이고, 성공률 20~80%인 ‘학습 가능 범위’의 질문은 정보량이 가장 많으므로 샘플링을 늘립니다. 계산량을 가장 가치 있는 데이터에 집중합니다.
• 초장문 보상 조정(장황한 응답에 페널티): 지나치게 긴 응답에 부드러운 페널티를 적용합니다. 모델이 더 좋은 답을 내지 못하면서 사고 과정만 매우 길게 생성하면 보상 점수를 낮춰 더 간결하고 효율적으로 사고하도록 유도합니다.

ReTool로 돌아가겠습니다. Qwen2.5-32B-Instruct를 학습한 결과 AIME 2024 정확도는 초기 약 25%에서 110단계 중간 체크포인트의 52%로 높아졌고, Best-of-30은 85%에 도달했습니다. 논문의 400단계 최종 결과는 67.0%였지만 순수 텍스트 RL 기준선은 1,080단계를 거치고도 40.0%에 그쳤습니다. 이 실험 상자의 학습 동역학 수치는 모두 이 32B 모델 설정을 기준으로 합니다.

코드가 실행 오류를 찾아 수정 버전을 자율적으로 생성하는 코드 자기 교정, 도구 사용이 후반 검증에서 초반 탐색으로 이동하는 현상, 정확도는 오르면서 길이는 40% 줄어드는 사고 효율 개선과 같은 역량이 출현합니다.

첫 110단계의 학습 동역학은 3단계 패턴을 보입니다. 초반(0~20단계)에는 기본적인 도구 사용을 빠르게 익혀 단계마다 정확도가 0.5%씩 향상됩니다. 중반(20~70단계)에는 진동하며 탐색하고 응답 길이가 2,500토큰에서 최고 4,700토큰으로 늘어나며 정책 다양성이 급증합니다. 후반(70~110단계)에는 안정적으로 수렴하고 길이가 4,400토큰으로 줄어들며, 변동 폭이 감소하면서도 성능은 계속 향상됩니다.

SFT와 RL의 시간 비용이 근본적으로 다른 이유는 정보 밀도가 다르기 때문입니다. SFT는 토큰마다 지도 신호를 제공하지만 RL은 에피소드마다 성공/실패 신호 하나만 줍니다. 실무에서는 응답이 길수록 단계별 시간이 늘어나고, 극단적으로 긴 응답 몇 개가 전체 학습 주기를 크게 늘릴 수 있습니다.

실험 7-16 ★★★: AWorld-train—샌드박스에서 도구 사용 학습하기

GAIA는 가장 어려운 에이전트 평가 벤치마크 중 하나입니다. 대규모로 학습한 파라미터 수가 많은 모델도 약 32%에 그쳐 최고 점수 시스템보다 크게 뒤질 수 있습니다. 이 실험은 더 작은 모델인 Qwen3-4B를 사용하며, ‘실전에서 배우는’ 완전한 학습 파이프라인을 보여 주는 것이 주된 목표입니다.

AWorld 학습 환경은 서버 26개와 도구 함수 126개를 제공하는 MCP 서버 샌드박스입니다. 웹 상호작용(Google Search, Smart Browser, Playwright), 문서 처리(CSV/DOCX/PPTX/PDF), 멀티미디어 처리(오디오 전사, OCR, 동영상 요약), 코드 실행(터미널 명령, E2B 샌드박스), Excel 처리(엔터프라이즈급 작업 29개), 지식 검색(Wikipedia, arXiv, Wayback Machine)을 포괄합니다. 실제 API의 속도 제한, 서비스 변동, 계정 정지 때문에 프로덕션 환경에서 직접 학습할 수 없습니다. 안정적이고 제어 가능하며 재생 가능한 시뮬레이션 환경 구축은 다중 도구 RL 학습의 엔지니어링 전제 조건입니다.

단일 도구에서 다중 도구로 넘어갈 때의 질적 도약은, 단일 도구에서는 ‘언제’와 ‘어떻게’ 호출할지만 결정하면 되지만 다중 도구 환경에서는 ‘어떤 도구를 호출할지’와 ‘도구를 어떻게 조합할지’도 결정해야 한다는 점입니다. 이로 인해 조합 폭발과 의존성 관리의 복잡성이 생깁니다. 도구에는 특정 페이지를 열기 전에 검색해야 하는 것 같은 선행 조건 의존성, 일부 도구를 동시에 호출할 수 없는 상호 배제 제약, API마다 다른 할당량과 지연 같은 비용 차이가 있습니다. 정책은 국소적으로 최적인 행동을 탐욕적으로 고르는 대신 이러한 제약 아래 전체적으로 계획해야 합니다.

이 실험은 기준선 결과가 없는 개방형 학습 실험이라는 점에 유의하십시오. Qwen3-4B 규모 모델이 인상적인 GAIA 점수를 내기는 어렵습니다. 기록을 세우는 것이 아니라 ‘실전에서 배우는’ 전체 파이프라인을 엔드투엔드로 실행하는 데 가치가 있습니다. 허용 가능한 검증 기준과 예상 관측 결과는 다음과 같습니다. 환경의 리셋과 에피소드 루프(도구 호출, 피드백, 상태 업데이트)가 충돌 없이 안정적으로 실행되고, 학습 중 평균 보상 곡선이 상승하는 경향을 보이며, 학습과 함께 도구 호출 성공률이 높아지고 모델이 여러 도구 중 더 합리적인 선택과 조합을 점차 익혀야 합니다.

샘플 효율 향상을 위한 최전선 탐구

앞선 실험은 에이전트 학습에서 RL의 핵심 가치를 체계적으로 보여 주었지만 모두 막대한 샘플 비용을 치렀습니다. ReTool의 RL 실행은 대응하는 SFT 실행보다 200배 이상 오래 걸렸습니다. 1시간과 9일의 차이는 자원이 제한되었거나 빠르게 반복해야 하는 팀이 감당하기 어려울 수 있습니다.

RL의 샘플 효율이 낮은 데에는 높은 분산, 희소한 보상, 온폴리시 데이터 재사용의 어려움 등 여러 원인이 있습니다. 중요한 근본 원인 하나는 주류 정책 경사 방식이 모델 프리라는 데 있습니다. 환경 동역학, 즉 행동을 한 뒤 세계가 어떤 모습이 되는지 나타내는 월드 모델을 만들지 않으며, 피드백 신호 하나에 담긴 풍부한 정보를 쉽게 활용하지도 못합니다. 둘은 연관되지만 같은 문제는 아닙니다. 상호작용할 때마다 환경이 반환하는 오류 원인, 누락 필드, 올바른 절차 힌트 같은 풍부한 피드백은 대부분 버려집니다. 앞의 ‘희소 보상의 딜레마’에서 이 문제를 자세히 분석했습니다. 고객 서비스에 전화하는 상황을 생각해 보십시오. 에이전트는 “본인 확인을 위해 신용카드 끝 네 자리가 필요합니다”라는 말을 명시적으로 듣지만, 모델 프리 RL은 최종 성공/실패 신호인 보상 0 또는 1에서만 학습할 수 있습니다. 이 명시적인 피드백을 직접 활용하지 못하고 수백 번 무작위로 탐색하다 우연히 신용카드 정보를 제공하기를 기다려야 합니다. 사람이라면 피드백을 듣자마자 기억하고 다음에는 먼저 준비할 것입니다.

이 장에서는 이미 이 병목을 공략하는 상호 보완적인 방법 두 가지를 제시했습니다. 하나는 ‘고객 서비스에는 먼저 본인 확인이 필요함’, ‘이 명령은 파괴적임’, ‘증명 단계를 하나 더 완료함’처럼 명시적이고 기계로 검증할 수 있는 신호를 보상 함수에 직접 기록해 환경 피드백에서 버려지는 정보를 학습 가능한 보상으로 바꾸는 것입니다. 7.10절에서 다룬 RLVP 방식으로, 특히 ‘도달 가능한 진전에 보상’하는 부분 보상은 전부 실패한 그룹에서 낭비되는 샘플을 되살립니다. 이 절에서 본격적으로 다룰 다른 접근법은 단계마다 학습 신호를 더 조밀하게 만드는 것입니다. 작업 마지막에 성공/실패라는 스칼라 하나만 받는 대신 궤적의 모든 지점에서 안내를 제공합니다. 이것이 온폴리시 증류입니다.

온폴리시 증류: SFT와 RL의 장점 결합

Thinking Machines Lab이 2025년에 체계화하고 널리 알린 온폴리시 증류(On-Policy Distillation)⁸는 이제 주류 사후 학습 방식으로, 제대로 설명할 가치가 있습니다. 해결하는 문제를 이해하려면 먼저 SFT와 RL 각각의 치명적인 약점부터 살펴보십시오. 온폴리시 증류는 둘의 장점을 결합합니다.

SFT의 약점: 학습자-샘플러 불일치. SFT의 학습 데이터는 교사 모델이나 인간 전문가인 ‘샘플러’가 만들고, 학습 중인 모델인 ‘학습자’는 이 올바른 경로를 수동적으로 모방할 뿐입니다. 문제는 학습자가 스스로 행동하면 필연적으로 실수하고 학습 데이터에서 한 번도 보지 못한 분포 밖 상태에 들어간다는 것입니다. 그 상태에서 올바른 경로로 돌아오는 법을 배운 적이 없으므로 작은 오류가 큰 오류로 누적됩니다. 정답만 외운 학생이 중간 단계 하나가 틀리면 어떻게 회복해야 할지 모르는 것과 같습니다. 근본 원인은 학습 중 ‘행동하는 주체’인 교사와 배포 중 행동하는 학생 자신의 분포가 다르다는 것입니다.

RL의 약점: 신호가 너무 희소합니다. RL은 학생이 스스로 행동하게 하는 온폴리시 방식이므로 분포 불일치를 해결합니다. 하지만 궤적마다 마지막에 성공/실패 스칼라 하나만 얻습니다. 각 중간 단계를 어떻게 바로잡아야 하는지 추론하려면 수백~수천 번 시행착오를 겪어야 합니다.

온폴리시 증류는 두 방식의 장점을 결합합니다. 학생이 자신의 궤적을 생성하게 해 분포 불일치를 해결하는 온폴리시 방식이면서, 더 강한 교사 모델이 학생이 생성하는 모든 토큰에 조밀한 신호를 제공해 신호 희소성을 해결합니다. 세 방식을 한 줄로 비교하면 SFT는 ‘오프폴리시 + 조밀한 신호’라 분포 불일치가 있고, RL은 ‘온폴리시 + 희소한 신호’라 피드백이 희소합니다. 온폴리시 증류는 ‘온폴리시 + 조밀한 신호’로 두 약점을 모두 해결합니다.

구체적으로 어떻게 채점할까요? 교사는 학생의 단계가 맞는지만 판단하지 않고 현재 위치의 다음 토큰에 관한 완전한 확률 분포를 제공합니다. 예를 들어 학생이 ‘먼저 API를 조회한 뒤 반환값을 파싱한다…’라고 쓰면, 교사는 이 위치에서 ‘조회’ 확률이 80%, ‘호출’이 15%, 다른 토큰이 나머지 5%여야 한다고 판단할 수 있습니다. 학생의 학습 목표는 각 위치에서 자신의 예측 분포를 교사의 분포에 최대한 가깝게 만드는 것입니다. 기술적으로는 두 분포 사이의 KL 발산을 최소화해 달성합니다. 7.7절에서 자세히 설명했듯 KL 발산은 두 확률 분포의 차이를 측정하며, 작을수록 분포가 가깝고 동일하면 0입니다. 최종 성공/실패라는 이진 신호와 비교하면 이 토큰 수준 분포 정렬은 10배 이상 조밀합니다.

결과는 놀랍습니다. 수학 같은 작업에서 순수 RL의 성능에 도달하는 데 필요한 학습 단계가 약 10분의 1입니다. 긴 연쇄 사고에서 특히 큰 이점을 보입니다. 교사가 단계마다 길을 알려 주므로 학생은 잘못된 경로에서 더 멀리 표류하지 않고 오류를 빠르게 바로잡는 법을 익힙니다. 과적합도 완화합니다. 표준 RL은 같은 프롬프트에서 반복 학습하면 최종 답을 암기하는 경향이 있지만, 여기서는 궤적마다 다르고 교사 피드백도 해당 궤적에 맞춰지므로 학생은 특정 답이 아니라 일반적인 전략을 배웁니다. 데이터도 훨씬 더 많이 재사용할 수 있습니다.

이 방식은 다중 턴 에이전트 환경에서 특히 가치가 큽니다. 성공/실패 신호가 맨 마지막에 나타나 희소할 뿐 아니라 지연되기 때문입니다. 토큰 수준의 교사 분포가 모든 중간 단계에 빠진 안내를 완벽히 채웁니다. 하지만 이 장의 주제와 맞닿는 전제 조건이 있습니다. 학생이 자유롭게 탐색할 수 있도록 충분히 현실적인 시뮬레이션 환경이 필요합니다. 그렇지 않으면 학생이 교사도 본 적 없는 분포 밖 상태에 들어갔을 때 교사의 목표 분포도 신뢰할 수 없습니다. 온폴리시 학습의 가치는 ‘학생이 실제로 배포 분포를 탐색한다’는 전제 위에 세워집니다.

‘조밀한 신호가 희소한 신호를 능가한다’는 원칙은 순수 에이전트 환경에서 매우 깔끔하게 검증되었습니다. 2장에서 상태 표시줄을 다룰 때 긴박감, 끈기, 경계심 같은 에이전트의 ‘시간 감각’을 언급했습니다. 추론 시점에는 지침서로 이를 심어 줄 수 있지만, 프롬프트에 의존하지 않고 8B 소형 모델의 가중치에 리듬 감각을 직접 내장하는 것은 사후 학습 과제입니다. 저자와 공동 연구자들은 DPO를 시도한 뒤 네 가지 RL 방법을 차례로 시험했습니다. 각 RL 방식은 이 장에서 앞서 다룬 실패 유형에 빠졌습니다. 하드 게이트 보상은 너무 희소해 대부분의 롤아웃 점수가 0이 되고 그룹 내 어드밴티지가 사라졌습니다(희소성). 등급식 보상으로 바꿔 신호를 조밀하게 만들었지만 대리 지표가 실제 통과율과 맞지 않았습니다(목표 불일치). 첫 턴의 답만 채점하자 짧고 성의 없는 답을 유도해 다중 턴 평가 성능이 더 나빠졌습니다(롤아웃 형태 불일치). 마지막으로 롤아웃 형태를 평가와 맞추자 학습 보상은 오르기 시작했지만 정책이 몇 단계 안에 단일 모드로 붕괴했고, KL 앵커를 네 배 강화해도 되돌리지 못했습니다(학습 붕괴). 어떤 방식도 SFT 상한을 넘지 못했습니다. 온폴리시 증류로 전환해 동결된 Qwen3-32B 교사가 학생 자신의 다중 턴 궤적에 토큰 수준 목표 분포를 제공하게 하자 학습은 매끄럽게 수렴했고, 네 조건 모두에서 통과율이 대응하는 SFT 기준선보다 23~47%포인트 높았습니다⁹. 네 가지 RL 접근법은 서로 다른 이유로 실패했지만 조밀한 교사 신호 하나는 성공했습니다. 이는 이 절의 요점을 선명하게 보여 줍니다. 사후 학습을 막는 원인은 보상 함수가 영리하지 못해서가 아니라 신호가 조밀하지 못해서인 경우가 많습니다.

더 강한 교사가 없다면? 온폴리시 자기 증류

온폴리시 증류의 힘은 교사에서 나오지만, 그 때문에 학생보다 분명히 강한 교사 모델이 있어야 한다는 까다로운 전제 조건이 생깁니다. 많은 상황에서는 그렇지 않습니다. 학습하려는 모델이 특정 수직 도메인 모델이고 기존 모델의 역량이 모두 부족하다면 사용할 교사 모델이 없습니다. 더 강한 교사 없이 조밀한 신호의 이점을 누릴 수는 없을까요?

기발한 해법은 온폴리시 자기 증류(On-Policy Self-Distillation, OPSD)¹³입니다. 같은 모델에 교사와 학생 역할을 모두 맡기되 컨텍스트만 다르게 합니다. 교사 버전은 문제의 모범 답안이나 검증된 정답 풀이 같은 ‘특권 정보’를 볼 수 있습니다. 문제를 실제로 ‘풀 줄’ 알 필요는 없습니다. 답을 들고 학생이 밟은 각 단계를 사후 합리화해 토큰별 목표 분포를 만들기만 하면 됩니다. 학생 버전은 문제 자체만 보고 자신이 샘플링한 궤적에서 교사 버전에 맞춥니다. 직관은 다음과 같습니다. ‘답을 손에 쥔 채 문제를 설명하기’는 ‘독립적으로 문제 풀기’보다 훨씬 쉽습니다. 이는 RLVR의 토대인 ‘검증-생성 비대칭’과 동형이지만, 여기서는 희소한 성공/실패 스칼라가 아니라 조밀한 지도 신호를 만드는 데 비대칭을 사용합니다.

OPSD에는 RLVR과 비교해 두 가지 핵심 장점이 있습니다. 첫째, 더는 검증 가능한 보상에 의존하지 않습니다. RLVR은 자동 검증기를 전제로 하지만 OPSD의 특권 정보 출처는 훨씬 넓습니다. 모범 답안뿐 아니라 더 풍부한 시스템 프롬프트, 인간 시연, 도메인 문서 등 ‘사후에 모델이 올바른 행동을 명확히 설명하게’ 하는 것이면 무엇이든 사용할 수 있습니다. 둘째, 지도 신호가 RL보다 훨씬 조밀합니다. RL은 궤적마다 스칼라 보상 하나를 주지만 OPSD는 궤적의 모든 위치에서 완전한 확률 분포를 제공하므로 토큰 효율이 RL 방식보다 현저히 높습니다. OPSD는 ‘더 강한 교사’를 ‘특권 정보’로 바꿨고, 이를 통해 샘플 효율 문제를 완화하는 현실적인 경로가 되었다고 할 수 있습니다.

물론 이 패러다임의 경계도 명확하며, 주로 교사의 역량 상한이 학생 자신에게 묶여 있다는 사실에서 비롯됩니다. 향상 폭은 ‘특권 정보가 얼마나 많은 추가 역량을 가져오는가’에 달려 있습니다. 모델이 답을 들고 있어도 풀이 과정을 명확히 설명하지 못한다면, 예컨대 답이 언어로 표현 가능한 사고가 아니라 무차별 탐색에서 나왔다면 자기 증류에는 신호의 원천이 없습니다. 기존 연구에서는 순진한 OPSD의 실패 유형도 관측했습니다. 예를 들어 자기 증류 중 모델이 기존 사고 스타일을 점차 잃을 수 있으므로, 안정성을 유지하려면 추가 정규화가 필요합니다¹⁴. 같은 모델이 서로 다른 컨텍스트에서 교사와 학생을 맡는 구상은 여전히 빠르게 진화하고 있지만, ‘더 강한 교사가 없다’는 흔한 곤경을 위한 길은 이미 열었습니다.

완전한 사후 학습 지형과 실전 요점

이 장은 사전 학습의 ‘다음 토큰 예측’ 목표에서 출발해 긴 여정을 따라왔습니다. SFT는 형식과 프로토콜을 효율적으로 학습할 수 있고, 이 장의 비교 실험에서는 결과 기반 RL이 분포 밖 일반화를 개선했습니다. 다중 턴 작업은 기여도 할당 문제를 일으킵니다. 보상 설계는 결과 보상에서 결과에는 보상하고 과정을 제약하는 경로 신호로 확장되고, 도구 사용은 조합 폭발을 가져옵니다. 모든 실험을 관통하는 한 가지 주제는 모델이 무엇을 배우는지가 학습 신호가 무엇을 가르치는지에 달려 있고, 그 신호의 품질은 알고리즘이 아니라 주로 데이터와 환경이 결정한다는 것입니다.

상호 보완적 패러다임: 앞의 GeneralPoints 실험 요약에서는 중국 회화의 ‘선형후신’ 원칙으로 이 구성을 설명했습니다. 구조화 출력이 불안정한 설정에서는 SFT로 형식과 기본 역량을 갖춘 뒤, 신뢰할 수 있는 보상과 환경이 있을 때 RL로 전략을 탐색합니다. 이 실험들에서 SFT는 프로토콜과 구조(JSON 형식, 대화 템플릿, 도구 인터페이스)를 안정화했고, RL은 산술 규칙·공간 사고·행동 시퀀스의 분포 밖 성능을 개선했습니다. 다른 데이터와 모델에서는 결과가 달라질 수 있으며, SFT를 지나치게 학습하거나 RL을 과도하게 최적화하면 어느 쪽도 현재 분포에 과적합할 수 있습니다.

다음과 같은 흔한 함정에 유의할 필요가 있습니다. 이러한 문제를 알아보는 일은 기술적인 세부 사항을 숙달하는 것보다 자원 낭비를 막는 데 더 가치 있을 때가 많습니다.

1. 사실 암기를 사후 학습에 지나치게 의존—사실 지식은 동적으로 업데이트할 수 있고 출처를 추적할 수 있으며 학습으로 내용이 사라지지 않는 RAG로 관리하십시오. 사후 학습은 ‘지식을 사용하는 법’에 집중해야 합니다.
2. 형식이 안정되기 전에 RL 도입—모델이 보상 계산에 필요한 JSON을 안정적으로 생성하지 못하면 학습 신호가 희소하거나 왜곡됩니다. 허용 가능한 파싱 실패율은 작업과 보상 설계에 따라 다르므로 고정 임계값을 보편적으로 적용하지 말고, 먼저 소규모 평가로 형식 안정성 게이트를 정하십시오. 필요하다면 SFT나 제약 디코딩으로 출력을 안정화한 뒤 RL을 적용합니다.
3. 잘못 설계한 보상 함수로 인한 보상 해킹—모델이 작업을 실제로 완료하지 않고도 보상의 허점을 악용해 높은 점수를 얻는 법을 배웁니다. 예를 들어 보상이 응답 길이만 보면 모델은 길고 무의미한 텍스트를 생성합니다. 중간 지표가 아니라 최종 목표를 평가하십시오.
4. 시뮬레이션 충실도 간과—시뮬레이션이 지나치게 단순하거나(고객 서비스가 항상 고정 패턴으로 응답), 환경 응답이 비현실적이면(오류 메시지가 프로덕션 환경과 다름) 학습한 정책이 현실에서 완전히 실패합니다. 충실도 높은 시뮬레이션 환경을 구축하는 비용은 학습 비용 자체보다 클 수 있습니다.
5. 과도한 학습으로 일반화 저하—학습 손실은 계속 감소하는데 검증 세트 성능이 나빠진다면 모델이 학습 세부 사항을 암기하고 있는 것입니다. SFT는 특히 이 문제에 취약하므로 조기 중단이 여전히 중요합니다. RL도 과도하게 최적화하면 현재 작업 분포에 정책이 과적합할 수 있습니다.
6. 가치 함수 붕괴와 불충분한 탐색—PPO에서 가치 추정이 부정확하면 어드밴티지 계산이 편향되어 학습 곡선에 심한 진동이 나타날 수 있습니다. 온도가 지나치게 낮거나 무작위성이 부족하면 에이전트가 국소 최적점에 갇힐 수 있습니다.
7. RL 계산 비용 과소평가—SFT로 좋은 성능을 내는 작업도 RL로 전환하면 학습 시간이 10~100배 필요할 수 있습니다. 테스트 분포가 학습 분포와 매우 비슷하다면 SFT만으로 충분할 수 있습니다.
8. 낮은 학습 데이터 품질—SFT는 데이터의 잡음과 편향을 직접 학습해 오류를 파라미터에 고정합니다. RL은 탐색으로 더 나은 전략을 발견할 수 있지만, 보상 모델에 체계적인 편향이 있으면 잘못된 방향으로 최적화합니다.

핵심 원칙은 다음과 같습니다. 대규모 자원을 투입하기 전에 소규모 실험으로 핵심 가정을 검증하십시오. 작은 데이터 세트에서 SFT가 형식을 안정화할 수 있는지, 단순화한 환경에서 RL이 수렴할 수 있는지, 소수의 샘플에서 보상 함수가 실제 목표를 반영하는지 테스트하십시오. 대규모로 실패하는 것보다 빠르게 실패하는 편이 낫습니다.

RAG/ICL과의 시너지: 이 방식들은 서로 배타적이지 않고 서로 다른 위치에서 작동합니다. ICL은 예시, 규칙, 현재 상태를 사용해 파라미터를 바꾸지 않고 즉시 적응하지만 컨텍스트가 커질수록 지연과 비용이 늘어납니다. RAG는 사실과 근거를 동적으로 업데이트하고 추적할 수 있는 외부 지식에 둡니다. 사후 학습은 고차원 인식, 생성 스타일, 암묵적인 의사결정 정책을 파라미터에 기록합니다. 선택은 작업이 시간에 따라 안정적인지뿐 아니라, 더 중요하게는 역량을 외부 기호로 충분히 표현할 수 있는지에 달려 있습니다. 의료 이미지 인식이나 자연스러운 어조 같은 역량은 계속 변하는 도메인에서도 파라미터 업데이트가 필요한 경우가 많습니다. 반대로 오랫동안 안정된 송금 승인 규칙이라도 모델 기억에만 의존하지 말고 코드로 결정론적 보호를 적용해야 합니다.

견고한 시스템은 일반적으로 이 방식을 결합합니다. RAG로 사실과 근거를 관리하고, ICL로 언어로 표현할 수 있는 전략을 빠르게 실험하고, 프로그램으로 결정론적 절차와 엄격한 제약을 고정하며, 사후 학습으로 명시적으로 표현하기 어렵고 광범위한 일반화가 필요한 역량을 파라미터에 기록합니다. 사후 학습으로 모델 증류를 수행해 역량이 더 뛰어난 대형 모델의 역량을 더 작고 저렴한 모델로 옮길 수도 있습니다.

장 요약

모델 사후 학습의 본질은 상호작용 전략을 파라미터에 기록하는 것입니다.

SFT와 RL은 경쟁하는 선택지라기보다 자주 순차적으로 결합하는 방법입니다. 구조화 출력이 불안정한 설정에서는 먼저 SFT로 형식을 안정화해야 RL 보상 신호를 신뢰성 있게 계산할 수 있습니다. 이어 RL로 전략 탐색과 분포 밖 성능을 개선할 수 있습니다. ‘SFT는 암기하고 RL은 일반화한다’는 말은 이 장의 통제 실험에서 관찰한 경향을 요약한 것이며, 데이터·모델·보상·환경에 관계없이 성립하는 법칙은 아닙니다. 이 장을 관통하는 두 가지 판단은 어떤 알고리즘보다 기억할 가치가 있습니다. 첫째, 데이터와 환경은 알고리즘보다 중요합니다. 기성 RL 알고리즘을 사용할 줄 알면 충분하고, 팀을 실제로 구분하는 것은 시뮬레이션 환경의 충실도와 학습 데이터의 품질입니다. 실제 환경을 구축할 수 없다면 도구 반환값을 합성하거나 환경 동역학을 시뮬레이션하는 방식으로 모델에 환경 역할을 맡기는 것도 가능합니다. 하지만 시뮬레이터의 편향이 학습의 상한이라는 점을 기억하십시오. 답을 필터링할 수 있을 뿐 아니라 학습 데이터의 작업 분포 자체도 최적화 대상이 될 수 있습니다. 많은 상황에서는 SFT 데이터 품질이 충분히 높다면 RL 자체가 필요하지 않을 수 있습니다. 둘째, 오늘날 RL의 주요 병목은 샘플 효율입니다. 현재 가장 유망한 두 방향은 각 단계의 신호를 조밀하게 만드는 온폴리시 증류와, 버려지는 환경 피드백을 ‘결과에는 보상하고 경로에는 페널티를 부여하며, 도달 가능한 진전에는 부분 보상을 주어 전부 실패한 그룹의 샘플을 되살리는’ 학습 가능 신호로 바꾸는 검증된 경로 페널티 RLVP입니다. 둘은 여전히 같은 발상을 공유합니다. 환경과 데이터에 이미 있지만 순수 결과 보상이 낭비하는 정보를 모델이 학습할 수 있는 것으로 되돌립니다. 더 강한 교사가 없을 때는 이 발상의 자기 증류 변형도 있습니다. OPSD는 같은 모델에 ‘답을 보는 교사’와 ‘문제만 보는 학생’이라는 두 역할을 맡겨 보상을 검증할 수 없는 작업에도 토큰별 조밀한 신호를 제공합니다.

이 장에서는 ‘어떻게 학습할 것인가’라는 파라미터 업데이트 질문에 답했습니다. 다음 장에서는 모델 파라미터를 완전한 에이전트 시스템 안에 다시 배치합니다. 파라미터는 지식, 지시, 프로그램과 함께 네 가지 업데이트 운반체 중 하나일 뿐입니다. 고유한 과제는 배포 궤적에서 신뢰할 만한 학습 신호를 도출하고, 올바른 업데이트 위치를 선택하고, 각 후보 버전의 검증·출시·롤백을 관리하는 것입니다. 구체적인 학습 알고리즘은 8장에서 반복하지 않고 이 장을 직접 참조합니다.

생각해 볼 문제

1. ★★ 특정 작업을 위한 미세 조정 때문에 범용 도구 호출 같은 모델의 기존 일반 역량이 망가지는 파국적 망각은 에이전트 환경에서 특히 골치 아픈 문제입니다. LoRA는 전체 파라미터 미세 조정과 달리 기반 가중치를 동결해 망각 위험이 낮지만 완전히 피하지는 못합니다. 미세 조정 중 역량 망각을 더 줄이려면 어떤 전략을 사용할 수 있을까요?
2. ★★ 사후 학습은 역량을 모델 가중치, 즉 ‘근육 기억’에 고정하지만 인컨텍스트 학습은 추론 시점의 입력에 지식을 둡니다. 도메인 지식 같은 일부 역량은 사후 학습으로 배우거나 퓨샷 예시로 제공할 수 있습니다. 어떤 기준으로 역량에 적합한 경로를 결정하겠습니까?
3. ★★ 모델 증류를 이용하면 소형 모델이 대형 모델의 행동을 학습할 수 있습니다. 증류 대상 모델은 역량 수준에 따라 대략 세 단계로 나눌 수 있습니다. 채팅 모델(단일 턴 대화와 직접 답변), 사고 모델(답하기 전에 긴 사고 연쇄 수행), 에이전트형 모델(다중 턴 도구 호출과 환경 상호작용)입니다. 각 유형을 증류할 때 어떤 과제가 생길까요? 힌트: 출력 스타일, 완전한 사고 궤적, 환경과 상호작용하는 정책 중 ‘정확히 무엇을 증류할지’에서 출발하십시오. 궤적의 어떤 토큰을 학습하고 어떤 환경 반환값은 학습하지 않아야 할까요? 성공/실패 신호는 얼마나 지연되고 희소할까요?
4. ★★★ 다중 턴 에이전트 상호작용에서는 기여도 할당 문제가 단일 턴보다 심각합니다. 최종 성공이나 실패를 7번째 턴이 아니라 3번째 턴의 결정에 귀속하기 어렵습니다. 보상 배분 전략을 어떻게 설계하겠습니까?
5. ★★★ 고객 서비스 에이전트를 개선하는 데 10,000달러 같은 고정 예산이 있다면 컨텍스트와 지식, 프롬프트/스킬, 프로그램 제약, 파라미터 학습에 어떻게 배분하겠습니까? 어떤 요인으로 결정하겠습니까?
6. ★★★ 샘플이 부족하고 명확한 보상 함수도 없는 상황에서 자율적으로 모델을 학습하는 일을 사후 학습의 궁극적인 목표로 보는 견해가 있습니다. 현재 RL 학습 방식은 이 목표에서 얼마나 멀리 떨어져 있을까요? 다음 돌파구는 어디에서 나올 가능성이 가장 클까요?
7. ★★ 이 장에서는 LoRA 미세 조정 비용이 높지 않다고 설명했습니다. 그렇다면 사용자나 고객사마다 전용 LoRA를 학습해 사용자 메모리나 기업 지식을 3장처럼 외부 지식 베이스에 저장하는 대신 파라미터에 기록할 수 있을까요? ‘메모리를 파라미터에 기록’하는 방식은 언제 ‘지식 베이스에 메모리를 저장’하는 방식보다 유리하며, 언제 역효과를 낼까요?
8. ★★★ 온폴리시 증류는 더 강한 교사 모델이 학생을 지도하는 방식입니다. 하지만 OpenAI의 Weak-to-Strong Generalization 연구는 직관에 어긋나는 결과를 제시했습니다. 약한 모델의 지도가 더 강한 모델에 잠재되어 있지만 비활성화된 역량을 끌어낼 수 있다는 것입니다. 이를 에이전트 학습에 적용하면 ‘소형 모델이 대형 모델을 가르치는’ 역증류가 가능할까요?
9. ★★ 과정 보상 모델(PRM)은 사고의 각 단계를 평가하지만 결과 보상 모델(ORM)은 최종 결과만 봅니다. ‘과정은 올바르지만 잘못된 결과에 이른 경우’와 ‘과정은 잘못되었지만 우연히 올바른 결과를 낸 경우’ 중 어느 쪽에 더 많은 보상을 주어야 할까요? 다단계 에이전트 도구 호출에서 둘 사이의 균형을 어떻게 맞추겠습니까?
10. ★★★ 이 장에서 다룬 SWE-Bench Verified, τ²-bench, AndroidWorld 같은 평가 데이터 세트는 평가와 사후 학습에 모두 사용할 수 있습니다. 하지만 평가 세트를 학습에 사용하면 더는 독립적이지 않습니다. 이는 학습 세트와 테스트 세트를 분리해야 한다는 기본 원칙을 위반하는 것일까요? τ²-bench의 동적 파라미터 생성과 AndroidWorld의 파라미터화된 템플릿은 문제를 어느 정도 완화하지만 템플릿 구조 자체는 고정되어 있습니다. 평가 독립성을 유지하면서 평가 데이터의 학습 가치를 온전히 활용하려면 어떻게 해야 할까요?
11. ★★★ 이 장은 ‘선형후신’ 학습 패러다임을 제안합니다. ‘형식이 안정되고 기본 역량을 갖추면’ SFT를 중단하고 RL로 전환합니다. 실무에서는 SFT가 ‘충분’해 전환할 시점인지 어떻게 판단할 수 있을까요?
12. ★★★ ReTool의 학습 동역학은 극단적으로 긴 응답 몇 개가 전체 학습 주기를 크게 늘릴 수 있음을 보여 줍니다(실험 7-15 참고). 배치의 롤아웃 대부분은 이미 생성되었지만 가장 긴 응답이 끝날 때까지 시스템이 기다려야 해 클러스터 GPU 활용률이 낮아집니다. 이러한 롱테일 응답 조건에서 학습 클러스터의 자원 활용률을 어떻게 높일 수 있을까요?
13. ★★★ 시뮬레이션 검색 엔진이나 시뮬레이션 사용자처럼 LLM이 시뮬레이션하는 환경에서 에이전트를 학습하면, 에이전트가 악용하는 대상이 ‘실제 환경의 규칙’에서 ‘시뮬레이터 자체의 편향과 허점’으로 바뀝니다. 이런 학습에서는 어떤 구체적인 보상 해킹 행동이 나타날 수 있으며 어떻게 방지해야 할까요?

---

1. Schulman, John and Thinking Machines Lab, “LoRA Without Regret”, 2025. ↩

2. Ouyang, Long et al., “Training Language Models to Follow Instructions with Human Feedback”, OpenAI, 2022. ↩

3. Gao, Leo, John Schulman, and Jacob Hilton, “Scaling Laws for Reward Model Overoptimization”, OpenAI, 2023. ↩

4. Rafailov, Rafael et al., “Direct Preference Optimization: Your Language Model is Secretly a Reward Model”, 2023. ↩

5. Lightman, Hunter et al., “Let's Verify Step by Step”, OpenAI, 2023. ↩

6. Silver, David and Richard S. Sutton, “Welcome to the Era of Experience”, 2025. ↩

7. 이 절의 경로 페널티 설계, 네 가지 원칙, 실험 데이터는 Li, Bojie and Noah Shi, “RLVP: Penalize the Path, Reward the Outcome”, 2026에서 가져왔습니다. arXiv:2607.07435. ↩

8. 온폴리시 증류의 방법과 실험은 Thinking Machines Lab, “On-Policy Distillation”, 2025를 참고하세요. ↩

9. 에이전트의 시간 감각을 다룬 이 사후 학습 비교, 즉 DPO와 네 가지 RL 방법의 실패 모드 및 온폴리시 증류가 이룬 돌파구는 Li, Bojie and Noah Shi, “Agents That Sense Physical Time: Urgency, Persistence, and Vigilance as Missing Controls for LLM Agents”, 2026에 정리되어 있습니다. https://01.me/research/physical-time-agent ↩

10. Kulikov, Ilia, et al. Autodata: An Agentic Data Scientist to Create High Quality Synthetic Data. arXiv:2606.25996, 2026. ↩

11. Sun, Hao, et al. "ZeroSearch: Incentivize the Search Capability of LLMs without Searching", 2025. arXiv:2505.04588. ↩

12. "DreamGym: Scaling Agent Learning via Experience Synthesis", 2025. arXiv:2511.01824. ↩

13. Zhao, Siyan, et al. "Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models", 2026. arXiv:2601.18734. ↩

14. Shen, Ziqi, et al. "Purified OPSD: On-Policy Self-Distillation Without Losing How to Think", 2026. arXiv:2607.02234. ↩

15. Tan, Zelin, et al. "SKT: Skill-Use Training at Scale via Verified Synthetic Data Generation", 2026. arXiv:2608.02287. ↩

16. Wei, Yifan, et al. "Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis", 2026. arXiv:2601.03676. ↩

17. Zhu, Kaijie, et al. "TermiGen: High-Fidelity Environment and Robust Trajectory Synthesis for Terminal Agents", 2026. arXiv:2602.07274. ↩

18. Hua, Zhanbo, et al. "CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents", 2026. arXiv:2606.22883. ↩