跳转至

맺음말: 다시 에이전트 = LLM + 컨텍스트 + 도구로

이 책은 에이전트 = LLM + 컨텍스트 + 도구라는 공식으로 시작했습니다. 열 개 장의 모든 내용은 이 세 단어 안에서 펼쳐집니다.

1장은 구현 계층, 직관 계층, 학술 계층이라는 세 수준에서 공식을 이해하는 틀을 세우고 워크플로부터 자율 에이전트까지 이어지는 오케스트레이션 스펙트럼을 제시합니다. 이후 장은 ‘구축—평가와 진화—상호작용과 협업’이라는 흐름에 따라 점진적으로 전개됩니다.

  • 에이전트 구축(2~5장). 컨텍스트 엔지니어링은 에이전트가 한 업무 안에서 무엇을 보는지 결정하고, 메모리와 지식 베이스는 정보를 여러 세션으로 확장합니다. 도구는 에이전트가 무엇을 할 수 있는지 정의하며, 코드 생성은 새로운 도구와 시스템을 창조하는 메타 능력을 제공합니다.
  • 평가와 진화(6~8장). 평가는 성능을 신뢰할 수 있는 신호로 바꾸고, 사후 학습은 고차원 능력을 모델 매개변수에 기록하며, 지속적 진화는 운영 경험을 지식, 지시, 프로그램, 매개변수에 대한 통제된 업데이트로 전환합니다.
  • 상호작용과 협업(9~10장). 멀티모달·실시간 상호작용은 인식과 행동을 음성, GUI, 물리 세계로 확장하고, 멀티 에이전트 협업은 컨텍스트와 도구, 책임을 구성하는 방식까지 바꿉니다.

이 세 단계는 서로 독립된 책장이 아닙니다. 특히 8장은 앞에서 쌓은 모든 토대에 의존합니다. 궤적과 지식 시스템이 없으면 경험을 저장할 곳이 없고, 코드 능력이 없으면 에이전트가 도구와 하네스를 수정할 수 없으며, 평가가 없으면 시스템은 변경이 진전인지 퇴보인지 판단할 수 없습니다. 따라서 8장은 이 책이 ‘에이전트를 구축하는 방법’에서 ‘에이전트를 장기적으로 개선하는 방법’으로 전환하는 합류점입니다.

두 개의 구름

1900년 켈빈 경은 맑은 물리학의 하늘에 여전히 두 개의 구름이 떠 있다고 말했습니다. 훗날 하나는 상대성 이론이 되었고 다른 하나는 양자 역학이 되었습니다. 오늘날 에이전트를 둘러싼 하늘도 결코 맑지 않으며, 저 역시 두 개의 구름을 봅니다.

첫 번째 구름은 에이전트가 환경과 스트리밍 방식으로 실시간 상호작용하려면 어떻게 해야 하는가입니다. 오늘날 대다수 에이전트는 여전히 턴 단위의 ‘요청-응답’ 방식으로 작동합니다. 사용자가 한 문장을 끝내면 에이전트는 한 문단 전체를 생각한 다음 결과를 한꺼번에 쏟아 냅니다. 그러나 현실 세계는 생각이 끝날 때까지 멈춰 기다려 주지 않습니다. 말은 중간에 끊기고 장면은 계속 바뀌며 이메일은 끊임없이 도착합니다. 진정으로 ‘살아 있는’ 에이전트라면 생각하면서 듣고 생각하면서 말할 수 있어야 하며, 사용자가 말을 마치기 전부터 계획을 세우고 아무도 지시하지 않았는데도 ‘이 이메일은 처리해야 한다’고 스스로 알아차릴 수 있어야 합니다. 이러한 실시간 능력에 이르는 길은 두 가지이며 흔히 병행됩니다. 하나는 아키텍처에서 빠른 처리와 느린 처리를 분리하는 것입니다. 실시간 반응성과 지능은 거의 직교하는 두 축이라 단일 모델이 모두 충족하기 어렵습니다. 따라서 빠른 프런트엔드 모델이 대화의 리듬을 유지하고 느린 백엔드 모델이 깊이 사고하도록 합니다. 다른 하나는 추론 자체를 빠르게 만드는 것입니다. 디코딩 속도가 충분히 높아지면 턴 사이의 대기 시간이 거의 사라져 턴 단위 방식과 ‘실시간’의 경계도 흐려집니다. 칩과 추론 엔진이 이 길을 빠르게 열고 있습니다. Xiaomi MiMo는 단일 8-GPU 노드에서 1조 매개변수 모델의 속도를 1,000 token/s 이상으로 끌어올렸고1, Taalas HC1처럼 모델 전체를 칩에 고정하는 전용 방식은 80억 매개변수 모델을 약 17,000 token/s, 응답 시간 100밀리초 미만까지 끌어올렸습니다2. 모델이 초당 수천 단어를 내놓을 수 있다면 ‘생각한 다음 말하기’와 ‘생각하면서 말하기’의 체감 차이는 사라집니다.

두 번째 구름은 에이전트가 사람처럼 환경과 상호작용하며 얻은 성공과 실패에서 경험을 계속 축적하려면 어떻게 해야 하는가입니다. 오늘날의 모델은 기억력은 뛰어나지만 새로운 것을 배우지 못하는 천재와 비슷합니다. 학습 중에는 인간의 지식을 세세한 부분까지 외우지만 실제 업무에 투입된 뒤에는 거의 성장하지 않습니다. 업무가 하나 끝날 때마다 겪었던 함정과 알아낸 요령 대부분이 컨텍스트와 함께 버려집니다. 이것이 실제 문제인지는 서로 대립하는 두 가설에 달려 있습니다.

하나는 ‘작은 세계 가설’입니다. 예를 들어 수조 개의 매개변수를 가진 충분히 큰 모델에는 물리 세계의 중요한 범용 지식이 거의 모두 들어 있으므로 한 번만 학습하면 충분하다는 주장입니다. 이 견해를 지지하는 이들(OpenAI와 Anthropic 연구자도 포함됩니다)은 오늘날 AI가 유독 프로그래밍 분야에서 강한 이유가 코드가 모델에 특별해서가 아니라고 지적합니다. 프로그래밍은 인류에게 가장 개방된 분야여서 학습할 방대한 오픈 소스 코드가 있지만, 대부분의 산업에는 공개된 정보나 데이터가 전혀 없기 때문입니다. 따라서 최전선 연구소가 실제로 하는 일은 산업별로 기업과 협력하여 각 분야의 전문 능력을 하나의 대규모 모델에 ‘증류’하는 것입니다. 이 관점에서 병목은 모델 용량이나 학습 능력이 아니라 데이터가 충분한지 여부입니다. 데이터를 넣고 한 번 학습하면 문제가 해결됩니다.

그러나 ‘큰 세계 가설’은 ‘한 번의 학습’만으로 채울 수 없는 계층, 즉 특정 사용자나 기업에 고유한 지식을 가리킵니다. 회사의 코딩 표준, 팀의 PPT 취향, 특정 고객의 독특한 성향은 어떤 학습 말뭉치에도 없고 끊임없이 변합니다. 수없이 많은 구체적 상황으로 이루어진 이 ‘큰 세계’에 맞추려면 모델이 배포된 뒤에도 계속 학습해야 하며 출고 시점에 모든 것을 설정해 둘 수는 없습니다. 바로 이것이 3장의 메모리와 8장의 지속적 진화가 탐구하는 방향입니다. 경험을 지식 문서, 지시, 프로그램에 기록해야 할까요, 아니면 선별한 경험으로 모델 매개변수를 업데이트해야 할까요? 더 넓게 보면 ‘AI for AI’와 ‘AI for Science’ 모두 에이전트를 이미 마련된 답이 없는 최전선으로 밀어붙이고 있습니다. 그곳에서 에이전트는 매번 사람에게 결정을 물어보는 대신 반복되는 실험의 성공과 실패를 통해 자율적으로 배울 수밖에 없습니다. 따라서 모델의 가장 강력한 능력은 결국 암기가 아니라 학습과 적응이 될 것입니다.

두 구름 모두 단 한 번의 모델 업그레이드로 사라지지는 않습니다. 이 구름들이 결국 어떻게 걷힐지 이해하려면 먼저 한 가지를 분명히 알아야 합니다. 모델과 에이전트는 한 번도 상류와 하류의 관계였던 적이 없으며 함께 앞으로 나아갑니다.

모델과 에이전트의 공동 진화

하네스에 겹겹이 쌓인 대비 로직을 돌아보십시오. 다단계 컨텍스트 압축, 수천 번 실패한 뒤에야 회로 차단기를 작동시키는 재시도 로직, 비관적으로 ‘안전하지 않음’을 기본값으로 삼는 권한 검사 등 겉보기에 흉한 ‘스파게티 코드’ 한 줄 한 줄은 모델이 아직 안정적으로 해내지 못하는 지점을 기록합니다. 다음 세대 모델이 이러한 제약을 내재화하면 해당 코드는 삭제할 수 있습니다. 모델이 이를 내재화할 수 있는 까닭은 에이전트가 실제 사업에서 모델을 대신해 이미 그 함정을 거치고, 그 교훈을 다음 학습 라운드의 신호로 응축했기 때문입니다. 사용자가 실제 과제를 제시하면 애플리케이션 계층은 하네스로 모델이 아직 잘하지 못하는 부분을 메우고, 이 보완책은 다시 다음 모델 개선을 위한 학습 신호가 됩니다. 이것은 스스로 강화되는 플라이휠이며, 바로 이 플라이휠이 두 구름을 조금씩 밀어냅니다.

이 플라이휠은 1장에서 남겨 둔 질문에도 답합니다. 모델이 결국 하네스를 삼킬까요? 그렇습니다. 한 계층씩 삼킵니다. 모델이 어떤 능력을 안정적으로 내재화할 때마다 해당 하네스 계층을 삭제할 수 있습니다. 9장의 상호작용 모델이 그 사례입니다. 예전에는 외부 하네스로 조립해야 했던 끼어들기와 말 가로막기 같은 행동이 이제 모델에 직접 들어갔습니다. 그러나 이러한 ‘삼키기’는 영원히 끝나지 않습니다. 첫째, 학습에는 몇 달이 걸립니다. 모델은 기다릴 수 있어도 사업은 기다릴 수 없습니다. 둘째, 모델은 실제 사업의 모든 제약과 선호를 내재화할 수 없으므로 언제나 외부 로직이 받쳐 줘야 하는 최신 경계가 존재합니다. 셋째, 새로운 세대의 모델은 매번 새로운 능력의 최전선을 열며, 바로 그 최전선에서 모델의 신뢰성이 가장 낮습니다. 따라서 하네스는 사라지지 않습니다. 모델과 함께 새로운 최전선으로 계속 이동할 뿐입니다. 이것이 에이전트 시대에 ‘쓰라린 교훈(Bitter Lesson)’을 읽는 방식이기도 합니다. 범용 방법은 결국 승리하겠지만, 그 ‘결국’에 이르는 길의 모든 구간은 하네스가 닦습니다.

그리고 이 플라이휠은 양쪽 끝을 모두 쥔 이의 손에서 가장 빠르게 돕니다. Anthropic이 Claude Code로 하는 일이 바로 이것입니다. 자체 모델과 자체 하네스가 서로에게 피드백을 주며 공동 진화하게 합니다. 모델은 하네스가 자신을 어떻게 호출할지 알고, 하네스는 모델의 경계가 어디인지 알며, 어느 쪽이든 변경이 생기면 곧바로 다른 쪽에 피드백됩니다. 한 실험에서는 모델을 바꾸지 않고 하네스만 변경했는데 업무 정확도가 52.8%에서 66.5%로 올랐습니다. 이는 오늘날 하네스의 지렛대 효과가 얼마나 큰지 보여 주지만 동시에 그 효과가 큰 이유는 모델이 아직 그 수준에 도달하지 못했기 때문이라는 점도 일깨웁니다. 같은 이유로 이 플라이휠 자체가 이 시대 가장 깊은 해자입니다. 실제 사업, 피드백 데이터, 모델 개선이 촘촘하게 맞물릴수록 외부에서 따라잡기 어려워집니다.

이것이 여러분에게 무엇을 뜻하는지는 플라이휠의 어느 쪽에 서 있느냐에 따라 달라집니다. 모델을 만든다면 실제 환경의 피드백이 가능한 한 빠르게 학습으로 돌아가게 하여 이 플라이휠을 돌리는 것이 해자입니다. 모델 위에서 애플리케이션을 만든다면 하네스는 단기적으로 가장 날카로운 기술적 지렛대입니다. 다만 현실을 분명히 봐야 합니다. 모델이 제약 한 계층을 내재화할 때마다 하네스만으로 쌓은 이점도 여럿을 아주 쉽게 지워 버립니다. 애플리케이션 계층에서 진정 오래가는 해자는 대개 기술 바깥에 있습니다. 독점 데이터, 탄탄한 유통 채널, 사용자 신뢰, 네트워크 효과, AI가 아직 감당하지 못해 사람과 에이전트가 협력해야 하는 복잡한 상황입니다. 하네스로 시간을 벌고 그 시간 동안 기술 밖의 장벽을 쌓는 것이 현명한 선택입니다.

그러니 지금 사용하는 프레임워크가 낡을지 걱정하지 마십시오. 모델은 몇 달마다 개선되고 구체적인 API, 제품, 리더보드는 모두 바뀝니다. 하지만 ‘무엇을 보는가, 무엇을 할 수 있는가, 제대로 하고 있는지 어떻게 검증하는가’라는 세 질문은 낡지 않습니다. 특정 모델의 사용법이 아니라 지능형 시스템이 세계와 상호작용하는 근본 방식을 설명하기 때문입니다. 이를 익히면 다음 세대 모델이 어떤 새로운 능력을 내놓더라도 공식의 어디에 들어가는지 알 수 있고, 두 구름을 걷어 내기까지 얼마나 남았는지도 한눈에 볼 수 있습니다.

에이전트 기술은 지금도 전속력으로 발전하고 있어 한 권의 책이 모든 변화를 따라잡을 수는 없습니다. 하지만 이 책이 여러분에게 남기는 것이 특정 API의 사용법이 아니라 기술의 파도 속에서도 명료함을 유지하는 판단력이라면 사명을 다한 것입니다. 이 책의 모든 본문과 그림, 부록 실험 코드는 오픈 소스입니다. 저장소를 방문해 직접 실험을 실행하고 이슈와 PR을 제출해 주십시오. 이해와 구현 사이에는 두 손으로만 건널 수 있는 강이 있습니다. 에이전트의 가장 매력적인 점은 바로 코드를 작성해 새로운 능력을 만들고 심지어 자신을 개선할 수 있다는 것입니다. 여기까지 읽은 여러분은 이미 ‘창조’의 원리를 손에 넣었습니다. 이제 무언가를 만들어 보십시오.

  1. Xiaomi MiMo-V2.5-Pro-UltraSpeed는 FP4 양자화, DFlash 병렬 추측 디코딩, TileRT 추론 시스템을 이용한 모델-시스템 공동 설계를 통해 범용 8-GPU 단일 노드에서 1조 매개변수 모델의 생성 속도를 최초로 1,000 token/s 이상으로 높였습니다. Xiaomi MiMo 공식 기술 블로그, “Pushing 1T-Parameter Model Generation Speed to 1000 TPS,” 2026을 참고하십시오. https://mimo.xiaomi.com/blog/mimo-tilert-1000tps ↩

  2. Taalas HC1은 Llama 3.1 8B 모델 전체를 6nm 칩에 고정하여 약 17,000 token/s, 응답 시간 100밀리초 미만을 달성했습니다. 그 대신 칩은 고정된 모델만 실행할 수 있고 모델을 업데이트하려면 칩을 새로 테이프아웃해야 합니다. Karl Freund, “Taalas Launches Hardcore Chip With ‘Insane’ AI Inference Performance,” Forbes, 2026을 참고하십시오. https://www.forbes.com/sites/karlfreund/2026/02/19/taalas-launches-hardcore-chip-with-insane-ai-inference-performance/ ↩