Alle video's
0:00 / 0:00
ai

How to Build a Model Router in the Harness

LangChain6 oktober 2026Bekijk op YouTube

Wat je leert

  • Je leert wat een modelrouter doet binnen de harness van een coding agent zoals Open SWE.
  • Je ziet de vier stappen: taakmix in kaart brengen met LangSmith-traces, modellen kiezen langs de Pareto-frontier, de router in de harness bouwen en resultaten volgen.
  • Je leert dat de router de mediane kosten per thread met 64% verlaagde zonder meetbaar kwaliteitsverlies.
  • Je hoort waarom open modellen passen bij de snelle tier en waarom de snelle-tier-test na een dag werd gestopt.
  • Je krijgt mee wat er als volgende op de planning staat: benchmarks, subagents en mid-thread rerouting.

Veelgestelde vragen

Wat deed de modelrouter in Open SWE en welk resultaat leverde dat op?
Sydney Runkle van LangChain bouwde met het team een modelrouter in Open SWE, hun open source coding agent. In een A/B-test tegen altijd het performance-model verlaagde de router de mediane kosten per thread met 64%, zonder meetbare verandering in kwaliteit.
Welke vier stappen noemt de uitzending voor het bouwen van een modelrouter?
De vier stappen zijn de taakmix van je agent in kaart brengen met LangSmith-traces, modellen kiezen langs de Pareto-frontier, de router in de harness bouwen en de resultaten volgen met evals of een A/B-test.
Waarom werden open modellen gebruikt voor de snelle tier?
Volgens de uitzending passen open modellen goed bij de snelle tier, het deel van het werk waarvoor geen frontier-intelligentie nodig is. De router zet daar lichtere modellen in en houdt het duurdere model voor de taken die dat vereisen.
Waarom stopte het team de test met de snelle tier na een dag?
Het team stopte de test met de snelle tier na ongeveer een dag, omdat de resultaten toen al duidelijk genoeg waren om een beslissing te nemen. Dit sluit aan bij de laatste stap, het volgen van uitkomsten met evals of een A/B-test.

Onderwerpen

In deze video

Lees ook

Beschrijving van het kanaal

Sydney Runkle, product manager for LangChain's open source team, walks through how the team built a model router into Open SWE, LangChain's open source coding agent. She covers the four steps: mapping the task mix from LangSmith traces, picking models along the Pareto frontier, building the router in the harness, and tracking outcomes. In an A/B test against always using the performance model, the router cut median cost per thread by 64% with no measurable change in quality. Chapters: 0:00 Frontier intelligence is expensive at scale 1:24 What a model router actually does 1:56 The result: 64% lower median cost per thread 2:10 Four steps to build a model router 2:40 Step 1: Map your agent's tasks with LangSmith traces 4:53 Step 2: Pick models along the Pareto frontier 5:59 Step 3: Build the router in the harness 6:49 Swapping the classifier to Jev 7:23 Why open models fit the fast tier 7:46 Step 4: Track outcomes with evals or an A/B test 8:49 Results: 64% lower median cost, no drop in merged PRs 10:14 Why we stopped the fast tier test after a day 10:45 What's next: benchmarks, subagents, mid thread rerouting 12:30 How to add a router to your own agent Resources: → Companion blog, How to Build a Model Router in the Harness: https://www.langchain.com/blog/how-to-build-a-model-router-in-the-harness → Building a Harness with Jev: https://www.langchain.com/blog/building-a-harness-with-jev → Open SWE: https://github.com/langchain-ai/open-swe → LangSmith: https://www.langchain.com/langsmith