Alle video's
0:00 / 0:00
research

Unlocking Lossless speedups in LLMs via discrete diffusion, with Subham Sahoo

Cohere4 oktober 2026Bekijk op YouTube

Wat je leert

  • Autoregressieve modellen genereren kwalitatief goed maar blijven traag door sequentiële decoding.
  • Diffusietaalmodellen beloven snellere inferentie via parallelle generatie, maar lopen in kwaliteit nog achter op frontier autoregressieve modellen.
  • De gepresenteerde discrete diffusie-aanpak levert aantoonbaar verliesvrije snelheidswinst op bij LLM-inferentie.
  • De methode is een drop-in vervanging voor bestaande trainingspipelines en behoudt de modelkwaliteit.
  • De doorvoer verbetert bij verschillende parallellisatieniveaus tijdens inferentie.

Veelgestelde vragen

Waarom zijn autoregressieve taalmodellen traag tijdens inferentie?
Autoregressieve modellen leveren hoogwaardige generatie, maar blijven traag door sequentiële decoding.
Wat is het probleem met bestaande diffusietaalmodellen zoals Mercury2, Diffusion Gemma en Nemotron Diffusion?
Deze systemen genereren sneller via parallelle generatie, maar lopen in kwaliteit nog achter op frontier autoregressieve modellen.
Wat maakt de discrete diffusie-aanpak uit deze talk geschikt voor bestaande pipelines?
De methode is een drop-in vervanging voor bestaande trainingspipelines, behoudt de modelkwaliteit en verbetert de doorvoer bij verschillende parallellisatieniveaus.
Hoe verhoudt de gepresenteerde methode zich tot bestaande diffusie-baselines?
De aanpak presteert kwalitatief beter dan bestaande diffusie-baselines en draait substantieel sneller dan autoregressieve decoding.

Onderwerpen

Lees ook

Beschrijving van het kanaal

​Unlocking Lossless speedups in LLMs via discrete diffusions Talk by Subham Sahoo, Sr. Research Scientist, MBZUAI - IFM Hosted by Saurabh Dash, Research Engineer, Cohere Labs Autoregressive models deliver high-quality generation but remain slow due to sequential decoding. Diffusion language models promise much faster inference through parallel generation, yet current systems such as Mercury2, Diffusion Gemma, and Nemotron Diffusion still lag behind frontier autoregressive models in quality. ​This talk presents a discrete diffusion approach that unlocks provably lossless speedups in LLM inference. The method is a drop-in replacement for existing training pipelines, preserves model quality, and significantly improves throughput across levels of parallelism during inference. We show that it outperforms existing diffusion baselines qualitatively while running substantially faster than autoregressive decoding. This talk is part of Cohere Labs in Conversation, a limited series of talks, in which Cohere Labs scientists and engineers host external researchers for techincal talks and Q&A discussions on subjects related to our current explorations at Cohere Labs. We look forward to sharing these talks with you, giving you a glimpse into the problems we're exploring, and learning together from some of the greatest minds in the field.