
Unlocking Lossless speedups in LLMs via discrete diffusion, with Subham Sahoo
Cohere4 oktober 2026Bekijk op YouTube
Wat je leert
- Autoregressieve modellen genereren kwalitatief goed maar blijven traag door sequentiële decoding.
- Diffusietaalmodellen beloven snellere inferentie via parallelle generatie, maar lopen in kwaliteit nog achter op frontier autoregressieve modellen.
- De gepresenteerde discrete diffusie-aanpak levert aantoonbaar verliesvrije snelheidswinst op bij LLM-inferentie.
- De methode is een drop-in vervanging voor bestaande trainingspipelines en behoudt de modelkwaliteit.
- De doorvoer verbetert bij verschillende parallellisatieniveaus tijdens inferentie.
Veelgestelde vragen
Waarom zijn autoregressieve taalmodellen traag tijdens inferentie?
Wat is het probleem met bestaande diffusietaalmodellen zoals Mercury2, Diffusion Gemma en Nemotron Diffusion?
Wat maakt de discrete diffusie-aanpak uit deze talk geschikt voor bestaande pipelines?
Hoe verhoudt de gepresenteerde methode zich tot bestaande diffusie-baselines?
Onderwerpen
Lees ook
Vier AI-onderzoeksresultaten die modellen sneller, slimmer en zuiniger maken
Vier recente onderzoeksontwikkelingen laten zien hoe AI-modellen kleiner, sneller en beter in redeneren worden: van spaarzame activering en zelfcorrectie tijdens training tot energiezuinige inferentie en een geheugenframework voor AI-agenten.
Slimmer AI-gebruik in klaslokalen
Onderzoek naar manier om chatbots en LLM's op constructieve wijze in onderwijs in te zetten.
Google Research publiceert TurboQuant, een compressiealgoritme voor grote taalmodellen
Google Research heeft TurboQuant gepubliceerd, een algoritme dat de KV-cache van grote taalmodellen comprimeert tot ongeveer 3 bits. Volgens de onderzoekers leidt dit tot zes keer minder geheugengebruik en acht keer hogere doorvoer op dezelfde GPU-hardware, zonder nauwkeurigheidsverlies.
Writer voert nieuw AI-model in met lagere tokenkosten
Writer presenteert een kostenbesparing-gericht AI-model gebaseerd op Z.ai's open source GLM-5.2 voor schaalbare bedrijfsimplementatie.
Sakana AI's zelfverbeterende model mist eigen blinde vlekken
Sakana AI's MASS-methode laat een taalmodel zichzelf verbeteren via oplossen, beoordelen en verfijnen, maar versterkt fouten wanneer het model dezelfde missers in alle drie de rollen niet opmerkt.
Duits AI-consortium brengt open taalmodel Soofi S uit met focus op Duits en Engels
Een Duits onderzoeksconsortium heeft Soofi S 30B-A3B uitgebracht, een open taalmodel van 31,6 miljard parameters dat getraind is op de cloudinfrastructuur van Deutsche Telekom in München. Het model scoort hoger dan alle volledig open concurrenten op zowel Duitse als Engelse benchmarks.
Beschrijving van het kanaal
Unlocking Lossless speedups in LLMs via discrete diffusions Talk by Subham Sahoo, Sr. Research Scientist, MBZUAI - IFM Hosted by Saurabh Dash, Research Engineer, Cohere Labs Autoregressive models deliver high-quality generation but remain slow due to sequential decoding. Diffusion language models promise much faster inference through parallel generation, yet current systems such as Mercury2, Diffusion Gemma, and Nemotron Diffusion still lag behind frontier autoregressive models in quality. This talk presents a discrete diffusion approach that unlocks provably lossless speedups in LLM inference. The method is a drop-in replacement for existing training pipelines, preserves model quality, and significantly improves throughput across levels of parallelism during inference. We show that it outperforms existing diffusion baselines qualitatively while running substantially faster than autoregressive decoding. This talk is part of Cohere Labs in Conversation, a limited series of talks, in which Cohere Labs scientists and engineers host external researchers for techincal talks and Q&A discussions on subjects related to our current explorations at Cohere Labs. We look forward to sharing these talks with you, giving you a glimpse into the problems we're exploring, and learning together from some of the greatest minds in the field.