From Voice Agents to AI Avatars

Wat je leert

Er is veel bereikt in spraak-AI, maar natuurlijke gesprekken blijven een hoge lat door kleine vertragingen, onderbrekingen en de verkeerde toon.
Alex Smola van Boson AI bespreekt de technische afwegingen achter realtime spraak, waaronder audio-tokenisatie, latentie, modelgrootte en inferentiekosten.
Het toevoegen van zicht en visuele aanwezigheid verhoogt de eisen aan audiovisuele agents en AI-avatars.
Emotionele intelligentie in AI speelt een rol bij natuurlijke interactie, net als leren en personaliseren op basis van menselijke interacties.
De aflevering behandelt wat nodig is om van indrukwekkende demo's naar interacties te komen die echt natuurlijk voelen.

Veelgestelde vragen

Welke technische afwegingen komen aan bod voor realtime spraakagenten?

De aflevering bespreekt audio-tokenisatie, latentie, modelgrootte en inferentiekosten als de belangrijkste technische afwegingen achter realtime spraak.

Wat verandert er wanneer agenten zowel kunnen zien als gezien worden?

Volgens de aflevering verhoogt het toevoegen van zicht en visuele aanwezigheid de eisen aan audiovisuele agents en AI-avatars.

Waarom blijft natuurlijke conversatie met spraak-AI zo moeilijk?

Kleine vertragingen, ongemakkelijke onderbrekingen of de verkeerde toon kunnen de illusie van een natuurlijk gesprek snel verbreken.

Welke rol speelt emotionele intelligentie in de aflevering?

Emotionele intelligentie wordt besproken als onderdeel van natuurlijke interactie, samen met hoe agents kunnen leren van menselijke interacties.

Onderwerpen

voice agents audio models ai avatars latency emotional intelligence

Lees ook

Beschrijving van het kanaal

Voice AI has gotten remarkably good, but natural conversation remains a high bar. Small delays, awkward interruptions, or the wrong tone can quickly break the illusion, and adding vision and visual presence only raises the stakes. In this episode, Alex Smola, co-founder and CEO of Boson AI, explores the path from today’s voice agents to audiovisual agents and AI avatars. We discuss the technical tradeoffs behind real-time voice, including audio tokenization, latency, model size, and inference cost, as well as what changes when these systems can both see and be seen. We also explore the role of emotional intelligence in AI, how agents can learn from human interactions, and what it will take to move beyond impressive demos toward interactions that actually feel natural. Full show notes including references: https://twimlai.com/go/777. 🔔 Subscribe to our channel for more great content just like this: https://youtube.com/twimlai?sub_confirmation=1 📖 CHAPTERS =============================== 00:00 Intro 01:11 The state of voice AI 06:10 Designing real-time voice systems 13:53 Boson AI’s path to audio 19:59 Building the audio data flywheel 28:41 Extending language models with audio 33:14 Architectures for responsive voice agents 39:26 Tools latency and natural interaction 46:20 Measuring interruption and proactivity 49:35 Emotional intelligence in AI 53:43 Learning and personalization from human interaction 01:03:56 Outro 🗣️ CONNECT WITH US! =============================== Subscribe to the TWIML AI Podcast: https://twimlai.com/podcast/twimlai/ Follow us on Twitter: https://twitter.com/twimlai Follow us on LinkedIn: https://www.linkedin.com/company/twimlai/ Join our Slack Community: https://twimlai.com/community/ Subscribe to our newsletter: https://twimlai.com/newsletter/ Want to get in touch? Send us a message: https://twimlai.com/contact/