Nemotron 3.5 Lightning Local Test | NVIDIA Open Model | Coding & Hermes Agent with llama.cpp
Venelin Valkov12 August 2026Watch on YouTube
Part of series
Ep. 8 · Cpp Llama Local
View the seriesWhat you'll learn
- Nemotron 3.5 Lightning is NVIDIA's 30B MoE model with only 3B active parameters, optimized for agentic AI workloads
- You learn how to set up and run the model locally using llama.cpp without cloud dependencies
- The model supports advanced agent architectures like OpenClaw and Hermes Agent for complex workflows
Frequently asked questions
What is Nemotron 3.5 Lightning and what is it designed for?
How do you run Nemotron 3.5 Lightning locally?
Which agent frameworks work with Nemotron 3.5 Lightning?
Topics
In this video
Read next
AI bepaalt steeds meer het ontwerp van moderne datacenters
Door de groeiende AI-invloed, onder leiding van Nvidia, worden datacenters steeds sneller en in groter schaal gebouwd, wat de sector fundamenteel verandert.
Claude Fable 5 en Mythos 5 geblokkeerd voor niet-Amerikanen na jailbreak-zorgen
Anthropic heeft op last van Washington de toegang tot Claude Fable 5 en Mythos 5 geblokkeerd voor gebruikers buiten de Verenigde Staten. De aanleiding is een jailbreak die volgens de Amerikaanse overheid de nationale veiligheid in gevaar brengt.
Mistral haalt €3 miljard op en wordt grootste gefinancierde Europese techbedrijf ooit
Het Franse AI-lab Mistral AI sloot op 8 september 2026 een Series D-ronde van €3 miljard af, geleid door Samsung, Scaleup Europe en PSG Equity, tegen een waardering van meer dan €21 miljard. Het is de grootste aandelenfinancieringsronde die een particulier Europees technologiebedrijf ooit afsloot.
Intel brengt verbeterd 18A-proces naar productiefase
Intel heeft zijn 18A-P-productieproces, een doorontwikkeling van het bestaande 18A-proces, naar de fase van risicoproductie gebracht. Dit is een tussenstap richting grootschalige commerciële chipproductie.
AI-agents trainen robots autonoom bij Nvidia
Nvidia heeft een systeem ontwikkeld waarmee AI-agents zelfstandig robots kunnen trainen en verbeteren zonder voortdurende menselijke tussenkomst.
Duits AI-consortium brengt open taalmodel Soofi S uit met focus op Duits en Engels
Een Duits onderzoeksconsortium heeft Soofi S 30B-A3B uitgebracht, een open taalmodel van 31,6 miljard parameters dat getraind is op de cloudinfrastructuur van Deutsche Telekom in München. Het model scoort hoger dan alle volledig open concurrenten op zowel Duitse als Engelse benchmarks.
Description from the channel
Nemotron 3.5 Lightning is 30B MoE model with 3B active parameters by NVIDIA that is optimized for agentic work using OpenClaw and Hermes Agent. Let's set it up locally and test it! Annoucement: https://developer.nvidia.com/blog/nvidia-nemotron-3-5-lightning-delivers-fast-accurate-specialized-task-execution-for-long-running-agents/ Weights: https://huggingface.co/bartowski/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF AI Academy: https://MLExpert.io Work with me: https://mlexpert.io/consulting DaBench (open weight LLM benchmarks): https://dabench.ai LinkedIn: https://www.linkedin.com/in/venelin-valkov Follow me on X: https://twitter.com/venelin_valkov Discord: https://discord.gg/UaNPxVD6tv Subscribe: http://bit.ly/venelin-subscribe GitHub repository: https://github.com/curiousily/AI-Bootcamp 👍 Don't Forget to Like, Comment, and Subscribe for More Tutorials! Join this channel to get access to the perks and support my work: https://www.youtube.com/channel/UCoW_WzQNJVAjxo4osNAxd_g/join