Graduation Internship - Persona-Driven GenAI Assistant for Azure Databricks System Table Insights

Als stagiair binnen de Data Differentiation Department (DDP) zul je bijdragen aan het verbeteren van hoe gebruikers omgaan met operationele inzichten van Azure Databricks. Je werkt samen met collega's van het DDP Tech Platform team om te onderzoeken hoe Generative AI complexe Databricks system table informatie toegankelijk kan maken door natuurlijke taalinteracties.

Huidige situatie: Databricks-gebruikers binnen Albert Heijn hebben beperkte of geen gemakkelijke toegang tot betekenisvolle inzichten uit Azure Databricks system tables. Hoewel deze tabellen waardevolle operationele gegevens bevatten over kosten, jobs, clusters, lineage en audit events, moeten gebruikers zelf de tabelstructuren begrijpen, datasets combineren en technische queries schrijven.

Jij gaat onderzoeken of GenAI kan helpen deze kloof te overbruggen door een persona-driven assistent te creëren die vragen in natuurlijke taal kan beantwoorden zoals:

• Welke jobs kosten mij het meest?
• Welke jobs duren het langst?
• Wat is de gemiddelde runtime van een cluster?
• Wie consumeert mijn tabel?

Jij zult twee mogelijke richtingen vergelijken:

1. Databricks' kant-en-klare AI-oplossing: Genie
2. Een custom-built oplossing met agents en/of MCP servers gehost op Databricks Apps

Belangrijke vereiste: gebruikers mogen alleen informatie ontvangen waartoe zij bevoegd zijn. Beveiliging, governance en persona-specifieke toegangscontrole spelen een belangrijke rol.

Tijdens je stage werk je aan:

• Analyseren van Azure Databricks system tables en hun beschikbare inzichten
• Definiëren van user personas en identificeren van hun informatiebehoeften
• Ontwerpen van een veilige en schaalbare GenAI-oplossingsarchitectuur
• Bouwen en valideren van een werkende prototype
• Vergelijken van verschillende benaderingen op criteria als antwoordkwaliteit, performance, onderhoudbaarheid, uitbreidbaarheid en governance
• Als stretch goal: onderzoeken van een beveiligingsfocused persona voor analyse van audit logdata

Werkplek: 32-40 uur per week, deels op kantoor in Zaandam en deels vanuit huis.