Prompt Engineer verantwoordelijk voor end-to-end technische migratiewerkflow voor het overzetten van templates naar LLM autoraters. De rol omvat het gebruik van interne tools voor prompt engineering technieken om model performance te maximaliseren.
Verantwoordelijkheden:
- Automatic Prompt Generation (APG) tools gebruiken om baseline prompts te maken voor complexe parent-child template clusters
- Automated Prompt Optimization (APO) tool uitvoeren en superviseren, outputs reviewen, en flaggen wanneer APO deadlocks of plateaus bereikt
- Handmatig prompts ontwerpen, testen en verfijnen om complexe template architecturen te navigeren, anti-patterns te overwinnen, en edge cases op te lossen
- Shadowbot runs monitoren om voldoende discrepanties (tussen human en LLM ratings) te garanderen
- Prompt versies testen tegen gouden data om autorater kwaliteit continue te meten tegen human crowd baseline, met accuracy metrics zoals F1 scores, precision en recall
- Technische launch readiness justificaties (Launch Certification Documentation) opstellen