Prompt engineering · training voor AI- en dev-teams
Prompt engineering training: van “het lijkt te werken” naar een score
Codemation is een Nederlands bedrijf dat teams leert werken met AI. Deze prompt engineering training is voor AI- en dev-teams die een LLM in een product bouwen: je leert prompts meten met een testset en evals, in plaats van op gevoel te beoordelen. Het is geen cursus ChatGPT-tips voor kantoor. Chris Blokland geeft de training op locatie of online, in het Nederlands of Engels. Programma, duur en prijs stellen we samen vast in een gratis intake van 30 minuten.
Het programma
Zes onderdelen, van gevoel naar meten.
We werken aan een prompt uit jullie eigen product. In de intake kiezen we die samen, en stemmen we de diepgang af op wat jullie team al kent.
- Deel 1
Van “het lijkt te werken” naar een gemeten prompt
Waarom proberen en kijken niet genoeg is, en hoe een eerste meting eruitziet.
- Deel 2
Een testset bouwen uit echte cases
Hoe je cases verzamelt uit echt gebruik, wat een goede case is, en hoe de set groeit uit fouten die je tegenkomt.
- Deel 3
Evals en LLM-as-judge
Hoe je een model laat beoordelen of een antwoord goed is, en waar dat misgaat.
- Deel 4
De beoordelaar kalibreren tegen mensen
Hoe je controleert of de LLM-beoordelaar het eens is met mensen, door mensen blind te laten labelen.
- Deel 5
Tracing en promptversies
Zien wat er in elke stap gebeurde, en prompts versiebeheren zodat je weet welke versie welke score haalde.
- Deel 6
Modellen vergelijken op kwaliteit en kosten
Dezelfde testset over meerdere modellen, en dan kiezen op kwaliteit én kosten.
Voor wie
Voor AI- en dev-teams.
De training is voor teams die een LLM-functie bouwen of beheren in een product of intern hulpmiddel en willen weten of een wijziging echt beter is.
- AI- en dev-teams met een prompt of agent in een product
- Tech leads die willen dat prompts een testset en een score hebben, net als code tests heeft
- Niet voor kantoormedewerkers die beter willen leren chatten met AI: daarvoor is de AI Kickstart
Hoe het werkt
Zo loopt het.
Op locatie of online
Bij jullie op kantoor, of online in overleg. Voor een team.
Nederlands of Engels
De training is in de taal van je team.
Duur en prijs in de intake
Programma, lengte en prijs stellen we samen met jou vast in een gratis gesprek van 30 minuten.
Je trainer
Training van iemand die dit dagelijks doet.
Chris Blokland is oprichter van Codemation en programmeert al 23 jaar. Voor de eigen agents van het platform draait hij evaluatiepijplijnen: testsets en eval-lanes, een LLM-beoordelaar die hij kalibreert tegen mensen die blind labelen, tracing in Langfuse, en modellen vergelijken op kosten en kwaliteit. Wat hij leert komt uit dat werk. Chris op LinkedIn.
Vragen die we vaak krijgen
Goed om te weten
Wat is het verschil met een gewone prompt engineering cursus?
Veel cursussen leren je betere prompts schrijven voor ChatGPT. Deze training leert je prompts meten: een testset, evals en een score, voor een prompt in je eigen product. Zo zie je of een wijziging echt beter is.
Wat is een eval?
Een eval is een geautomatiseerde meting van hoe goed een prompt of agent presteert op een set cases. Je draait hem na elke wijziging, en ziet of de score omhoog of omlaag gaat.
Wat is een testset en hoe groot moet die zijn?
Een testset is een verzameling echte cases met wat je als goed antwoord beschouwt. Je begint klein, met cases uit echt gebruik, en laat hem groeien met de fouten die je tegenkomt. De omvang bespreken we in de intake.
Kan een LLM zijn eigen output beoordelen?
Als beoordelaar (LLM-as-judge) kan een model antwoorden scoren, maar je moet controleren of hij het eens is met mensen. Dat kalibreren is een onderdeel van de training.
Welke tools gebruiken jullie?
Chris werkt zelf met testsets en eval-lanes en met Langfuse voor tracing. De training gaat over de werkwijze; welke tools jullie gebruiken bespreken we in de intake.
Werken we aan ons eigen product?
Ja. Het doel is dat één prompt in jullie eigen product een testset en een score heeft.
Wat kost de training en hoe lang duurt hij?
Dat staat nog niet vast. Programma, lengte en prijs stellen we samen met jou vast in de gratis intake van 30 minuten.
Moeten we kunnen programmeren?
De training is voor AI- en dev-teams, dus wel iemand die met code of API's werkt. Voor teams zonder technische kennis is de AI Kickstart er.
Laatst bijgewerkt:
Gratis intake · 30 minuten
Past dit bij jullie team?
In een half uur kijken we naar jullie prompt of agent en wat je wilt kunnen meten. Vrijblijvend. Kies hieronder een tijd.