Les 4: iteratief ontwerp

Doel van deze les

  • Je kunt samenwerken met je LLM om tot betere resultaten te komen.
  • Je kunt met een checklist werken om je prompts systematisch te verbeteren

Prompt-ontwerp is meestal een iteratief proces, wat betekent dat je meerdere pogingen zult doen om de gewenste resultaten te bereiken. Daarvoor zul je vaak een stapje terug of opzij doen.

Hier zijn enkele richtlijnen voor het iteratieve ontwerpproces:

  1. Evalueer de uitvoer: Bekijk de resultaten die de LLM genereert op basis van je instructies. Beoordeel of de antwoorden relevant en zinvol zijn.
  2. Analyseer verbeterpunten: Identificeer waar je instructies tekortschieten of waar het model moeite heeft met begrijpen. Dit kan onduidelijke taal, gebrek aan context, of andere factoren omvatten.
  3. Verfijn je instructies: Pas je instructies aan op basis van je analyse. Maak ze duidelijker, specifieker en voeg indien nodig meer context toe.
  4. Experimenteer met variaties: Probeer verschillende formuleringen van instructies en bekijk hoe het model reageert. Soms kan een kleine verandering in de instructie leiden tot betere resultaten.
  5. Herhaal het proces: Blijf herhalen en verbeteren totdat je de gewenste uitvoer verkrijgt. Het kan enige tijd duren voordat je de optimale instructies voor jouw specifieke taak vindt.
  6. Betrek feedback: Als mogelijk, vraag feedback van anderen over je instructies en resultaten. Dit kan waardevolle inzichten opleveren.

Onthoud dat prompt-ontwerp een leerproces is, en het vereist vaak enige trial-and-error om de beste resultaten te behalen. Wees geduldig en blijf experimenteren totdat je tevreden bent met de output.

Zoals we in les 6 zullen zien zijn LLMs niet neutraal in hun antwoorden. Je kunt het resultaat sturen door ze te beïnvloeden met je woordkeuze en door het herhalen van woorden in je prompt. Kort gezegd zijn er drie technieken die je kunt toepassen:

  1. Prompt herhaling: Je kunt belangrijke informatie herhalen in je instructies om ervoor te zorgen dat het model de gewenste context begrijpt. Soms is het nodig om de belangrijkste woorden te herhalen om het model te sturen.
  2. Instructies aanpassen: Experimenteer met verschillende formuleringen van je instructies. Zelfs kleine veranderingen in bewoording kunnen leiden tot andere resultaten.
  3. Biasing: Als je wilt dat het model specifieke perspectieven vermijdt of volgt, kan je instructies opnemen om de output te beïnvloeden.

Voorbeeld

Eerdere prompts uit dezelfde chat beïnvloeden de resultaten. Ik heb ChatGPT gevraagd om het voorbeeld uit les 2, nadat ik eerst had gevraagd om het voorbeeld uit les 3. Ik vroeg dus eerst om een voorbeeld voor een docent juridische vaardigheden en daarna om een docent ethiek. ChatGPT kwam de tweede keer weer met een voorbeeld in een juridische context. Waarom?

Prompt: Heb je voor deze docent weer een voorbeeld in een juridische context gegeven omdat mijn eerdere vraag over een docent juridische vaardigheden ging? Of is dit toeval?

ChatGPT: Mijn antwoord was inderdaad beïnvloed door de context van de eerdere interacties. Omdat de vorige vragen en discussies zich richtten op juridische onderwerpen en een juridische setting, heb ik de informatie gebruikt om de context en relevantie van de volgende antwoorden te informeren, denkend dat een voortzetting van een juridisch thema mogelijk relevant of nuttig zou zijn voor jou. Dit is een onderdeel van mijn poging om coherente en contextueel passende antwoorden te bieden gedurende een gesprek.

Echter, ethiekonderwijs hoeft niet beperkt te zijn tot juridische kwesties; het is een breed veld dat vele disciplines omvat. Als de focus op een ander gebied van ethiek moet liggen, of als de context moet verschuiven, is het nuttig om dit expliciet te vermelden in de prompt om de richting van het antwoord te sturen.

Hieronder geef ik voorbeelden van uitgebreide prompts met ook vrij uitgebreide antwoorden. Alle voorbeelden hieronder komen uit één gesprek.

Prompt: Schrijf een adviesgesprek tussen een juridisch adviseur en een klant die vluchtvertraging heeft gehad toen hij op weg was naar een congres in Barcelona. Maak het gesprek zo dat de adviseur gebruik maakt van diverse communicatieve vaardigheden zoals: een introductie, structureren en het terugpakken van de regie als de structuur verloren dreigt te gaan, gevoelsreflecties, versterken en verduidelijke van de relatie tussen klant en adviseur. Geef tussen haakjes aan waar deze vaardigheden terugkomen in het gesprek.

ChatGPT:

Juridisch Adviseur: “Goedemorgen, welkom bij [Juridisch Adviesbureau]. Mijn naam is [Naam] en ik ben hier om u vandaag te helpen met uw juridische zorgen. Kunt u me alstublieft wat meer vertellen over uw situatie?” (Introductie)

Klant: “Goedemorgen, ik ben [Klantnaam]. Ik had onlangs een verschrikkelijke ervaring met [Luchtvaartmaatschappij]. Mijn vlucht naar Barcelona voor een belangrijk congres was meer dan 4 uur vertraagd en daardoor heb ik een cruciale bijeenkomst gemist. Ik ben zo gefrustreerd!”

Juridisch Adviseur: “Dat klinkt inderdaad als een stressvolle ervaring, zeker omdat het congres belangrijk voor u was. Het is volkomen begrijpelijk dat u gefrustreerd bent.” (Gevoelsreflectie) “Laten we de details stap voor stap doornemen om een helder overzicht van de gebeurtenissen te krijgen en te bekijken hoe we dit het beste kunnen aanpakken.” (Structureren)

Klant: “Ja, dank u. Dus, waar moet ik beginnen? Er was zoveel mis – ze vertelden ons eerst dat het een technisch probleem was, toen was er iets met het weer, en niemand leek antwoorden te hebben! Ik heb ook wat uitgaven gemaakt die ik normaal niet zou hebben gehad…”

Juridisch Adviseur: “Ik begrijp het, het lijkt erop dat er veel verwarring en extra kosten waren. Laten we eerst focussen op de vluchtvertraging zelf. Weet u nog de exacte tijd van de vertraging en heeft de luchtvaartmaatschappij enige uitleg of compensatie aangeboden?” (Terugpakken van de regie)

Klant: “De vertraging was 4 uur en 30 minuten. Ze boden ons een maaltijdvoucher aan, maar dat compenseert niet het verlies van mijn tijd en de gemiste zakelijke kansen tijdens het congres.”

Juridisch Adviseur: “Precies, een maaltijdvoucher compenseert zeker niet uw verloren tijd en mogelijkheden. Onder EU-verordening 261/2004 heeft u mogelijk recht op een financiële compensatie vanwege de lengte van uw vertraging. Dit staat los van uw recht op vergoeding van bepaalde noodzakelijke uitgaven.” (Versterken) “Heeft u alle bonnetjes bewaard en kunt u bewijsmateriaal van de vertraging en het gemiste evenement voorleggen?” (Verduidelijken)

Klant: “Ja, ik heb de meeste van mijn bonnetjes en ook een e-mail van de congresorganisatie waarin de belangrijkheid van de bijeenkomst die ik heb gemist wordt benadrukt.”

Juridisch Adviseur: “Uitstekend, dat is erg behulpzaam.” (Versterken) “We zullen deze documentatie nodig hebben om uw claim te ondersteunen. Wat ik nu zal doen, is een gedetailleerd plan opstellen voor hoe we verder gaan. We zullen een claim indienen bij de luchtvaartmaatschappij en, indien nodig, verdere juridische stappen overwegen. Ik zal u bij elke stap van dit proces begeleiden en ervoor zorgen dat we alle mogelijke opties verkennen.” (Structureren en relatie verduidelijken)

Klant: “Dat klinkt geweldig. Ik voel me al veel beter nu er een actieplan is. Bedankt!”

Juridisch Adviseur: “Het is mijn taak om ervoor te zorgen dat u de compensatie krijgt waar u recht op heeft en om dit proces zo stressvrij mogelijk voor u te maken. We zijn een team in dit geval, en ik waardeer het vertrouwen dat u in ons bureau stelt.” (Versterken en relatie verduidelijken) “Zal ik doorgaan met het opstellen van het plan en u later vandaag of uiterlijk morgen een update geven?”

Klant: “Ja, alstublieft. Dat zou ik op prijs stellen.”

Juridisch Adviseur: “Perfect, ik ga hier meteen mee aan de slag. U hoort snel van mij. Heeft u verder nog vragen voordat we dit gesprek afronden?”

Klant: “Nee

En vervolgens een vraag om nog een voorbeeld:

Prompt: En nu hetzelfde in een gesprek waarin de adviseur een vrouw adviseert die in een echtscheiding ligt. Ze wil dat de vader van hun kinderen geen ouderlijk gezag meer krijgt over hun kinderen. Dat blijkt juridisch echter niet mogelijk. Ze accepteert dat in eerste instantie niet. Geef weer aan waar welke vaardigheden worden toegepast door de adviseur.

ChatGPT:

Juridisch Adviseur: “Goedemorgen mevrouw [Klantnaam], welkom bij [Juridisch Adviesbureau]. Mijn naam is [Naam], en ik begrijp dat u door een moeilijke tijd gaat. U kunt erop vertrouwen dat ik hier ben om u te ondersteunen en te adviseren over de beste stappen vooruit. Kunt u me wat meer vertellen over uw situatie?” (Introductie)

Klant: “Goedemorgen, ik zit momenteel midden in een echtscheidingsprocedure en ik maak me grote zorgen over het welzijn van mijn kinderen bij hun vader. Er zijn verschillende problemen geweest en ik wil niet dat hij nog langer het ouderlijk gezag heeft. Hij is gewoon niet geschikt als ouder.”

Juridisch Adviseur: “Het klinkt alsof u een ongelooflijk stressvolle en emotionele periode doormaakt, en uw bezorgdheid over uw kinderen staat duidelijk voorop.” (Gevoelsreflectie) “Laten we alles op een rijtje zetten en door de feiten en uw zorgen heen werken, zodat ik een goed begrip heb van waar we staan.” (Structureren)

Klant: “Ja, ik wil gewoon het beste voor mijn kinderen, en hij heeft in het verleden bewezen dat hij geen verantwoordelijkheid kan nemen. Hij heeft… [klant gaat verder met gedetailleerde voorbeelden].”

Juridisch Adviseur: “Ik waardeer het dat u deze informatie met mij deelt en ik begrijp hoe deze ervaringen uw wens beïnvloeden om het ouderlijk gezag exclusief te krijgen.” (Versterken) “Op basis van wat u hebt verteld, moeten we echter ook de wettelijke kaders in gedachten houden. In [Land] is het rechtssysteem over het algemeen terughoudend om een ouder volledig uit het ouderlijk gezag te zetten, tenzij er sprake is van extreme omstandigheden zoals misbruik of ernstige verwaarlozing.” (Verduidelijken)

Klant: “Maar dat kan niet! Hij mag ze niet opvoeden. Kan ik niet gewoon naar de rechter stappen en eisen dat hij geen gezag meer krijgt?”

Juridisch Adviseur: “Ik begrijp hoe wanhopig u zich moet voelen, en het is mijn taak om u door dit proces te leiden met zoveel mogelijk helderheid en steun.” (Gevoelsreflectie) “Het naar voren brengen van uw zorgen voor de rechtbank is zeker mogelijk, en het is belangrijk om bewijs te verzamelen van eventueel gedrag dat de kinderen zou kunnen schaden. Maar we moeten ook realistisch zijn over de waarschijnlijke uitkomsten. Volledige verwijdering van ouderlijk gezag gebeurt zelden en meestal alleen in de reeds genoemde extreme gevallen. Wat we kunnen doen, is streven naar een regeling die de veiligheid en het welzijn van uw kinderen maximaliseert.” (Terugpakken van de regie en verduidelijken)

Klant: “Dus, u zegt dat er geen hoop is?”

Juridisch Adviseur: “Niet precies, nee. Wat ik suggereer, is dat we ons concentreren op wat haalbaar is binnen het wettelijke raamwerk en wat in het beste belang van uw kinderen is. Als er zorgen zijn over hun veiligheid, kunnen we maatregelen voorstellen zoals begeleide bezoeken, of we kunnen een gedetailleerd ouderschapsplan opstellen dat hun behoeften weerspiegelt.” (Structureren en relatie verduidelijken)

Klant: “Ik… Ik begrijp het. Het is gewoon veel om te verwerken.”

Juridisch Adviseur: “Absoluut, en u hoeft het niet alleen te doen. We zijn een team in dit proces, en ik ben er om u te helpen bij elke stap. Uw gevoelens zijn geldig en uw zorgen zijn onze zorgen. We zullen alles doen wat binnen onze mogelijkheden ligt om de best mogelijke uitkomst voor u en uw kinderen te bereiken.” (Versterken en relatie verduidelijken)

Klant: “Bedankt, dat waardeer ik echt. Wat zijn de volgende stappen?”

Juridisch Adviseur: “Volgende, we zullen alle relevante bewijzen verzamelen die uw claims ondersteunen en een duidelijke strategie opstellen voor hoe we uw zaak aan de rechtbank zullen presenteren. Ik zal ervoor zorgen dat u bij elke beslissing betrokken bent en dat al uw zorgen worden aangepakt.” (Structureren)

Klant: “In orde, laten we dat doen. Bedankt voor uw begrip en begeleiding.”

Juridisch Adviseur: “Natuurlijk, we gaan hier samen doorheen. Aarzel niet om contact met mij op te nemen als u vragen heeft of als er iets is waar u over wilt praten. Ik ben hier om u te helpen.” (Relatie verduidelijken)

Vraag om verduidelijking:

Prompt: Geef in de bovenstaande casus een voorbeeld waarin de adviseur omgaat met weerstand en draagvlak creeert voor een haalbare oplossing.

ChatGPT: In de bovenstaande casus komt de klant, een moeder die door een echtscheiding gaat, naar de juridisch adviseur met een sterke wens om ervoor te zorgen dat de vader van haar kinderen het ouderlijk gezag verliest. Dit is een situatie vol emotionele spanning en potentieel conflict, en de klant toont duidelijke weerstand tegen elke oplossing die niet volledig overeenkomt met haar gewenste uitkomst.

De weerstand van de klant wordt met name duidelijk wanneer de juridisch adviseur uitlegt dat het volledig ontnemen van ouderlijk gezag aan de vader zelden gebeurt en meestal alleen in extreme gevallen. De klant reageert hierop met wanhoop en ontkenning, onwillig om een andere mogelijke uitkomst te accepteren: “Maar dat kan niet! Hij mag ze niet opvoeden. Kan ik niet gewoon naar de rechter stappen en eisen dat hij geen gezag meer krijgt?”

De juridisch adviseur hanteert deze weerstand bekwaam door eerst empathie en begrip te tonen voor de gevoelens van de klant (omgaan met weerstand): “Ik begrijp hoe wanhopig u zich moet voelen, en het is mijn taak om u door dit proces te leiden met zoveel mogelijk helderheid en steun.” Dit helpt bij het valideren van de emoties van de klant, waardoor ze zich gehoord en begrepen voelt, wat essentieel is bij het opbouwen van een vertrouwensrelatie.

Vervolgens, in plaats van direct tegen de wensen van de klant in te gaan, gebruikt de adviseur de strategie van het gezamenlijk verkennen van alternatieve, haalbare oplossingen die nog steeds het welzijn van de kinderen vooropstellen (draagvlak creëren): “Wat ik suggereer, is dat we ons concentreren op wat haalbaar is binnen het wettelijke raamwerk en wat in het beste belang van uw kinderen is. Als er zorgen zijn over hun veiligheid, kunnen we maatregelen voorstellen zoals begeleide bezoeken, of we kunnen een gedetailleerd ouderschapsplan opstellen dat hun behoeften weerspiegelt.”

Door de focus te verleggen van wat niet kan naar proactieve stappen die genomen kunnen worden binnen de grenzen van de wet, helpt de adviseur de klant haar gevoel van controle en autonomie terug te winnen. Dit vermindert de weerstand omdat de klant ziet dat er nog steeds acties zijn die kunnen leiden tot een positieve uitkomst voor haar kinderen, ook al is het niet precies de oplossing die ze oorspronkelijk voor ogen had.

Bovenstaande is op zich een prima uitleg. We leren studenten later vaak de Roos van Leary te gebruiken. Dit model kan aanwijzingen geven bij het omgaan met weerstand in gesprekken. Maar het is ook in veel andere situaties behulpzaam.

Prompt: Geef een voorbeeld van een adviesgesprek waarin de adviseur gebruik maakt van de Roos van Leary om draagvlak te krijgen bij de klant. Geef aan waar in het gesprek vaardigheden uit de Roos van Leary worden toegepast.

ChatGPT: De Roos van Leary is een communicatiemodel dat gedragspatronen beschrijft en hoe deze elkaar beïnvloeden. Het model verdeelt gedrag in twee hoofddimensies: dominant-onderdanig en vriendelijk-vijandig. Door je bewust te zijn van deze gedragspatronen, kun je effectiever communiceren en beter verbinding maken met anderen, vooral in een adviescontext. Hieronder volgt een voorbeeld van een gesprek waarin een adviseur de Roos van Leary gebruikt:

Context: Een klant komt naar een financieel adviseur voor advies over het investeren van een grote som geld. De klant is zeer terughoudend en toont weerstand tegen het nemen van wat volgens hem grote risico’s zijn.

Adviseur: “Goedemiddag, meneer [Klantnaam]. Het is goed u te zien. Ik begrijp dat u wat opties wilt bespreken voor uw investering. Vertel me alstublieft over uw verwachtingen en eventuele zorgen.” (Boven-Samen: openen van een vriendelijke, uitnodigende dialoog)

Klant: “Wel, ik heb wat geld geërfd, maar eerlijk gezegd ben ik nogal nerveus over het hele investeringsgebeuren. Ik wil geen domme beslissingen nemen en alles verliezen.”

Adviseur: “Uw voorzichtigheid is volkomen begrijpelijk en het is verstandig dat u zich bewust bent van de risico’s.” (Onder-Samen: valideren van gevoelens, tonen van empathie) “Zou het helpen als we samen enkele investeringsscenario’s doornemen die aansluiten bij verschillende risiconiveaus, zodat u zich comfortabeler voelt bij het maken van een keuze?” (Boven-Samen: leiden door voorstel, behouden van een coöperatieve houding)

Klant: “Dat zou kunnen, maar ik heb gehoord dat de markt nogal onvoorspelbaar is. Hoe weet ik dat ik de juiste keuze maak?”

Adviseur: “Dat is een kernvraag. Niemand kan de markt met zekerheid voorspellen, maar wat we wel kunnen doen, is ons huiswerk goed doen.” (Boven-Tegen: zachtjes confronteren met realiteit) “We kunnen gebruikmaken van historische gegevens, de huidige marktcondities analyseren en scenario’s opstellen op basis van uw persoonlijke risicotolerantie. Uiteindelijk is het uw beslissing, en ik ben hier om ervoor te zorgen dat u alle informatie heeft die u nodig hebt om die beslissing met vertrouwen te nemen.” (Onder-Samen: empoweren van de klant, benadrukken van teamwork)

Klant: “Oké, dat klinkt redelijk. Wat zijn onze opties?”

Adviseur: “Geweldig, laten we eens kijken. We hebben een aantal mogelijkheden, variërend van zeer veilige investeringen met lagere rendementen tot hoger risico opties die het potentieel hebben voor grotere winsten. Ik zal de voor- en nadelen van elk uitleggen, en we kunnen discussiëren over hoe comfortabel u zich voelt met de verschillende niveaus van risico.” (Boven-Samen: informatief leiden, samenwerking aanbieden)

Door het gebruik van de Roos van Leary kan de adviseur de klant effectief van een staat van weerstand en angst bewegen naar een meer samenwerkende en proactieve houding. Dit wordt gedaan door te valideren (Onder-Samen), zacht te confronteren (Boven-Tegen), te empoweren (Onder-Samen), en uiteindelijk te leiden door het proces (Boven-Samen) op een niet-bedreigende, ondersteunende manier.

Verkoop je prompt!

Het ontwerpen van een goede prompt kan zo waardevol zijn, dat ze op sommige plekken worden verkocht. Op promptbase.com is een marktplaats waar je voor een paar euro prompts kunt kopen die hebben geleid tot goede resultaten. Neem eens een kijkje!

Blijf in gesprek met je LLM tot je de juiste resultaten hebt

Oefening

Ga in gesprek met je LLM. Op de promptbase.com/marketplace kan je zien dat prompts verkocht worden om ChatGPT duidelijke instructies te geven, bijvoorbeeld voor het genereren van goede flashcards op basis van een tekst je wilt leren. Het is dus kennelijk geld waard!

Met alle instructies uit les 1 t/m 4 kan je het spoor haast bijster raken. Als je echt goede resultaten wilt, kan je dit het beste systematisch aanpakken. Net zoals je bijvoorbeeld wetenschappelijke literatuur zoekt in databases: daar werk je met een selectie van databases, trefwoorden en andere parameters.

Je kunt bij LLMs echter normale taal blijven gebruiken.

  • Ga in gesprek met je LLM over je resultaten. Stel jezelf een uitdaging, zoals hulp bij het opzetten van een lesplan of van een hele cursus (zoals deze).
  • Experimenteer. Wat werkt beter? Wanneer je je prompts verhalend brengt, of wanneer je instructies opknipt. Bijvoorbeeld door te stellen:
    Context: onderwijsprofessionals met grote nieuwsgierigheid naar AI, maar nog weinig ervaring in de toepassing ervan.
    Voorbeeld: Een docent privaatrechtprocesrecht aan een HBO
    Gewenste output: een praktische cursus met oefeningen die hen kunnen ondersteunen in hun werk.
    etc…
  • Je vindt de ontwerpcriteria uit deze en eerdere lessen hier in een handige checklist.

De lessen 1 t/m 4 gingen over oefenen met vormgeven van je eigen prompt. Les 5 is een verdieping hiervan en gaat over parameters die je kunt gebruiken om de kwaliteit van resultaten te beïnvloeden; met name langer, korter, creatiever of feitelijker.

Ik kan me voorstellen dat je al een aardige prompt pro bent, dan kan je gelijk door naar les 6. Vanaf les 6 gaat het over (kritische) analyse van de kwaliteit van de resultaten. Les 6 gaat over bias (vooringenomenheid).