Doel van deze les

Een LLM (large language model), zoals ChatGPT, is een type kunstmatige intelligentie dat getraind is op enorme hoeveelheden tekst. Door deze training kan het taalpatronen herkennen en op basis daarvan zelf teksten genereren.

Om een indruk te geven van de prestaties: een groot deel van deze cursus is geschreven door ChatGPT. Het heeft een opzet gegenereerd met onderwerpen voor 8 lessen, en daarbij voor elke les tekst geschreven. Het kwam echter niet spontaan met oefeningen. En ik moest vaak doorvragen als ik voorbeelden wilde.

De getekende afbeeldingen bij elke les zijn gemaakt door DALL-E, een AI die afbeeldingen kan genereren.

Hier zijn enkele belangrijke begrippen om te begrijpen hoe je met LLMs kunt werken:

1. Pre-training en Fine-tuning: Een LLM ondergaat een tweefasenproces. Eerst wordt het getraind op een brede dataset om taalkennis op te bouwen. Vervolgens wordt fine-tuning uitgevoerd op specifieke taken om het model te specialiseren.
2. Generatief model: LLMs zoals ChatGPT en Bard zijn generatieve modellen. Dat betekent dat het tekst genereert op basis van de input die het ontvangt. Het kan gebruikt worden voor taken variërend van tekstvertaling tot tekstsamenvatting en het genereren van nieuwe teksten.
3. Context-gevoeligheid: Het model genereert tekst op basis van de context die je geeft in je instructies. Hoe duidelijker de context, hoe beter het model kan reageren op je verzoeken.
4. Prompt: Een prompt is de tekst die je aan het model geeft om het een bepaalde taak uit te laten voeren. Het ontwerpen van de juiste prompt is van cruciaal belang voor het verkrijgen van de gewenste resultaten.

Wat is een LLM niet?

Tegen deze achtergrond is het goed op te merken wat een LLM niet is. Het is niet bewust. Het kan makkelijk die indruk wekken, doordat je er een echt gesprek mee kan voeren. Yuval Noah Harari voorspelde in zijn boek Homo Deus: een kleine geschiedenis van de toekomst (2015) dat AI zou leiden tot een scheiding van intelligentie en bewustzijn. Dat lijkt anno nu een realistische manier om naar LLMs te kijken.

LLMs zijn erg goed in zogenaamde ‘natural language processing’. Ze lijken, net als mensen, een model van de wereld te hebben van waaruit ze redeneren. Ze hebben echter geen eigen opvattingen, meningen of persoonlijkheid. Er is dus ook geen sprake van enig reflectief vermogen.

Wat LLMs en andere AI doen is reageren op de context die ze wordt aangeboden. Daarbinnen voorspellen ze, op geavanceerde wijze, wat passende of relevant is. Ze zijn generatief in de zin dat ze tekst bij elkaar associëren, woord voor woord, die aansluit op de input die ze kregen. Of dat nu gaat over computer code, poëzie of filosofie, op basis van de dataset waarop ze getraind zijn komen ze tot antwoorden die ‘waarschijnlijk passend’ zijn.

Toepassingen

Er worden in snel tempo meer en meer toepassingen gemaakt op basis van enkele grote LLMs. In Les 8 gaan we kijken naar een aantal apps die een LLM als basis hebben. Die apps zijn vaak een combinatie van twee smaken:
1) Ze hebben de AI specifieke dataset gegeven om op te trainen.
2) Ze ondersteunen prompt engineering.
Ze helpen bijvoorbeeld bij het structureren van informatie uit zoekopdrachten of het genereren van documenten. De app geeft die instructie en context al mee aan het model.

De prompt: vraag of opdracht heeft dus veel invloed op het resultaat. Laten we daarom het belang van duidelijke instructies verder verkennen:

Het belang van duidelijke instructies

• Een LLM is afhankelijk van de instructies die je geeft om te begrijpen wat je wilt. Duidelijke, nauwkeurige instructies zijn essentieel voor het krijgen van zinvolle en relevante antwoorden.
• Vermijd vage of dubbelzinnige instructies. Wees specifiek over wat je wilt dat het model doet.
• Stel contextuele vragen. Instructies moeten vaak context bevatten, zodat het model de juiste informatie heeft om je vraag te beantwoorden.
• Het model heeft geen intuïtie, dus het zal alleen reageren op de informatie die je verstrekt. Zorg ervoor dat je instructies voldoende context bieden.
• Experimenteer met verschillende instructies om te begrijpen hoe het model reageert. Het kan enige tijd duren om de optimale instructies voor een specifieke taak te vinden.

Dit zijn de basisprincipes van praten met een LLM.

Duidelijke instructies hebben grote invloed op het resultaat

Oefening – verken de mogelijkheden

Privacywaarschuwing! Geef geen persoonsgegevens aan LLMs. Tenzij anders aangegeven wordt de input en interactie met LLMs vaak gebruikt voor verdere training van het model.

Geef ChatGPT of Bard (of een andere LLM) een aantal opdrachten. Speel met de formulering van je instructie. Let op wat er gebeurt als je specifieker wordt. Kan je onderstaande vragen beantwoorden?

• Wat is een onderwerp waar ChatGPT jou mee kan helpen?
• Waarvoor verwacht je ChatGPT te gebruiken? Bijvoorbeeld om iets te leren, iets te maken, iets te verbeteren?
• Van welke opdracht raakte het model in de war?

Heb je nog geen duidelijk antwoord op je vragen? Wanhoop niet. In de volgende lessen zullen we dieper ingaan op het formuleren van instructies, hoe je context kunt toevoegen aan je prompts om betekenisvolle resultaten te krijgen.