Doel van deze les

Bij het ontwerpen van prompts voor LLMs is het van vitaal belang om rekening te houden met beveiligings- en ethische overwegingen.

Privacywaarschuwing

Je informatie is niet veilig bij een LLM. Het is verleidelijk om met deze robots in gesprek te gaan alsof het maatjes zijn. Vooral nadat je ze de instructie hebt gegeven ‘je bent mijn lifestyle coach’. Er wordt ongetwijfelt meer onderzoek dan ooit gedaan naar relaties die mensen aangaan met dit soort technologie, en de antropomorfisering ervan. Binnen het bestek van deze cursus prompt engineering geldt nu: Pas op! Doe het niet!

De modellen zijn voortdurend in ontwikkeling, onder andere doordat input van gebruikers wordt verwerkt. Technisch gezien werken de modellen niet als een grote database. Het is dus ook niet zonder meer mogelijk om, bijvoorbeeld met een beroep op de wet, te eisen dat jouw record verwijderd wordt. Persoonlijke verhalen en persoonsgegevens zijn niet makkelijk terug te halen. Toch is het denkbaar dat ze bijvoorbeeld in de chat van iemand anders weer opduiken.

Geef geen enkele persoonsgegevens aan een LLM

Het is toch mogelijk dat je diensten tegenkomt die zeggen je privacy wél te waarborgen en je interacties niet te gebruiken voor verdere training. Dat kan natuurlijk. Veel diensten die gebruik maken van AI maken op de achtergrond gebruik van ChatGPT. OpenAI gebruikt die interacties niet per se voor doorontwikkeling van ChatGPT en gaat anders om met die data. Dat stelt hun klanten in staat om diensten aan te bieden die geen of minder privacy-risico’s meebrengen. In ieder geval geldt: Lees de kleine lettertjes.

Ethiek. Wat suggereert ChatGPT?

Hier zijn enkele punten – gegenereerd door ChatGPT – om in gedachten te houden bij veilig en ethisch verantwoord geruik van AI. Zoals in les 6 besproken vraagt dat an sich al om kritische beschouwing.

1. Misbruik voorkomen: Wees je bewust van de mogelijkheid van misbruik van AI-technologie. Stel duidelijke richtlijnen op en wees voorbereid om toezicht te houden op het gebruik van gegenereerde inhoud.
2. Desinformatie voorkomen: Zorg ervoor dat de door het model gegenereerde tekst geen desinformatie verspreidt. Controleer of de informatie afkomstig is van betrouwbare bronnen.
3. Privacy beschermen: Zorg ervoor dat u geen persoonlijke, gevoelige of vertrouwelijke informatie in uw instructies of gegenereerde tekst opneemt. Bescherm de privacy van individuen.
4. Ethische normen handhaven: Vermijd het genereren van inhoud die haat, discriminatie, belediging of enige vorm van schadelijke uitspraken bevordert.
5. Kinderbescherming: Wees bijzonder voorzichtig bij het gebruik van AI-modellen in een context met minderjarigen. Zorg ervoor dat de gegenereerde inhoud geschikt is.
6. Transparantie en verantwoordelijkheid: Wees transparant over het gebruik van AI en verantwoordelijkheid in de gegenereerde inhoud. Als u AI gebruikt om inhoud te genereren die wordt gepubliceerd, maak duidelijk dat deze is gegenereerd door een AI-model.
7. Feedback en rapportage: Moedig gebruikers aan om eventuele problematische output te melden en implementeer feedbackmechanismen voor verbeteringen.

We zijn nu de vaardigheden van prompt engineering voorbij, en het komt aan op kritische beschouwingen door jou als gebruiker. Het eerste advies, van ChatGPT, is ‘stel duidelijke richtlijnen op’. Dat is natuurlijk erg vaag, maar ik heb ChatGPT gevraagd dat te doen. Het uitgebreide resultaat laat ik hier weg, want dat brengt ons weinig verder.

De eerste richtlijn was ‘zorg voor strikte gebruikersverificatie’. Hoe zou dat eruit moeten zien? Iedereen met internet kan gewoon naar bard.google.com of chat.openai.com gaan. Daarna volgde ChatGPT met meer adviezen voor het opzetten van richtlijnen voor use cases (dus de richtlijn was het opzetten van een richtlijn), en controle op de inhoud.

LLMs zijn slechte raadgevers als het gaat om kritisch beschouwen van hun eigen toepassing

Vertrouwen in LLMs

LLMs staan erom bekend altijd een antwoord te geven. Ze twijfelen weinig. Daar wordt wel aan gewerkt, onder andere door actuele informatie uit zoekmachines mee te nemen in de resultaten. Maar ook daarvoor geldt immers: niet alles dat op het internet staat klopt.

Een specifiek risico is het zogenaamde hallucineren. LLMs verzinnen citaten van Shakespear of Socrates, maar zeggen dat er niet bij. Dat kunnen ze ook doen voor jurisprudentie en een Amerikaanse advocaat is daar al de mist mee ingegaan.

Hoewel LLMs best enkele kritische vragen kunnen opsommen, kunnen ze ons dus niet zomaar vertellen of de specifieke resultaten die ze genereerd hebben voor ons problematisch of juist zijn. Daarvoor zullen we kritischere vragen moeten kunnen stellen. Aan onszelf, maar toch ook gewoon aan de LLMs. Ik stelde daarom de volgende vraag:

Hoe kan ik controleren of informatie uit ChatGPT afkomstig is van betrouwbare bronnen?

Het verifiëren van de informatie die wordt gegenereerd door AI-modellen kan een uitdaging zijn, omdat deze modellen hun antwoorden baseren op de tekst waarmee ze zijn getraind, maar geen toegang hebben tot specifieke bronnen. Hier zijn enkele stappen die je kunt overwegen om de betrouwbaarheid van de informatie te verbeteren:

1. Verificatie van basisfeiten: Als een LLM feitelijke informatie verstrekt (of dat pretendeert), probeer deze dan te verifiëren bij betrouwbare bronnen zoals encyclopedieën, geverifieerde nieuwsbronnen of officiële websites.
2. Gebruik meerdere bronnen: Raadpleeg meerdere onafhankelijke bronnen om te controleren of de verstrekte informatie consistent is. Dit helpt om eventuele onjuistheden te identificeren.
3. Kritische evaluatie: Let op inconsistenties, onwaarschijnlijkheden of tegenstrijdigheden.
4. Identificeer bronnen: Als een LLM beweert dat een bepaald feit afkomstig is van een specifieke bron, controleer dan de oorspronkelijke bron als deze beschikbaar is. Dit geldt met name voor citaten of specifieke vermeldingen van bronnen.
5. Context begrijpen: Begrijp de context van de informatie die wordt verstrekt. Soms kan informatie uit de context worden gehaald en verkeerd worden geïnterpreteerd.
6. Gebruik menselijke expertise: Raadpleeg experts op het gebied waarin u informatie nodig heeft. Menselijke expertise kan een waardevolle aanvulling zijn op de informatie die AI-modellen verstrekken.
7. Wees kritisch ten aanzien van recente gebeurtenissen: Informatie over recente gebeurtenissen kan snel veranderen. Zorg ervoor dat de verstrekte informatie up-to-date is door het te vergelijken met recent nieuws.
8. Onthoud de beperkingen van AI: Houd in gedachten dat AI-modellen geen garantie bieden voor de juistheid van de verstrekte informatie. Ze kunnen fouten of verouderde informatie bevatten.

Oefening

We kunnen concluderen dat het onverstandig is om informatie afkomstig van LLMs klakkeloos aan te nemen. Een open deur. Wellicht kan deze checklist je helpen bij het evalueren van resultaten.

Ga in gesprek met collega’s over verantwoord gebruik van AI.

• Hoe kunnen jullie dit behulpzaam en constructief inzetten? Welke bezwaren kunnen er tegen zijn?
• In lessen 6 en 7 hadden we het over het risico dat er vooringenomenheid zit in dat wat er staat én dat wat achterwege gelaten is. Terugkijkend op deze laatste twee lessen: Wat dreigen we over het hoofd te zien? Welke risico’s en problemen zijn niet aangestipt?

In de volgende les zullen we bespreken hoe je kunt blijven leren in je prompt-ontwerpvaardigheden naarmate je meer ervaring opdoet. We gaan ook op zoek naar mogelijke toepassingen in het onderwijs. En we hebben – het begin van – handvatten voor het ontwerpen van opdrachten voor studenten die met AI werken.