Iedereen die van bedrijfswegen iets van doen heeft met klanten, gebruikers, deelnemers en zo meer kent vermoedelijk het verschijnsel: je kunt handleidingen maken wat je wilt, in tekst, in video of welke mediavorm je ook maar wenst: het helpt niet veel. Omdat er altijd vragen zijn die er niet behandeld worden, en omdat sowieso lang niet iedereen zin heeft om handleidingen in welke vorm dan ook te consumeren. Het gevolg: een wassende stroom app’s, mails en wat dies meer zij.
Bij Reporters Online maken we dat…ook wel eens mee. Vandaar dat ik tijdens het spelen met Artificial Intelligence (AI) dacht: ja ok, je kunt er dus video mee maken met een paar tekst-prompts, het is reuze handig voor vertalingen (daarover binnenkort meer), maar is er ook iets waar we op dit moment echt wat aan hebben? Iets wat tijd scheelt, en het gebruik van het platform makkelijker maakt? Een eigen chatbot bijvoorbeeld. Scheelt ons werk, en onze deelnemers krijgen met een beetje mazzel ook beter en sneller antwoord op hun vragen. Bovendien is dat wel een mooi Droste-effect, een chatbot maken met een chatbot.
Officieel is GPT geen chatbot natuurlijk, ChatGPT is de chatbot die door het large language model (LLM) GPT (eerst versie 3.5, nu meestal 4) wordt aangedreven. De details, voor de liefhebbers en in heel kort bestek: een LLM is een nogal zwaar opgevoerde rekenmachine die tekst omzet in cijfers en op basis van die cijfers uitrekent welke reactie er moet komen op de ingevoerde tekst. Dat kunnen LLM’s behoorlijk goed, maar niet perfect, en dus kramen ze af en toe onzin uit. Maar als je ze wat nadere uitleg geeft: wat moet je bij voorkeur zeggen, wat mag je per se niet zeggen, waar moet je naar verwijzen bij bepaalde vragen, kom je een heel eind. Veel verder in ieder geval dan de chatbots die uw en mijn leven tot voor kort teisterden – ‘Hi, ik ben Lotte, op die vraag weet ik geen antwoord, dit is het nummer van de helpdesk. Heb ik u goed geholpen?’.
En voor veel minder geld ook. Sinds de lancering van ChatGPT, een half jaar geleden, is er een ware explosie van start-ups die voor weinig geld allerlei AI-toepassingen lanceren. Soms met een eigen model, meestal door wat code aan GPT te hangen waardoor er meer mee kan dan met een regulier abonnement op ChatGPT zelf. Antwoorden laten maken op basis van internet-zoeken bijvoorbeeld, Excels analyseren, of boodschappen doen. Er zijn nu al tienduizenden van zulke bedrijfjes, en de diensten die ze leveren gaan binnenkort ook door Microsoft (dat een soort semi-eigenaar is van ChatGPT) en Google (dat z’n eigen rekenmachines bouwt) worden verzorgd.
Robin
Merendeels werken al die diensten nu nog vrij moeizaam, een beetje zoals internet eind jaren negentig: je kunt de belofte en de mogelijkheden al wel zien, maar de resultaten zijn nog niet erg imponerend. Maar een eigen chatbot maken, dat gaat er al prima mee. Zo blijkt. Onze chatbot Robin draait nu een week of 3, via een start-up die SiteGPT heet.
Wat er voor nodig was: al onze relevante informatie, bij elkaar een pagina of 15, invoeren in een database. Embedden heeft zoiets in AI-jargon. Tot voor kort was dat een heel gehannes met dingen als vector-databases (don’t ask), inmiddels is het een half uur werk. GPT zoekt vervolgens op deze 15 pagina’s naar antwoorden op de vragen die mensen stellen.
Dat, althans, is de theorie. In de praktijk zoekt GPT ook wel eens naar antwoorden bij zichzelf, dus dat moet je vrij expliciet verbieden, door de rekenmachine te vertellen: je mag bij het uitrekenen van antwoorden alleen op deze 15 pagina’s kijken. Nergens anders. Daarbij zijn de antwoorden, ook als alleen je eigen informatie wordt gebruikt, er behoorlijk vaak net of iets meer dan net naast. Dit omdat het model uitrekent wat vermoedelijk het juiste antwoord is, en dat klopt niet altijd. Dus dan volgen er antwoorden als: “Bij Reporters Online zijn de donaties door artikelen te syndicaten voor journalisten een belangrijke bron van inkomsten.” Wat ergens wel wat weg heeft van een correct antwoord, maar voornamelijk niet. (Spoiler: syndicatie resulteert niet in donaties).
Waar de bot zelf dus binnen de kortste keren gemaakt is, is het correct afstellen ervan nog best een behoorlijke klus. In het geval van Reporters Online kostte het een dag of twee voordat de antwoorden in vrijwel alle gevallen goed genoeg waren. Hadden we 100 pagina’s moeten verwerken (daar zit een wat grotere organisatie al vrij snel op), dan was het een week of twee werk geweest.
Maar ook dat is al een stuk sneller dan een half jaar geleden mogelijk was geweest, en het resultaat is beduidend beter. En het werkt nog ook. Bij aanvang viel het merendeel van de vragen die Robin kreeg voorgelegd nog in de categorie ‘Lust je bier?’, maar nadat we een beetje hadden bijgetraind nam dat snel af. Net als het aantal mails en apps.
Uitproberen? Kan…klik op het roodborstje links onderaan…