Ik heb vandaag een telegrambot in elkaar gedraaid, in Python, die openAI bevraagd via deze API. Fun fact: tot gisteren heb ik nog nooit iets in python geschreven, alleen wat Arduino's geprogrammeerd. Hele script geschreven met hulp van ChatGPT... En aldoende een hoop geleerd

De nieuwe API onthoudt nog steeds niets: logisch, want misschien heb je wel 1000 klanten die tegelijk de boel bevragen. Wat je naar de API stuurt is een 'messages' block, waarin grofweg deze indeling gehanteerd wordt (pin me niet vast op juiste functietitels etc) :
{
'role: system, text: "Je bent een tech hulp"',
'role: user, text: "Hoe herstart ik windows?"',
'role: assistant:, text:"stekker eruit en weer erin!"
}
Je geeft dus zo een basisprompt mee, en een stukje voorbeeld interactie, zodat OpenAI beter weet hoe het model moet antwoorden.
Als je gebruiker nu wat stuurt naar je chat bot, wil je dat toevoegen aan dat messages-block, en het hele blok naar de OpenAI API sturen, response krijgen, response terugsturen naar gebruiker, maar meteen ook aan je messages-block plakken om volgende keer mee te nemen in je query.

Zoals je ziet: hoe langer de chat duurt, hoe groter de query wordt (en dus te duurder). Wat kost dat? Ongeveer €1 voor 850 A4-tjes met text (375.000 woorden). Je moet dus wel ergens in je script gaan zorgen dat een gebruiker geen eindeloze chathistorie opbouwt. Je zorgt dat je message-blok altijd start met je eerste 3 regels bijvoorbeeld, zodat hij nooit vergeet 'wie hij is', maar dat alleen de laatste 500 woorden van gebruikerstekst+respons meegestuurd worden, per query. Daar kun je er dan wel 750 van doen per euro.

Nu snap je ook, als je een tijdje speelt met ChatGPT, waarom hij soms domme dingen doet: hij 'vergeet' stukken die teveel woorden in het verleden liggen (hij kijkt circa 1500 woorden terug, in de ChatGPT Plus).