Wat is streaming bij AI? Het antwoord woord voor woord tonen terwijl het ontstaat. Waarom het een chatassistent sneller laat voelen.
Streaming betekent dat een AI-antwoord niet in één keer verschijnt maar woord voor woord, terwijl het model nog schrijft. De totale berekening duurt even lang, maar de gebruiker leest mee vanaf het eerste woord en ervaart de wachttijd als veel kleiner. EIGHTY8 streamt daarom elke dialoog waar een mens op het antwoord wacht.
Een antwoord hoeft niet in één keer te verschijnen. Een taalmodel schrijft namelijk nooit een hele zin tegelijk: hij berekent telkens één volgend woord, en dat herhaalt hij tot het antwoord af is. Standaard wacht een toepassing tot alles klaar is en toont dan pas het geheel. Met streaming wordt elk nieuw woord direct doorgestuurd naar het scherm. De gebruiker ziet het antwoord groeien.
Het is belangrijk te weten wat streaming níet doet: hij maakt het model niet slimmer en niet sneller. De laatste zin komt op hetzelfde moment als bij een gewone weergave. Wat verandert is de ervaring: in plaats van stilte gevolgd door een blok tekst, zie je een lopende zin. Voor een gesprek voelt dat als een verschil van seconden, ook al is het uiteindelijk hetzelfde.
Waar het echt verschil maakt is bij lange antwoorden. Een samenvatting van twee alinea's duurt gemakkelijk even; zonder streaming kijkt de gebruiker naar een stil scherm en gaat twijfelen of het systeem nog leeft. Met streaming ziet hij na een korte stilte de eerste zin verschijnen en is het wachten over. Daarom is streaming bij elk gespreks- of serviceonderdeel onderdeel van het ontwerp, niet van de afwerking.
Streaming is de moeite waard waar een mens actief op een antwoord wacht: chat, een assistent in een scherm, een telefonische assistent, een vraagvenster in een portaal. Overal waar stilte als storing wordt gelezen, wint een zichtbaar doorlopend antwoord bereidheid. De gebruiker blijft op zijn plek omdat hij ziet dat het werkt.
Het is niet de moeite waard bij achtergrondtaken: een nachtelijke verwerking, een mail die klaarligt, een rapport dat om zeven uur klaar moet zijn. Daar is niemand aan het kijken en streaming voegt alleen complexiteit toe. Ook bij een antwoord dat eerst gecontroleerd moet worden (bijvoorbeeld een concept dat de deur niet uit mag) is tonen-tijdens-schrijven zelfs schadelijk: je wilt het pas zien als het goedgekeurd is.
EIGHTY8 streamt bij elk dialoogonderdeel: de eerste woorden verschijnen zodra ze bestaan, met een duidelijk einde zodat de gebruiker weet dat het antwoord compleet is. Bij taken die gecontroleerd worden, doen we het omgekeerde. Niets tonen tot de controle klaar is. Die keuze hangt dus af van het type werkstroom, niet van smaak.
Nee. Het laatste deel komt op hetzelfde moment binnen als bij een gewone weergave; alleen het eerste deel verschijnt eerder. Streaming verandert de waarneming, niet de berekening. Dat is precies de reden waarom het werkt: de gebruiker begint met lezen in plaats van te wachten, en het resterende deel is inmiddels binnen. Meet dus de totale doorlooptijd apart, anders stuur je op een gevoel.
Technisch bijna elke, praktisch niet elke. Streaming heeft een verbinding nodig die open blijft en een scherm dat tussendoor kan bijwerken. Een klassiek formulier of een batchtaak heeft daar niets aan. Ook toepassingen die het antwoord eerst goedkeuren of nabewerken, streamen bewust niet. We maken per onderdeel de afweging: wie wacht, en mag hij alvast lezen?
Een afgebroken antwoord dat stopt halverwege. Daarom hoort bij streaming altijd een afhandeling: de toepassing merkt dat de stroom stopt, toont een duidelijke melding en biedt een nieuwe poging. Niet een half antwoord dat als compleet oogt. Omdat we elk gesprek apart vastleggen, kan het antwoord daarna ook in zijn geheel worden opgehaald zonder opnieuw te hoeven vragen.
Nee, de inhoud is exact hetzelfde als bij een gewone weergave. Dezelfde aanroep, dezelfde tekst, alleen eerder zichtbaar. Het risico zit op een ander vlak: wie leest terwijl het antwoord nog groeit, kan het geheel beoordelen voordat het af is. In dialogen is dat prima; bij teksten die de deur uit gaan, controleren we pas ná het laatste woord.
EIGHTY8