Wat is een foundation model? Een groot, algemeen getraind model dat je voor veel taken inzet zonder zelf te trainen. Waarom bedrijven erop bouwen.
Een foundation model is een groot model dat één keer breed is getraind op enorme hoeveelheden tekst, beeld of code en daarna voor uiteenlopende taken bruikbaar is. Bedrijven bouwen erop zonder zelf te trainen: ze sturen het aan met instructies en eigen documenten. EIGHTY8 bouwt vrijwel elke klantoplossing op zo'n bestaand model.
Eén model trainen kost maanden en een fortuin aan rekenkracht; voor elk bedrijf opnieuw beginnen is verspilling. Daarom bestaan foundation models: netwerken die door grote aanbieders of open gemeenschappen zijn getraind op een enorme, algemene verzameling materiaal. Webteksten, boeken, code, beelden. Het resultaat is geen specialist maar een brede basis die taal begrijpt, samenvat, vertaalt, redeneert en code schrijft.
De naam zegt het: het is een fundament. Op dat fundament bouw je je eigen huis door het model te sturen met een instructie, door het voorbeelden te geven, of door het aan je eigen documenten te koppelen. Het model zelf verandert daarbij niet; wat verandert is de context die je het per taak meegeeft. Daardoor kan dezelfde basis vandaag een offerteconcept schrijven en morgen een inkomende factuur samenvatten.
Het grote voordeel is tijd: wat vroeger een trainingsproject was, is nu een integratie. Het grote voorbehoud is afhankelijkheid: het model is van een ander, verandert onder je handen met nieuwe versies, en kent jouw bedrijf niet. Juist daarom zit het echte werk bij een toepassing niet in het model, maar in wat eromheen staat.
Een foundation model is de moeite waard voor bijna elke bedrijfstak die met taal of documenten werkt, omdat de taak niet het trainen maar het toepassen is. Het loont vooral bij uiteenlopende taken met dezelfde basis: één model, meerdere werkstromen. En het loont omdat de aanbieder de zware kosten van training en verbetering draagt.
Het is niet de moeite waard wanneer je taak een klein, vast patroon heeft, want dan is een klassieke regel of een simpel model goedkoper en voorspelbaarder. En het is een slechte basis wanneer je denkt dat het model jouw vakgebied al beheerst: het kent algemene kennis, geen jullie tarieven, procedures of huisstijl. Die kom je er pas in via instructies, voorbeelden en eigen bronnen, en dat is een ontwerpklus, geen versiekeuze.
EIGHTY8 kiest in de discovery welk foundation model bij de taak past, maar besteedt de meeste tijd aan wat eromheen: de instructie die het model in zijn grenzen houdt, de eigen documenten waaruit het mag antwoorden, de controles voor mens en systeem, en het vastleggen van wat er gebeurde. Zo bouw je op een fundament dat een ander onderhoudt, zonder je eigen huis te laten bepalen door de aannemer.
Nee, al overlappen ze sterk. Een taalmodel is gespecialiseerd in tekst; een foundation model is de bredere term voor elk groot algemeen getraind netwerk. Dus ook modellen die beeld of audio naast tekst verwerken. In de bedrijfspraktijk zul je meestal met taalmodellen werken, maar het ontwerp eromheen is voor beide hetzelfde: sturen, koppelen, controleren.
Omdat het trainen al gebeurd is, door iemand met meer data en meer rekenkracht dan ooit in je eigen budget past. Zelf trainen loont alleen voor een taak met een zeer specifiek patroon en veel eigen voorbeelden. En zelfs dan begin je meestal vanaf een bestaand model. Voor bedrijfsautomatisering is de afweging bijna nooit 'trainen of niet', maar 'welk model, met welke sturing en welke bronnen'.
Het onderliggende materiaal stopt op een bepaalde datum, dus recente ontwikkelingen kent het niet vanzelf. Meer nog: de aanbieder brengt regelmatig nieuwe versies uit en oudere versies verdwijnen. Beide zijn op te vangen door je toepassing niet vast te nagelen aan één versie, door je instructies en eigen bronnen los van het model te bewaren, en door uitkomsten regelmatig te toetsen op een vast testsetje. Zo is een overstap een instelling, geen herbouw.
Nee. In één gesprek past het zijn gewichten niet aan; het leest je tekst, antwoordt en vergeet, tenzij je expliciet een geheugenfunctie inschakelt. Wel kan de aanbieder aanvragen bewaren volgens zijn instellingen, en dáár zit de privacy-kwestie. We regelen dat vooraf: welke retentie geldt, welke velden nooit meegaan en welke toepassingen alleen met een contract en verwerkersafspraken draaien.
EIGHTY8