Wat is een open-source LLM? Een taalmodel dat je zelf kunt draaien. Wanneer dat zin heeft (data-controle, kosten) en wat je ervoor terugkrijgt aan beheer.
Een open-source LLM is een taalmodel waarvan de gewichten publiek beschikbaar zijn: je mag het op eigen infrastructuur draaien in plaats van via de dienst van een aanbieder. Dat geeft controle over data en gebruik, en kost daarvoor beheer, rekenkracht en verantwoordelijkheid. EIGHTY8 weegt die twee kanten per werkstroom af. Er is geen standaardantwoord.
Er zijn twee manieren om met een groot taalmodel te werken. De eerste is de dienstweg: je stuurt je vraag via een interface naar het model van een aanbieder en betaalt per gebruik. De tweede is zelf draaien: bij een model met open gewichten download je het modelbestand en zet je het op eigen hardware, in eigen netwerk. De rekenkunde is hetzelfde; de eigendom en de verantwoordelijkheid zijn dat niet.
Wat je terugkrijgt is controle. De vragen verlaten je omgeving niet, je bepaalt de versie en je kunt de dienst niet kwijtraken aan een prijswijziging of een policy bij een derde partij. Wat je er voor teruggeeft is beheer: je kiest en bewaakt hardware die sterk genoeg is, je houdt de versie bij, je regelt beveiliging en beschikbaarheid zelf, en je merkt dat een klein open model op een taak soms minder sterk scoort dan een groot dienstmodel.
In de praktijk is de keuze zelden zwart-wit. Veel organisaties draaien gevoelige werkstromen op eigen infrastructuur en laten de overige door de dienstweg gaan; of ze beginnen in de cloud om snel te leren en verplaatsen later wat thuis hoort. De vraag is dus niet 'open of dienst', maar 'welke werkstroom vraagt welke controle'.
Een open-source LLM is de moeite waard wanneer data het domein niet mag verlaten (medische dossiers, juridische stukken, strategische documenten) of wanneer een klantcontract dat voorschrijft. Het loont ook bij een stabiele, voorspelbare belasting, waar de kosten van eigen hardware over de tijd kunnen concurreren met verbruiksprijzen. En het loont wanneer je precies wilt vastleggen welke modelversie welk antwoord gaf.
Het is niet de moeite waard als er niemand is die het beheert: een model zonder toegewijde hosting wordt een risico in plaats van een voordeel. Het loont ook niet voor experimenten of piekbelasting. Dan is de dienstweg sneller en goedkoper. En reken er niet blind op dat 'open' betekent 'gratis': de licentie kan beperkingen bevatten en de hardware wil betaald zien.
EIGHTY8 beoordeelt per werkstroom of de data thuis hoort of naar een dienst mag. Als zelf draaien wint, bouwen we de hosting, de grenzen van de instructie en de controles rond het model, en leggen we vast welke versie wanneer actief was. Wie de afweging in één overzicht wil zien: we hebben er een hele pagina aan gewijd, open-source LLM versus API-model, met de argumenten aan twee kanten.
Als de tekst die naar het model gaat niet je netwerk mag verlaten, is zelf draaien de logische keuze. Ongeacht kosten. Ook bij een strak contract met een klant, bij een sterk wisselende beschikbaarheid van een dienst, of wanneer je exact wilt vastleggen welke versie wat produceerde, wint open. Voor taken zonder data-gevoeligheid en met een wisselende belasting is de dienstweg meestal pragmatischer.
Vier dingen: hardware die sterk genoeg is voor het model dat je kiest, een omgeving die het model veilig bereikbaar maakt, een versiebeleid zodat je weet wat er draait en wanneer je bijwerkt, en iemand die het bewaakt. Daarnaast verdient de instructie en de koppeling met eigen bronnen net zoveel aandacht als bij een dienstmodel. Het model is het makkelijkste onderdeel; het beheer is het werk.
Nee, en dat is een gevaarlijke aanname. Zelf draaien houdt de data binnen je muren, maar veiligheid hangt af van de omgeving: wie heeft toegang, hoe wordt gelogd, wat gebeurt er bij een lek, en hoe lang wordt bewaard? Een slecht beheerde eigen server lekt evengoed als een verkeerd ingestelde dienst. We behandelen privacy dus als een ontwerp van de hele werkstroom, niet als een eigenschap van het model.
Vaker wel dan niet, maar lees de licentie. Sommige modellen mogen vrij voor onderzoek en beperkt commercieel, andere eisen naamsvermelding of sluiten bepaalde toepassingen uit. Voor een bedrijfsinzet checken we altijd de licentietekst op het moment van keuze. Licenties veranderen mee met de versies. 'Open' is een spectrum, geen garantiestempel.
EIGHTY8