Wat is deep learning? Machine learning met meerlaagse neurale netwerken. De techniek achter beeldherkenning en taalmodellen. Kort en zonder wiskunde.
Deep learning is machine learning met neurale netwerken van vele lagen: het model leert zelf welke kenmerken ertoe doen, in plaats van dat een mens die vooraf kiest. Daardoor kan het ruwe beelden, spraak en vrije tekst verwerken. EIGHTY8 zet deep learning vooral in als de motor onder document-, beeld- en taaltaken.
De meeste software volgt regels die een mens heeft opgeschreven. Deep learning draait dat om: je laat het model een grote verzameling voorbeelden zien en het formuleert zelf de regels. Dat gebeurt in een neuraal netwerk met lagen bovenop elkaar. Elke laag herkent iets subtielers dan de vorige. Van losse lijnen in een foto tot een compleet object, of van losse woorden tot de betekenis van een hele zin.
Tijdens het trainen wordt de uitkomst van het model steeds vergeleken met wat juist was. De fout die overblijft, wordt terug door alle lagen gewerkt en elk gewicht wordt een klein stukje bijgesteld. Herhaal dat duizenden keren en er ontstaat een model dat patronen ziet die niemand ooit expliciet heeft beschreven. Dat is tegelijk de kracht en de kwetsbaarheid: het resultaat is goed, maar niet vanzelf uitlegbaar.
Een concreet voorbeeld: een monteur fotografeert een schade op locatie. Een deep-learningmodel dat op vergelijkbare foto's getraind is, herkent het soort schade en zet een voorstel klaar in de werkbon, met de foto als bewijs. Dezelfde techniek ligt ook onder spraakherkenning en onder de taalmodellen van nu. Het is geen losse truc, maar het fundament onder moderne AI.
Deep learning loont wanneer het probleem in ruwe data zit die je niet in regels kunt vangen: foto's, scans, spraakberichten, vrije teksten. Het loont ook wanneer er voldoende voorbeelden zijn waaruit het model kan leren. Eigen of publiek beschikbaar. En het loont wanneer de omgeving blijft veranderen, want een bijgesteld model volgt mee zonder dat er nieuwe regels geschreven worden.
Het loont niet wanneer een simpele regel hetzelfde resultaat geeft; dan is deep learning alleen extra complexiteit die je moet beheren. Het loont ook niet zonder voorbeelden om mee te trainen of toetsen, en niet wanneer elke beslissing volledig uitlegbaar moet zijn. Eerst vaststellen of de taak echt patroonherkenning is, komt vóór de keuze voor een model.
EIGHTY8 pakt deep learning zelden als los project op. Het is een onderdeel van een werkstroom: de stap die een foto leest, een document indeelt of een vraag begrijpt, gevolgd door een controle door een mens. In de discovery bepalen we welke taken patroonherkenning vragen en welke beter met vaste regels draaien. Zo blijft de techniek waar hij thuishoort (onderin, als motor) en blijft de werkvloer de baas.
Klassieke machine learning werkt met kenmerken die een mens vooraf kiest: jij zegt welke kolommen ertoe doen en het model leert het verband. Deep learning leest de ruwe invoer rechtstreeks en leert zelf welke kenmerken ertoe doen, via lagen in een neuraal netwerk. Dat maakt het geschikt voor beeld, spraak en vrije tekst. En het maakt het gul met voorbeelden en rekenkracht.
Minder dan vaak wordt gedacht, maar wel echt een paar. Veel taken beginnen bij een groot model dat al breed getraind is; jouw voorbeelden zijn dan nodig om het te toetsen en af te stemmen op jouw situatie. Zijn er nauwelijks voorbeelden (bijvoorbeeld bij een compleet nieuw type schade), dan is dat een signaal om eerst data op te bouwen, niet om het project te forceren.
Een neuraal netwerk is de bouwsteen; deep learning is het gebruik ervan in veel lagen tegelijk. Ieder deep-learningmodel is dus een neuraal netwerk, maar niet elk neuraal netwerk is deep learning. Een netwerk met een laag of twee telt daarvoor doorgaans niet mee. In de praktijk staan de begrippen dicht bij elkaar, en dat is prima: het onderscheid doet er vooral toe bij het kiezen van een aanpak.
Deels. Er bestaan technieken die laten zien op welke delen van de invoer het model heeft gelet. Welke woorden, welk deel van de foto. Dat is bewijs van gebruik, geen bewijs van juistheid. Voor taken waar een toelichting verplicht is, bouwen we daarom een menselijke controle in en leggen we vast welke invoer en welke modelversie tot een uitkomst leidde. Volledige wiskundige doorzichtigheid bestaat niet.
EIGHTY8