De (on)mogelijkheden van Private AI

Drie machten en afwegingen

Om te begrijpen wat private AI inhoudt, helpt het om te kijken naar hoe AI wereldwijd is verdeeld. Er zijn grofweg drie krachten die de markt bepalen.

De VS loopt voorop. Amerikaanse modellen als OpenAI, Claude en Gemini zijn het meest geavanceerd en het meest capabel, maar ook het meest prijzig. Ze worden aangeboden via API's en zijn breed toegankelijk. Maar elke bevraging betekent dat data de organisatie verlaat en in de Cloud Act jurisdictie terechtkomt. Wie dat geen probleem vindt, plukt direct de vruchten van de meest geavanceerde AI die beschikbaar is op dit moment. Wie dat wél een probleem vindt, staat dus voor een fundamentele keuze.

China heeft open-source modellen ontwikkeld die zelfstandig gehost kunnen worden. Modellen als Qwen zijn enorm efficiënt, beschikbaar, installeerbaar in een eigen datacenter en bevraagbaar zonder dat data de eigen omgeving verlaat. Dat biedt controle en soevereiniteit maar vereist serieuze hardware-investeringen. Daarbij loopt het model gemiddeld zo'n acht maanden achter op de Amerikaanse frontier.  

Europa heeft Mistral, een Franse aanbieder en ontwikkelaar van AI modellen, dat qua architectuur solide is en volledig binnen Europese wetgeving valt. Het is toegankelijk via API en biedt de meest zekere route voor organisaties die zich zorgen maken over compliance en datalocatie. Maar ook Mistral loopt achter op de VS en China en zolang Europa de investeringen in AI-ontwikkeling niet substantieel verhoogt, zal dat niet snel veranderen.

De kernvraag is niet welk model het slimst is. De kernvraag is wat een organisatie wil doen met AI, welke data daarvoor nodig is, en welk risico acceptabel is.

Het verslavende van gemak

Er is iets verleidelijks aan het werken met grote taalmodellen via een API. Een paar regels code en er is intelligentie beschikbaar. Dashboards worden gevuld, meldingen geanalyseerd, rapporten gegenereerd. De drempel is laag. Het resultaat is indrukwekkend en precies dat maakt het gevaarlijk gemakkelijk.  

Het gemak van een API creëert een reflex: als iets opgelost kan worden met een AI-bevraging, wordt dat de standaard aanpak. Wat vroeger een script was dat eenmalig werd gebouwd en daarna ‘gratis’ draaide, wordt nu een doorlopende API-aanroep met bijbehorende token-kosten. Die kosten zijn per bevraging klein, maar bij schaal worden ze snel substantieel en onoverzichtelijk.

De vraag die organisaties zich te weinig stellen is: wanneer is echte intelligentie nodig, en wanneer volstaat een klassiek script of een kleiner lokaal model? Niet iedere melding, iedere batch-verwerking of iedere geautomatiseerde taak rechtvaardigt een bevraging van een frontier model. Maar de drempel om dat toch te doen is zo laag, dat de keuze zelden bewust wordt gemaakt.

Bovendien: niemand controleert meer de code die eruit komt. Het werkt, dus waarom kijken? Het gebrek aan controle en bewustzijn is precies waar de kwetsbaarheid zit. Niet alleen qua kosten, maar ook qua dataveiligheid en integriteit.

Data is het echte vermogen

De waarde van AI bestaat als gezegd uit twee componenten: het model en de data. Wie alleen naar het model kijkt, mist de helft van de vergelijking. Een slim model zonder organisatiespecifieke data levert generieke output. Een slim model dat gevoed wordt met interne systemen, klantgegevens, procesdata of bedrijfskritische informatie levert inzichten die pas echt onderscheidend zijn. Die data zijn de kroonjuwelen. En het zijn precies die kroonjuwelen die bij onbewust gebruik van externe AI-diensten op straat komen te liggen.

Dat is geen theoretisch risico. Bij gemeenten, overheden en onderwijsinstellingen installeren medewerkers op eigen initiatief AI-clients op hun laptop en gooien er van alles in. Contracten, beleidsstukken, klantdata, interne analyses. Niet uit kwaadwillendheid maar uit gemak en onwetendheid over wat er met die data gebeurt. Private AI is dan ook geen technische luxe. Het is een organisatorisch antwoord op een reëel risico.

Private AI: aantrekkelijk maar niet goedkoop

De belofte van private AI is helder: de ervaring van een krachtig taalmodel, maar volledig onder eigen regie, op eigen infrastructuur, zonder data die de organisatie verlaat. Dat klinkt als de ideale oplossing.

De werkelijkheid is dat dit een serieuze investering vraagt. Grote open-source modellen met meer dan 120B parameters, hebben enorm veel GPU-geheugen nodig om te draaien. Een GPU-kaart voor consumentengebruik heeft typisch 12 - 32GB aan geheugen. Grotere datacenterkaarten gaan richting 141GB. De kwaliteit van het model wordt onder andere bepaald door de beschikbare grafische geheugenruimte: hoe meer geheugen, hoe groter het model dat geladen kan worden, hoe ruimerde context window en hoe beter de caching, wat de reactiesnelheid van het model verbetert. Een volwaardige private AI-stack van enterprise-kwaliteit kost al snel honderdduizenden euro's. De verleidelijkheid van het resultaat maakt die businesscase ongemakkelijk.

Dat neemt niet weg dat er goed doordachte, kleinschalige alternatieven zijn. Een kleiner lokaal model dat gericht ingezet wordt voor een specifieke, afgebakende use case is vaak een verstandigere keuze dan een volledige AI-fabriek bouwen. Het gaat niet om de grootste infrastructuur maar om de juiste infrastructuur voor de juiste vraag.

VCF 9 brengt Private AI

VMware Cloud Foundation 9 brengt een zogenaamde Private AI Practice mee: een geïntegreerde manier om GPU-capaciteit beschikbaar te stellen, te ‘versnijden’ en te koppelen aan applicaties en containers. Het platform kan inderdaad helpen bij het opzetten van een soevereine AI-omgeving op private infrastructuur. Maar het is belangrijk om te begrijpen wat VCF 9 wél en niet oplost.

VMware is van oudsher een virtualisatieplatform. Het verdeelt hardware: het maakt van grote fysieke resources kleinere, logisch gescheiden eenheden. Dat is nuttig voor reguliere workloads. Maar grote AI-modellen werken anders. Die vereisen juist zoveel mogelijk aaneengesloten GPU-geheugen. Hardware verdelen is dan contraproductief: hoe meer je virtualiseert, hoe minder geheugen per model beschikbaar is.

VCF 9 heeft dus duidelijk zijn plek. Dat is bij specifieke, afgebakende use cases waarbij een kleiner model binnen een bestaande private cloud-omgeving moet draaien. Denk aan een organisatie die een gerichte AI-taak wil automatiseren, de data privé wil houden en niet het budget of de schaal heeft voor een volwaardige AI-fabriek. In dat scenario kan VCF 9 met zijn Private AI Practice met een druk op de knop een platform opleveren dat GPU's ontsluit, applicaties koppelt en containers beheert. Dat is waardevolle functionaliteit.

Maar voor wie grote open-source modellen wil hosten om een brede Claude-achtige ervaring intern te realiseren, is VCF 9 niet de primaire keuze. Daarvoor is bare-metal GPU-infrastructuur met maximaal beschikbaar geheugen de logische weg. Dat heeft weinig van doen met VMware. Technologie is geen ideologie. De juiste keuze hangt af van de use case.

Schaal bepaalt de use case

Er is een duidelijke tweedeling zichtbaar in hoe organisaties met private AI omgaan. Aan de ene kant zijn er organisaties die de volledige AI-ervaring intern willen realiseren. Ze willen een groot, krachtig model draaien op eigen hardware, volledig soeverein, met volledige controle over data en output. Dat vereist serieuze infrastructuur en een goed doordacht businessmodel. De schaal van het model bepaalt de kwaliteit van de output en kwaliteit heeft een prijs.

Aan de andere kant zijn er organisaties met een specifieke, afgebakende behoefte. Ze willen één proces automatiseren, één categorie meldingen analyseren, één databron bevragen. Daarvoor is een groot model overbodig. Een kleiner, fijn afgesteld model dat lokaal draait biedt voldoende intelligentie voor de taak, zonder de infrastructurele ballast van een volledig AI-platform. En zonder de doorlopende tokenkosten van een externe API.

Tussen deze twee uitersten zit het MKB en de mid-market: organisaties die nadenken over hun data, maar geen ‘tonnen’ willen investeren in eigen hardware. Voor hen is een tussenoplossing de meest logische route. Hosting bij een partij die al de data beheert, een soeverein platform biedt en GPU-capaciteit kan ontsluiten zonder dat er een eigen AI-fabriek gebouwd hoeft te worden.

De vraag achter de vraag

Wie nadenkt over Private AI, denkt in feite over vier vragen tegelijk.

• Wat wil ik doen met AI en hoe intensief wordt het gebruik?

• Welke data gaat erin en hoe gevoelig is die?

• Welk model past bij die use case en hoeveel kwaliteitsverlies is acceptabel?

• Welke infrastructuur is daarvoor nodig en wat kost dat realistisch?

Pas als die vragen beantwoord zijn, heeft het zin om te praten over platforms, tooling en architectuur. VCF 9, bare-metal GPU's, Chinese open-source modellen, Europese API's: het zijn allemaal middelen. Het gaat erom welk middel past bij welk doel.

Fundaments denkt mee bij die afweging. Niet vanuit een voorkeur voor een bepaald platform, maar vanuit jarenlange ervaring met infrastructuur onder kritische workloads en de overtuiging dat architectuurkeuzes beginnen bij de vraag, niet bij de technologie.