Fundaments Labs: Private AI Workbench

Fundaments Labs

In deze serie willen we een Fundaments Lab project introduceren: de Private AI workbench biedt een eenvoudige instap voor iedere gebruiker die een AI-model wil toepassen. Tot zover weinig nieuws onder de zon, immers veel (publieke) Cloud-providers bieden dit al aan. Maar wat als deze AI ingezet moet worden op gevoelige, bedrijfskritische data? Dan moet dit wel gecontroleerd gebeuren, zonder dat iemand of iets (een ander AI-model) met deze data ervan doorgaat. Met de Private AI Workbench die Fundaments in het Lab ontwikkelt, komen private & soevereine Cloud samen met de toepassing van AI: 100% garantie op databescherming vanuit zowel technisch, juridisch als operationeel perspectief. Uw data in een Nederlandse Cloud, volledig in lijn met Nederlandse en EU-wetgeving en volledig en transparant beheerd door een Nederlandse organisatie.

‍

Private AI

De Private AI Workbench is zo opgezet, dat u uw data kunt verwerken met AI in een private Cloud-oplossing. Dit concept zorgt ervoor dat uw data in een afgeschermde, gecontroleerde omgeving wordt toegepast. Vanuit de datacenters van Fundaments wordt de omgeving uitgerold en deze is niet gekoppeld aan het publieke internet en maakt daardoor geen gebruik van de AI-model diensten zoals we deze kennen (o.a. ChatGPT/Gemini). Dit maakt dat uw gevoelige data onder uw regie en Fundaments' controle wordt verwerkt.

Door gebruik te maken van eigen Private Cloud-infrastructuur, geoptimaliseerd voor AI-verwerking kan uw gevoelige data zowel getraind als gecombineerd worden in Retrieval Augmented Generation (RAG). Schematisch is dit weergegeven in onderstaande figuur:

‍

Wat biedt de Private AI Workbench?

In de Private AI Workbench biedt Fundaments een concept aan waarin iedereen die met AI modellen wil werken toegang krijgt tot een Private Cloud met AI geoptimaliseerde hardware. Dit alles is zeer laagdrempelig, zowel in gebruiksgemak als kosten.

Dit is als volgt opgebouwd:

- Private Cloud: vanuit één van de datacenters van Fundaments bieden wij fysieke serverhardware die geoptimaliseerd is voorgebruik van AI-modellen. Daarnaast NVMe opslag voor het snel kunnen laden en wisselen van modellen en uiteraard een GPU voor het verwerken van AI modeltransacties (tokens). Deze hardware wordt vervolgens gevirtualiseerd en voorzien van de workbench gereedschappen: AI-modellen, een interface en toegang tot de totale omgeving, zodat geïsoleerd gewerkt kan worden zoals in een ‘sandbox’.

- Voor toegang wordt een VPN met versleutelde verbinding geleverd, zodat de Private Cloud volledig beschermd bereikbaar is.

- Ollama framework: hiermee kunnen verschillende(taal)modellen geïnstalleerd en geconfigureerd worden. Deze worden startklaar opgeleverd, zodat er direct begonnen kan worden.

- OpenWebUI / LibreChat: deze gebruikersinterface levert je de mogelijkheid om AI-modellen in te zetten, maar biedt ook de mogelijkheid om modellen in te laden en te veranderen. Verder verzorgt deze interface ook opties om bestanden op te slaan en te laten verwerken door het AI-model.

- N8n: om AI-modellen geautomatiseerd in te zetten biedt de Private AI Workbench een workflow automatisering. Hierin kan data verwerkt worden door één of meerdere AI-modellen de verwerking van data in te zetten. Een ideaal startpunt om de eerste automatisering te doen met AI.

‍

De Private AI Workbench is erop gericht om eenvoudig de kracht van AI in te zetten en proof of concepts uit te rollen die laagdrempelig en niet kostbaar zijn. Vanuit Fundaments Labs zoeken wij partijen die mee willen denken en met ons de workbench verder kunnen laten uitgroeien.

-              Ontwikkelt u een applicatie waarbij AI ondersteuning benodigd is?

-              Bent u een start-up en op zoek naar een schaalbare AI-oplossing?

-              Of wilt u volledige controle over uw data in een zelf te kiezen datamodel?

Neem contact met ons op, zodat wij Fundaments Labs met u kunnen delen.

‍