Les infrastructures pour le Big Data et l’IA ont des socles matériels et logiciels “fondamentaux” qui permettent des traitements sur des grosses volumétries.

Le premier socle est un stockage distribué (c’est à dire que les données sont réparties sur plusieurs serveurs) permettant ainsi des calculs parallélisés.

Pour ces calculs potentiellement longs, on aura aussi quelque fois recours à une accélération matérielle. L’accélération matérielle évidente c’est la mise en mémoire grâce à des quantités de RAM plus importantes que sur des serveurs standards. Mais aussi on choisira quelques serveurs dotés de GPUs (oui les mêmes cartes graphiques qui servent aussi aux jeux vidéos!).

Ces GPUs ont des composants dédiés aux calculs matriciels (au sens mathématique de multiplications de matrices) et donc permettent de gagner des temps considérables dans l’entraînement de modèles d’IA comme les réseaux neuronaux inclus les LLMs des IAs à la chatGPT (qui sont en grande majorité des calculs matriciels).

Et ensuite on trouvera toute une batterie d’outils pour la gestion des données (catalogues…), pour leur injection et leur normalisation, pour leur visualisation, etc. Ces outils sont toujours les mêmes, incontournables et ils sont différents noms selon les acteurs que l’on choisira pour déployer son infrastructure ou si on choisit de se construire une infrastructure “bare metal” dans son data center, auquel cas on pourra se doter d’outils du monde libre – ces mêmes outils que l’on retrouve souvent aussi dans les clouds car ce sont des standards de facto.

Le schema de nos architectures standards dans les principaux clouds et en dehors est donné à cet URL: Créer des plateformes Data modernes.

N’oubliez cependant pas que vous êtes tous uniques et que Hurence saura faire du sur mesure et sélectionner dans l’offre ce qui correspond à vos besoins.