Serveur GPU : sur site, cloud ou hébergeur ?

Acheter une machine, louer des ressources ou confier son serveur à un hébergeur : les trois options peuvent répondre à un besoin de calcul. Elles ne répartissent pas les coûts et les responsabilités de la même façon.

La première question : quel travail faut-il exécuter ?

Servir un modèle à plusieurs utilisateurs, lancer des entraînements ponctuels ou faire tourner des calculs longs ne sollicite pas l’infrastructure de la même manière. Avant de comparer les GPU, décrivez la charge et la manière dont elle évolue au fil de la semaine.

Pour un LLM, la mémoire des poids ne représente pas à elle seule toute la mémoire nécessaire. Le contexte, les requêtes simultanées et le moteur d’exécution entrent aussi dans le dimensionnement. Une validation sur un cas représentatif aide à confronter les hypothèses au fonctionnement réel.

Installer dans vos locaux

Vous gardez la machine à proximité. Il faut cependant prévoir l’électricité, le refroidissement, le bruit, la connexion et les personnes qui l’administreront. Une station dans un bureau et un serveur rack n’ont pas les mêmes contraintes.

Précisez ce qui doit rester sur site et ce qui pourrait utiliser des services externes. La localisation de la machine ne suffit pas à décrire tous les flux de données.

Utiliser des ressources cloud

Cette option peut faciliter une expérimentation ou l’accès ponctuel à une configuration. La comparaison doit intégrer le calcul, mais aussi le stockage, les transferts et les services associés.

Vérifiez les configurations réellement disponibles, les conditions de traitement des données et l’effort nécessaire pour retrouver votre environnement. Le cloud et une machine achetée se comparent sur un usage et une durée définis, pas sur deux tarifs isolés.

Faire héberger votre propre serveur

Vous pouvez aussi posséder la machine et la faire installer chez un tiers. Il faut alors confronter la configuration aux contraintes de l’hébergeur : format, puissance, refroidissement, réseau, accès distant et modalités d’intervention.

Pepro peut fournir et préparer le serveur avant son départ. L’hébergement reste une prestation distincte, avec ses conditions et ses responsabilités.

Le matériel n’est qu’une partie de l’environnement

Linux, pilotes, bibliothèques et outils doivent fonctionner ensemble. Selon le besoin, Slurm peut gérer des travaux partagés tandis que vLLM sert des modèles pour l’inférence. Les compatibilités doivent être vérifiées pour les versions et le matériel retenus.

Demandez aussi les tests de réception, la documentation et le suivi prévus. Un environnement utile est un environnement que votre équipe peut comprendre et exploiter.

Pour préparer votre demande

Réunissez les applications ou modèles, le nombre d’utilisateurs, la fréquence d’utilisation, les données à stocker et le lieu envisagé. Nous pourrons définir les premiers choix et les vérifications à mener.

Pour approfondir : plateformes GPU supportées par vLLM et présentation de Slurm.

Pour approfondir les contraintes physiques : data centers, simulation thermique et analyse énergétique.