Technique
1. Caractéristiques techniques brèves
Au 17 Juillet 2023, le cluster "Waves" du CCIPL dispose globalement de :
Cœurs |
7544 |
GPU |
29 |
Nœuds |
392 |
Ram Totale |
55 To |
Puissance de calcul CPU crête estimée |
~257000 Gflops |
Puissance de calcul CPU+GPU crête estimée |
~268000 Gflops |
Nombres d’heures de calcul/an |
66 Millions |
Stockage /home (NFS) |
10 To |
Stockage /scratch (BeeGFS) |
452 To |
Stockage des données de recherche (Ceph) |
2,8 Po Bruts |
Stockage volatil très rapide (SSD Nvme) |
43 To Bruts |
Réseaux d’interconnexion |
Infiniband 40 Gb/s, Omnipath 100 Gb/s, Ethernet 10 + RoCE 25 & 100 Gb/s |
Système d’exploitation principal |
Linux Centos 7.9 |
Système de soumission de travaux |
Slurm 22.05.9 |
2. Système Hétérogène
Le cluster de calcul du CCIPL (Centre de Calcul Intensif des Pays de la Loire) regroupe en un même ensemble logique plusieurs calculateurs historiquement dissociés, en particulier, les deux clusters principaux : le cluster "Waves", datant de fin 2016 et "Loire", plus ancien.
L’unification complète date d’octobre 2020.
"Waves" est un calculateur installé fin 2016, en perpétuelle évolution depuis. Il ordonnance les travaux avec SLURM. Les ressources ont été installées par tranches, il existe donc des générations de machines, de capacité et d’architectures différentes. Ces évolutions successives sont, autant que possible, transparentes pour l’utilisateur.
2.1. Historique
-
Janvier 2021 : Mise en services de nœuds architecturés autour de machines AMD et de réseau RoCE
-
Octobre 2020 : unification des espaces de stockage
Précédemment, pour des raisons de technologie d’interconnexion réseau, les parties Loire et Waves n’avaient pas accès aux memes espaces de stockage. Les mises en place de routeurs multi protocoles (Infiniband, Omnipath, Ethernet convergé) et la mise à jour de la liaison à 40 Gb/s ont permis de lever cette limitation en octobre 2020, permettant une unification complète. -
Janvier 2018 : Fin de loire, unifications dans Waves
Les deux clusters ont été unifiés pour ne plus apparaître que comme le calculateur "Waves" unifié ; cela signifie désormais une base d’utilisateurs unique ainsi qu’un ensemble de logiciels cohérents. Par contre, les nœuds de calculs issus de cette fusion sont différents. Ils restent situés dans des salles machines différentes et reliés via un réseau d’interconnexion. Ils diffèrent en termes de puissance et de générations de processeur. -
Octobre 2016 : Arrivée de Waves
La partie installée dans le datacenter, initialement installé avec les nœuds de calculs "Nazare" a constamment été étendue avec de nouveaux nœuds "Cribbar, Budbud et Cloudbreak". Initialement basé sur Centos 7.2 -
2010 : Mise en place de Loire
Constituée des machines Nazare, d’un stockage /home stocké à la DSIN, et d’un scratch autour d’une machine panasas. Il ordonnancait les travaux au moyen de PBS. Les nœuds de calculs étaient installés avec Suse Linux.
Les nœuds de calculs situés sur le datacenter sont accessibles au travers des partitions de travail classiques. Les nœuds de calcul situés sur sciences sont accessibles au travers de partitions préfixées par 'loire'.
3. Machines frontales
[DEL]La disparité entre nœuds de calcul fait que sans précautions, un travail échouera s’il n’est pas envoyé sur la bonne partition. Pour simplifier la vie des utilisateurs, deux machines frontales existent et permettent de démarrer les travaux dans de bonnes conditions.
| Les logins et mots de passes sont identiques entre les frontales. Si l’identification se fait par clé, il faut copier les clés publiques sur les deux machines, les répertoires d’accueil étant indépendants. |
Ces machines sont indiquées dans le tableau ci-dessus et récapitulées dans celui ci-dessous.
Nom du frontal |
Situation Géographique |
Nœuds cibles |
Optimisation par défaut |
espace /home de waves |
espace /scratch de waves |
espace /home de loire |
espace /scratch de loire |
|---|---|---|---|---|---|---|---|
jaws |
Datacenter |
Nazare,budbud,cribbar,waimea |
Broadwell |
/home |
/scratch |
non disponible |
non disponible |
erdre2 |
Sciences |
Chezine,troll,swiip |
Westmere |
/home-waves |
/scratch-waves |
/home |
/scratch |
| Par la faute de contraintes techniques, erdre2 n’est pas actuellement accessible en direct, il est nécessaire de passer par jaws pour le moment. |
L’utilisation des nœuds Chezine se fait au travers d’une frontale appelée erdre2 accessible depuis Jaws : une fois connecté sur Jaws, on tape ssh erdre2. Chaque utilisateur a des espaces /home et /scratch spécifiques à ces nœuds. Le /home et le /scratch de Waves sont aussi accessibles mais sont localement et respectivement renommés /home-waves et /scratch-waves. Le tableau suivant résume la situation :
machine sur laquelle je suis |
espace /home de waves |
espace /scratch de waves |
espace /home de loire |
espace /scratch de loire |
|---|---|---|---|---|
erdre2 |
/home-waves |
/scratch-waves |
/home |
/scratch |
jaws |
/home |
/scratch |
non accessible |
non accessible |
| La frontale Erdre2 ayant l’accès à la fois aux répertoires d’accueil natifs des nœuds Chezine et Nazare, c’est sur cette machine que les données peuvent être échangées. |
3.1. Espaces de stockage pour les Nazare et Jaws
Plusieurs systèmes de fichiers sont à la disposition des utilisateurs :
-
/home : espace sauvegardé pour les petits fichiers des utilisateurs. Cet espace est monté en NFS sur les nœuds et n’est pas un système de fichier parallèle. On ne doit donc pas faire de calcul dessus. Cet espace est limité (10 To).
-
/scratch : espace pour les données des utilisateurs. Il utilise le réseau rapide Intel Omnipath. C’est un système de fichiers parallèle, on peut donc y faire tous les calculs. Cet espace est assez large : 452 To.
-
/tmp : les nœuds disposent chacun d’un espace de stockage local d’environ 430 Go. Dans certains cas précis, il peut être intéressant d’utiliser cet espace. Bien qu’individuellement, la vitesse de ces disques est inférieure à celle du /scratch, celui-ci est souvent chargé par des calculs. Dans le cas où de nombreux calculs indépendants génèrent des données isolées et non utilisables par les autres nœuds du calcul, il est intéressant d’utiliser ce disque local (ce qui allègera d’autant le /scratch partagé).
| /dlocal à expliciter, limitations de BeeGFS, et utilisation possible de ceph-r |
Chaque utilisateur dispose d’espaces personnels dans les deux systèmes de fichiers partagés :
-
/home/projet/login
-
/scratch/projet/login
Ces espaces seront dotés de quotas prochainement.
4. Partitionnement
4.1. Partitions accessibles à tous
| Attention, doit être remis à jour. |
Nom de la partition |
Usage |
Emplacememt |
Limites de temps |
Limites nœuds |
Cœurs par nœud |
Cœurs disponibles |
Note |
|---|---|---|---|---|---|---|---|
SMP-short |
Travaux courts intra-nœud |
Datacenter |
24 heures |
1 |
20 |
1640 |
|
loire-SMP-short |
Travaux courts intra-nœud |
Sciences |
24 heures |
1 |
12 |
648 |
|
SMP-medium |
Travaux intermédiaires intra-nœud |
Datacenter |
5 jours |
1 |
20 |
1000 |
|
loire-SMP-medium |
Travaux intermédiaires intra-nœud |
Sciences |
5 jours |
1 |
12 |
360 |
|
SMP-long |
Travaux longs intra-nœud |
Datacenter |
30 jours |
1 |
20 |
800 |
|
loire-SMP-long |
Travaux longs intra-nœud |
Sciences |
30 jours |
1 |
12 |
300 |
|
MPI-short |
Travaux courts inter-nœud |
Datacenter |
9 heures |
40 |
20 |
1640 |
|
loire-MPI-short |
Travaux courts inter-nœud |
Sciences |
9 heures |
40 |
12 |
648 |
|
MPI-medium |
Travaux intermédiaires inter-nœud |
Datacenter |
3 jours |
40 |
20 |
1000 |
|
loire-MPI-medium |
Travaux intermédiaires inter-nœud |
Sciences |
3 jours |
40 |
12 |
540 |
|
MPI-long |
Travaux longs inter-nœud |
Datacenter |
15 jours |
20 |
20 |
800 |
|
loire-MPI-long |
Travaux longs inter-nœud |
Sciences |
15 jours |
20 |
12 |
396 |
|
Lowpriority |
|||||||
Travaux longs intra-nœud non prioritaires |
Datacenter |
pas de limite |
1 |
20 |
2560 |
Les travaux peuvent être préemptés mais ne sont pas décomptés du quota |
loire-Lowpriority |
Travaux longs intra-nœud non prioritaires |
Sciences |
Pas de limite |
1 |
12 |
888 |
Les travaux peuvent être préemptés mais ne sont pas décomptés du quota |
|
Farming |
Travaux multiples devant fonctionner ensemble |
||||||
Datacenter |
3 heures |
1 |
20 |
2560 |
Devel |
Tests et développements |
4.2. Partitions propriétaires
| Attention, doit être remis à jour. |
Les nœuds accessibles dans ces partitions ont été financés par des équipes de recherche et ne sont donc accessibles exclusivement qu’à leurs membres. Néanmoins, lorsque ces nœuds sont inutilisés, les ressources sont disponibles à tous au travers des partitions Lowpriority.
Nom de la partition |
Propriétaire |
Emplacement |
Contribution à Lowpriority |
|---|---|---|---|
Subatech |
Subatech |
Datacenter |
200 |
Piramid |
Projet Piramid |
Datacenter |
60 + 8 GPU |
Ceisam |
Ceisam |
Datacenter |
80 |
Ceisam-GPU |
Ceisam |
Datacenter |
20 + 2 GPU |
LPGN |
LPGN |
Datacenter |
560 |
SPHERE |
SPHERE |
Datacenter |
80 |
LPGN-loire |
LPGN |
Sciences |
240 |
Ceisam-troll |
Ceisam |
Sciences |
192 |
Ceisam-swiip |
Ceisam |
Sciences |
288 |
5. LowPriority vs Autres partitions
Les partitions LowPriority ont accès à la totalité des nœuds disponibles, y compris les nœuds propriétaires.
7. Système d’exploitation et souches logicielles classiques
| Attention, doit être remis à jour. |
Le cluster Waves repose sur le système d’exploitation Linux Centos 7.9. Lorsqu’une montée de version est engagée, ce sont les nœuds de calcul bénéficient généralement des versions les plus récentes.
8. Licences logicielles
En tant que tel, le CCIPL ne s’occupe pas des licences des logiciels scientifiques propriétaires, mais fournit la plate-forme pour pouvoir les installer. Il appartient à chaque utilisateur nécessitant de telles licences de contracter avec son fournisseur. Nous devons néanmoins être mis au courant des démarches pour s’assurer de la faisabilité technique. Le CCIPL peut par contre assurer la restriction d’accès à certains logiciels soumis à utilisation restrictive.