|
|
| (79 intermediate revisions by 14 users not shown) |
| Line 1: |
Line 1: |
| = Addressage =
| | {{Template:Site link|Network}} |
| Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:
| | {{Portal|Network}} |
| ; 192.168.69.0/24: Réseau d'interconnection avec l'exterieur. Il sert à simplifier les tables de routages en déportant la passerelle <code class="host">coutoo</code> derrière le switch/routeur <code class="host">little-ego</code>.
| | {{Portal|User}} |
| Adresse: 192.168.69.0 11000000.10101000.01000101.00000000
| | {{Maintainer|Simon Delamare}} |
| Netmask: 255.255.255.0 11111111.11111111.11111111.00000000 (=24)
| |
| Wilcard: 0.0.0.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 192.168.69.0/24
| |
| HostMin: 192.168.69.1
| |
| HostMax: 192.168.69.254
| |
| BroadCast: 192.168.69.255
| |
|
| |
|
| | '''See also:''' [[Lyon:Hardware|Hardware description for Lyon]] |
|
| |
|
| ; 10.69.0.0/16: Réseau Grid5000 de Lyon. Seul la moitier de ce réseaux (ie: 10.69.0.0/17) est routée dans les sites Grid5000, permettant de se réserver des plages pour l'administration (aucun intérêt à être accessible en dehors de Lyon) et permettre différents type d'expérimentation réseaux.
| | = Overview of Ethernet network topology = |
|
| |
|
| Les réseaux actuellement en exploitation sont:
| | [[File:LyonNetwork.svg|800px]] |
| * <code>10.69.0.0/21 </code>: Réseau de calcul sur interface native
| |
| Adresse: 10.69.0.0 00001010.01000101.00000000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.0.0/21
| |
| HostMin: 10.69.0.1
| |
| HostMax: 10.69.7.254
| |
| BroadCast: 10.69.7.255
| |
|
| |
|
| * <code>10.69.8.0/21 </code>: Réseau Myrinet avec émulation ethernet
| | {{:Lyon:GeneratedNetwork}} |
| Adresse: 10.69.8.0 00001010.01000101.00001000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.8.0/21
| |
| HostMin: 10.69.8.1
| |
| HostMax: 10.69.15.254
| |
| BroadCast: 10.69.15.255
| |
|
| |
|
| * <code>10.69.128.0/21</code>: Réseau d'administration
| | = IP networks in use = |
| Adresse: 10.69.128.0 00001010.01000101.10000000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.128.0/21
| |
| HostMin: 10.69.128.1
| |
| HostMax: 10.69.135.254
| |
| BroadCast: 10.69.135.255
| |
|
| |
|
| * <code>10.69.136.0/21</code>: Accès a la carte d'administration ou processeur de service
| | You have to use a public network range to run an experiment between several Grid5000 sites. |
| Adresse: 10.69.136.0 00001010.01000101.10001000.00000000
| |
| Netmask: 255.255.248.0 11111111.11111111.11111000.00000000 (=21)
| |
| Wilcard: 0.0.7.255 00000000.00000000.00000111.11111111
| |
| =>
| |
| Network: 10.69.136.0/21
| |
| HostMin: 10.69.136.1
| |
| HostMax: 10.69.143.254
| |
| BroadCast: 10.69.143.255
| |
|
| |
|
| = VLAN = | | === Public Networks === |
| En plus des VLAN attribué par renater (voir [[Network interlink]]), Lyon utilise pour ces besoins une série de VLAN:
| |
| * 550: Vlan Renater 4
| |
| * 599: routage vers la passerelle (<code class="host">coutoo</code>)
| |
| * 690: réseau de calcul
| |
| * 691 → 698: réseaux de tests
| |
| * 699: réseau d'administration
| |
|
| |
|
| == <code class="host">little-ego</code> ==
| | * computing : '''172.16.48.0/20''' |
| * ports 4:41-48: lyon_adm | | * virtual : '''10.140.0.0/14''' |
| * ports 4:1-7,4:17,6:1 lyon_test1
| |
| * ports 4:18-32,6:2 lyon_test2
| |
| * ports 4:9-16,4:19,6:3 lyon_test3
| |
| * ports 4:33-40,4:20,6:4 lyon_test4
| |
| * ports 9:3,9:4 trunk vlan | |
| * ports 1:1-48,2:1-48 lyon
| |
|
| |
|
| == <code class="host">venus</code> == | | === Local Networks === |
|
| |
|
| == <code class="host">salome</code> ==
| | * admin : '''172.17.48.0/20''' |
| * port 49: trunk vlan | | * nat : '''192.168.69.0/30''' |
| * ports 1,5: lyon_test1 | |
| * ports 2,6: lyon_test2
| |
| * ports 3,7: lyon_test3
| |
| * ports 4,8: lyon_test4
| |
| * ports 9-48,50: lyon
| |
|
| |
|
| = Cablage = | | == HPC Network - Infiniband == |
| == UTP ==
| | * [https://www.nvidia.com/en-us/networking/infiniband/sb7800/ switch "''swib''"] : SB7800 (4xEDR, 100Gb/s) |
| La convention de couleur suivante a été choisie pour le cablage des différents éléments:
| | * gemini : 3 interfaces connected to ''swib'' (4xEDR 100Gb/s) |
| * <span style="color: yellow;">##</span> jaune: lien d'aggrégation entre switchs | | ** Card model: ''Mellanox Technologies MT27800 Family (MT4119)'' |
| * <span style="color: blue;">##</span> bleu : réseau d'administration
| | ** driver: ''mlx5_core'' |
| * <span style="color: red;">##</span> rouge: réseau de calcul / exploitation
| | * pyxis : 1 interface connected to ''swib'' (4xEDR, 100Gb/s) |
| * <span style="color: green;">##</span> vert: réseaux de tests et expérimentaux
| | ** Card model: ''Mellanox Technologies MT28908 Family [ConnectX-6] (MT4123)'' |
| | | ** driver: ''mlx5_core'' |
| == Fibre ==
| | * alcor (''group storage''): 1 interface connected to ''swib'' (4xFDR, 56Gb/s) |
| De façon générale les fibres monomodes et multimodes se distinguent par:
| | ** Card model: ''Mellanox Technologies MT27800 Family [ConnectX-5] (MT4119)'' |
| * <span style="color: yellow;">##</span> jaune: fibre monomode
| | ** driver: ''mlx5_core'' |
| * <span style="color: orange;">##</span> orange: fibre multimode
| | [[File:LyonHPCNetwork.png|1500px]]<br/> |
| '''Attention''': La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble. | | ''(image generated from ibnetdiscover and [https://github.com/cyberang3l/InfiniBand-Graphviz-ualization InfiniBand-Graphviz-ualization])'' |
| | |
| Elle est utilisée principalement pour relier:
| |
| * les équipements Myrinet entre eux (ie: cartes et switch) (multimode) | |
| * les switchs <code class="host">Venus</code> et <code class="host">Salome</code> en 10Gb avec le chassis <code class="host">Little-Ego</code> (monomode)
| |
| * Renater via le GBIC 1610nm (monomode) | |
| | |
| = Topologie =
| |
| ;Venus:
| |
| * 15→46: noeuds 25→56 | |
| ;Salome:
| |
| * 21→44: noeuds 1→24
| |
| ;Pat:
| |
| * ?→?: noeuds (adm) ?→?
| |
| ;Chris:
| |
| * ?→?: noeuds (adm) ?→? | |
| ;Ziblyne:
| |
| * 1→35: noeuds (adm) 57→91 | |
| ;Bettie:
| |
| * 1→35: noeuds (adm) 92→126
| |
| ;Little-Ego:
| |
| {| width="100%"
| |
| |-
| |
| | valign="top" width="33%"|
| |
| * 1:1→1:35: noeuds 57→91
| |
| * 2:1→2:35: noeuds 92→126 | |
| | valign="top" width="33%"|
| |
| * 5:1: Liaison renater | |
| | valign="top" width="33%"|
| |
| * 9:3: <code class="host">Salome</code>
| |
| * 9:4: <code class="host">Venus</code>
| |
| |}
| |
| | |
| | |
| | |
| == Réseau d'administration ==
| |
| == Réseau de calcul ==
| |
| [[Image:Topologie Calcul Lyon.png|left|thumb|Topologie du réseau de calcul primaire|600px]]
| |
| <div style="clear: both;"></div>
| |
| | |
| = Matériel =
| |
| == Switch & Chassis ==
| |
| === Venus et Salome ===
| |
| Il s'agit de deux switchs [http://www.foundrynet.com/products/l23wiringcloset/fastiron/FESX424_X448.html Foundry FES-X 448], chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (⇒ monomode)
| |
| | |
| '''Attention''': pour se connecter à la console via le port série, il faut utiliser un cable ''special'' réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. ''Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38)''. | |
| | |
| === Ziblyne et Bettie ===
| |
| Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.
| |
| | |
| === Pat et Chris ===
| |
| Switchs Foundry dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb. <code class="host">Pat</code> est un 24 ports et <code class="host">Chris</code> est un 48 ports.
| |
| | |
| === Little-Ego ===
| |
| Il s'agit d'un [http://www.extremenetworks.com/libraries/prodpdfs/products/BD8800.asp BlackDiamon 8810] de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:
| |
| * 4 module 10Gb ethernet LR (⇒ monomode)
| |
| * 1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb) | |
| | |
| ;Services fournis:
| |
| * Firewall | |
| * Routage
| |
| | |
| === Yumi ===
| |
| Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode.
| |
| (On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet). | |
| | |
| == Serveurs ==
| |
| === Coutoo ===
| |
| C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.
| |
| | |
| ;Services fournis:
| |
| * NAT: Translation d'adresses | |
| * NTP: Proxy avec le serveur de temps de l'ENS: <code class="host">ntp.ens-lyon.fr</code> | |
| * DNS: Serveur de noms dédié à la résolution des zones externes
| |
| * VTun: Mise en place de tunnels avec l'extérieur en cas de démos
| |
| ;Autres noms: <code class="host">ntp-ext</code>, <code class="host">gw</code>
| |
| | |
| === Cyrrus ===
| |
| Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.
| |
| ;Services fournis:
| |
| * Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre à se titre les composants: OAR, MediaWiki, Bugzilla, ... (voir [[Internal web server]])
| |
| * NFS: Serveur de fichier pour la grappe.
| |
| * DNS: Serveur de nom primaire pour le domaine <code class="host">lyon.grid5000.fr</code>, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à <code class="host">Coutoo</code>. (voir [[DNS|configuration DNS]])
| |
| * MySQL: Base de données utilisée en interne par MediaWiki et Bugzilla, sur la grappe par OAR et Kadeploy, et sur Grid5000 par OAR-Grid.
| |
| * Nagios: Serveur surveillant les différents noeuds de la grappe.
| |
| * Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
| |
| * NTP: Serveur de temps pour la grappe, utilisant la source <code class="host">ntp-ext</code>
| |
| * MediaWiki: Système de documention collaborative pour Grid5000.
| |
| * Bugzilla: Gestionnaire de bugs pour Grid5000.
| |
| | |
| ;Terminologie Grid5000: <code class="host">dns</code>, <code class="host">ganglia</code>, <code class="host">ldap</code>, <code class="host">mysql</code>, <code class="host">nagios</code>, <code class="host">nfs</code>, <code class="host">ns</code>, <code class="host">ntp</code>, <code class="host">www</code>
| |
| | |
| ;Autres noms: <code class="host">ns1</code>
| |
| | |
| === Mil ===
| |
| Il s'agit de la réplique de <code class="host">Cyrrus</code>. Cette machine n'est pas installée et a pour vocation (initiale) de servire de machine de secours en cas de problemes.
| |
| | |
| === Capricorne ===
| |
| Initialement une partie des services [[OAR]] et [[Kadeploy]] auraient du être installés sur <code class="host">Cyrrus</code> (ie: serveur) et l'autre sur <code class="host">Rork</code> (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.
| |
| | |
| ;Services fournis:
| |
| * OAR: Soumission de jobs
| |
| * Kadeploy: Déployement d'environements
| |
| | |
| ;Terminologie Grid5000: <code class="host">oar</code>, <code class="host">oar-server</code>, <code class="host">kadeploy</code>
| |
| | |
| ;Autres noms: <code class="host">nightmare</code>
| |
| | |
| === Rork ===
| |
| C'est la seule machine sur laquelle peuvent se connecter les utilisateurs lorsqu'ils arrivent de l'extérieur.
| |
| | |
| ;Services fournis:
| |
| * Compilation: Le compilateur [http://www.pathscale.com/ PathScale] n'est utilisable que sur une seule machine du au méchnisme de licenses.
| |
| * CVS:
| |
| | |
| ;Terminologie Grid5000: <code class="host">frontale</code>, <code class="host">sync</code>
| |
| | |
| ;Autres noms: <code class="host">cvs</code>, <code class="host">frontal</code>
| |
| | |
| == Noeuds ==
| |
| Ils sont constités d'[[Computer#IBM eServer 325|IBM eServer 325]] (baies 'Asterix' et 'Lucky Luke') et de [[Computer#Sun Fire V20z|Sun Fire V20z]] (baies 'Tuniques bleues' et 'Ric Hochet')
| |
| | |
| = Problèmes =
| |
| * Compilation sur frontale du a license, implique desynchro noeuds frontale
| |
| * Climatisation insuffisante
| |
| * IPMI pas franchement fonctionnel sur les noeuds IBM
| |
| * administration via ethernet du Yumi non configure
| |
| * Probleme de broadcast ethernet non identifie avec Pat et Chris
| |
| * sur IBM e325, reboot (aleatoire?), sur le BIOS, sans acces au clavier, le seul moyen de revenir a un etat normal et de debrancher le cable d'alimentation (Ref IBM: 01L0HH9 et 01L0HX6), Contrat SN 22039
| |