Lyon:Network: Difference between revisions

From Grid5000
Jump to navigation Jump to search
No edit summary
(41 intermediate revisions by 11 users not shown)
Line 1: Line 1:
{{Template:Site link|Network}}
{{Template:Site link|Network}}
{{Portal|Network}}
{{Portal|User}}
{{Maintainer|Simon Delamare}}


'''See also:''' [[Lyon:Hardware|Hardware description for Lyon]]


[[Image:Lyon.jpg|right|thumb|Topologie physique du réseau de calcul|500px]]
= Overview of Ethernet network topology =
= Addressage =
Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:
; 192.168.69.0/24: Réseau d'interconnection avec l'exterieur. Il sert à simplifier les tables de routages en déportant la passerelle <code class="host">coutoo</code> derrière le switch/routeur <code class="host">little-ego</code>.
Adresse: 192.168.69.0  11000000.10101000.01000101.00000000
Netmask: 255.255.255.0  11111111.11111111.11111111.00000000 (=24)
Wilcard: 0.0.0.255      00000000.00000000.00000111.11111111
=>
Network: 192.168.69.0/24
HostMin: 192.168.69.1
HostMax: 192.168.69.254
BroadCast: 192.168.69.255


[[File:LyonNetwork.png|800px]]


; 10.69.0.0/16: Réseau Grid5000 de Lyon. Seul la moitier de ce réseaux (ie: 10.69.0.0/17) est routée dans les sites Grid5000, permettant de se réserver des plages pour l'administration (aucun intérêt à être accessible en dehors de Lyon) et permettre différents type d'expérimentation réseaux.
{{:Lyon:GeneratedNetwork}}


Les réseaux actuellement en exploitation sont:
= IP networks in use =
* <code>10.69.0.0/21&nbsp;&nbsp;</code>: Réseau de calcul sur interface native
Adresse: 10.69.0.0      00001010.01000101.00000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.0.0/21
HostMin: 10.69.0.1
HostMax: 10.69.7.254
BroadCast: 10.69.7.255


* <code>10.69.8.0/21&nbsp;&nbsp;</code>: Réseau Myrinet avec émulation ethernet
You have to use a public network range to run an experiment between several Grid5000 sites.  
Adresse: 10.69.8.0      00001010.01000101.00001000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.8.0/21
HostMin: 10.69.8.1
HostMax: 10.69.15.254
BroadCast: 10.69.15.255


* <code>10.69.128.0/21</code>: Réseau d'administration
=== Public Networks ===
Adresse: 10.69.128.0    00001010.01000101.10000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.128.0/21
HostMin: 10.69.128.1
HostMax: 10.69.135.254
BroadCast: 10.69.135.255


* <code>10.69.136.0/21</code>: Accès a la carte d'administration ou processeur de service
* computing : '''172.16.48.0/20'''
Adresse: 10.69.136.0   00001010.01000101.10001000.00000000
* virtual : '''10.140.0.0/14'''
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.136.0/21
HostMin: 10.69.136.1
HostMax: 10.69.143.254
BroadCast: 10.69.143.255


= VLAN =
=== Local Networks ===
En plus des VLAN attribué par renater (voir [[Network interlink]]), Lyon utilise pour ces besoins une série de VLAN:
* 550: Vlan Renater 4
* 599: routage vers la passerelle (<code class="host">coutoo</code>)
* 690: réseau de calcul
* 691 &rarr; 698: réseaux de tests
* 699: réseau d'administration


== <code class="host">little-ego</code> ==
* admin : '''172.17.48.0/20'''
* ports 4:41-48: lyon_adm
* nat : '''192.168.69.0/30'''
* ports 4:1-7,4:17,6:1 lyon_test1
* ports 4:18-32,6:2 lyon_test2
* ports 4:9-16,4:19,6:3 lyon_test3
* ports 4:33-40,4:20,6:4 lyon_test4
* ports 9:3,9:4 trunk vlan
* ports 1:1-48,2:1-48 lyon


== <code class="host">venus</code> ==
== HPC Network - Infiniband ==
* port 49: trunk vlan
* [https://www.mellanox.com/files/related-docs/prod_ib_switch_systems/pb_sb7800.pdf switch "''swib''"] : SB7800 (4xEDR, 100Gb/s)
* ports 1-48: lyon
* gemini : 3 interfaces connected to ''swib'' (4xEDR 100Gb/s)
* port 50: vlan 1 (Default, not configured)
** Card model: ''Mellanox Technologies MT27800 Family (MT4119)''
 
** driver: ''mlx5_core''
== <code class="host">salome</code> ==
* pyxis : 1 interface connected to ''swib'' (4xEDR, 100Gb/s)
* port 49: trunk vlan
** Card model: ''Mellanox Technologies MT28908 Family [ConnectX-6] (MT4123)''
* ports 1-48,50: lyon
** driver: ''mlx5_core''
 
* alcor (''group storage''): 1 interface connected to ''swib'' (4xFDR, 56Gb/s)
= Cablage =
** Card model: ''Mellanox Technologies MT27800 Family [ConnectX-5] (MT4119)''
== UTP ==
** driver: ''mlx5_core''
La convention de couleur suivante a été choisie pour le cablage des différents éléments:
[[File:LyonHPCNetwork.png|1500px]]<br/>
* <span style="color: yellow;">##</span> jaune: lien d'aggrégation entre switchs
''(image generated from ibnetdiscover and [https://github.com/cyberang3l/InfiniBand-Graphviz-ualization InfiniBand-Graphviz-ualization])''
* <span style="color: blue;">##</span> bleu : réseau d'administration
* <span style="color: red;">##</span> rouge: réseau de calcul / exploitation
* <span style="color: green;">##</span> vert: réseaux de tests et expérimentaux
 
== Fibre ==
De façon générale les fibres monomodes et multimodes se distinguent par:
* <span style="color: yellow;">##</span> jaune: fibre monomode
* <span style="color: orange;">##</span> orange: fibre multimode
'''Attention''': La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble.
 
Elle est utilisée principalement pour relier:
* les équipements Myrinet entre eux (ie: cartes et switch) (multimode)
* les switchs <code class="host">Venus</code> et <code class="host">Salome</code> en 10Gb avec le chassis <code class="host">Little-Ego</code> (monomode)
* Renater via le GBIC 1610nm (monomode)
 
= Topologie =
;Venus:
* 1&rarr;32: noeuds 25&rarr;56 (capricorne)
;Salome:
* 1&rarr;24: noeuds 1&rarr;24 (capricorne)
;Pat:
* 5&rarr;16: noeuds (adm) 45&rarr;56 (capricorne)
;Chris:
* 1&rarr;44: noeuds (adm) 1&rarr;44 (capricorne)
;Ziblyne:
* 1&rarr;35: noeuds (adm) 57&rarr;91 (sagittaire)
;Bettie:
* 1&rarr;35: noeuds (adm) 92&rarr;126 (sagittaire)
;Little-Ego:
{| width="100%"
|-
| valign="top" width="33%"|
* 1:2&rarr;1:35: noeuds 1&rarr;35 (sagittaire)
* 2:1&rarr;2:35: noeuds 36&rarr;69 (sagittaire)
| valign="top" width="33%"|
* 5:1: Liaison renater
| valign="top" width="33%"|
* 9:3: <code class="host">Salome</code> (capricorne)
* 9:4: <code class="host">Venus</code> (capricorne)
|}
 
 
<table width=100%>
<tr><td>
== Réseau de calcul ==
</td>
<td>
== Réseau d'administration ==
</td>
</tr>
<tr><td>
[[Image:Lyon-Reseau_calcul.jpg|left|thumb|Topologie du réseau de calcul primaire|500px]]
</td>
<td>
[[Image:Reseau_interne_-_Administration.jpg|left|thumb|Topologie du réseau d'administration|425px]]
</td>
</tr>
</table>
 
<!--[[Image:Topologie Calcul Lyon.png|left|thumb|Topologie du réseau de calcul primaire|600px]]
<div style="clear: both;"></div>
[[Image:Lyon-Reseau calcul.jpg|left|Topologie du réseau de calcul primaire|500px]]
<div style="clear: both;"></div>
-->
 
= Matériel =
== Switch & Chassis ==
=== Venus et Salome ===
Il s'agit de deux switchs [http://www.foundrynet.com/products/l23wiringcloset/fastiron/FESX424_X448.html Foundry FES-X 448], chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (&rArr; monomode) Type de connecteur fibre : LC.
 
'''Attention''': pour se connecter à la console via le port série, il faut utiliser un cable ''special'' réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. ''Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38)''.
 
=== Ziblyne et Bettie ===
Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.
 
=== Pat et Chris ===
Switchs Foundry dédiées au réseau d'administration, ils disposent de ports à 100Mb ainsi que 2 port 1Gb ethernet. <code class="host">Pat</code> est un 24 ports et <code class="host">Chris</code> est un 48 ports.
 
=== Little-Ego ===
Il s'agit d'un [http://www.extremenetworks.com/libraries/prodpdfs/products/BD8800.asp BlackDiamon 8810] de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:
[[Image:Connecteur-lc.jpg|right|thumb|Connecteur fibre LC|100px]]
[[Image:Connecteur-sc.jpg|right|thumb|Connecteur fibre SC|100px]]
 
* 4 module 10Gb ethernet LR (&rArr; monomode), Type de connecteur fibre: SC
* 1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb)
* 3 slots diponibles pour d'éventuelles extensions
 
 
;Services fournis:
* Firewall
* Routage
 
;Documentation : http://www.extremenetworks.com/services/documentation
 
=== Yumi ===
Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode.
(On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet).
Type de connecteur fibre: SC.
 
== Serveurs ==
=== Coutoo ===
C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.
;Services fournis:
* NAT: Translation d'adresses
* NTP: Proxy avec le serveur de temps de l'ENS: <code class="host">ntp.ens-lyon.fr</code>
* DNS: Serveur de noms dédié à la résolution des zones externes
* VTun: Mise en place de tunnels avec l'extérieur en cas de démos
;Autres noms: <code class="host">ntp-ext</code>, <code class="host">gw</code>
 
 
=== Cyrrus ===
Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.
;Services fournis:
* Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre  à se titre les composants: OAR, MediaWiki, Bugzilla, ... (voir [[Internal web server]])
* NFS: Serveur de fichier pour la grappe.
* DNS: Serveur de nom primaire pour le domaine <code class="host">lyon.grid5000.fr</code>, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à <code class="host">Coutoo</code>. (voir [[DNS server|configuration DNS]])
* MySQL: Base de données utilisée en interne par MediaWiki et Bugzilla, sur la grappe par  OAR et Kadeploy, et sur Grid5000 par OAR-Grid.
* Nagios: Serveur surveillant les différents noeuds de la grappe.
* Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
* NTP: Serveur de temps pour la grappe, utilisant la source <code class="host">ntp-ext</code>
* MediaWiki: Système de documention collaborative pour Grid5000.
* Bugzilla: Gestionnaire de bugs pour Grid5000.
 
;Terminologie Grid5000: <code class="host">dns</code>, <code class="host">ganglia</code>, <code class="host">ldap</code>, <code class="host">mysql</code>, <code class="host">nagios</code>, <code class="host">nfs</code>, <code class="host">ns</code>, <code class="host">ntp</code>, <code class="host">www</code>
 
;Autres noms: <code class="host">ns1</code>
 
 
=== Nexus ===
*Services fournis
** Serveur de sauvegarde
** Proxy
 
=== Capricorne ===
Initialement une partie des services [[OAR]] et [[Kadeploy]] auraient du être installés sur <code class="host">Cyrrus</code> (ie: serveur) et l'autre sur <code class="host">Rork</code> (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.
 
;Services fournis:
* OAR: Soumission de jobs
* Kadeploy: Déployement d'environements
 
;Terminologie Grid5000: <code class="host">oar</code>, <code class="host">oar-server</code>, <code class="host">oar.capricorne</code>, <code class="host">kadeploy</code>
 
;Autres noms: <code class="host">nightmare</code>
 
 
=== Sagittaire ===
Frontale [[OAR]] pour le cluster sagittaire.
 
;Services fournis:
* OAR: Soumission de jobs
* Kadeploy: Déployement d'environements
 
;Terminologie Grid5000: <code class="host">sagittaire</code>, <code class="host">oar.sagittaire</code>
 
 
=== Rork ===
C'est la seule machine sur laquelle peuvent se connecter les utilisateurs lorsqu'ils arrivent de l'extérieur.
 
;Services fournis:
* Compilation: Le compilateur [http://www.pathscale.com/ PathScale] n'est utilisable que sur une seule machine du fait du méchanisme de licenses.
* CVS:
 
;Terminologie Grid5000: <code class="host">frontale</code>, <code class="host">sync</code>
 
;Autres noms: <code class="host">cvs</code>, <code class="host">frontal</code>
 
== Noeuds ==
Ils sont constités d'[[Computer#IBM eServer 325|IBM eServer 325]] (baies 'Asterix' et 'Lucky Luke') et de [[Computer#Sun Fire V20z|Sun Fire V20z]] (baies 'Tuniques bleues' et 'Ric Hochet')
 
= Problèmes =
* Compilation sur frontale du a license, implique desynchro noeuds frontale
* Climatisation insuffisante
* IPMI pas franchement fonctionnel sur les noeuds IBM
* administration via ethernet du Yumi non configure
* Probleme de broadcast ethernet non identifie avec Pat et Chris
* sur IBM e325, reboot (aleatoire?), sur le BIOS, sans acces au clavier, le seul moyen de revenir a un etat normal et de debrancher le cable d'alimentation (Ref IBM: 01L0HH9 et 01L0HX6), Contrat SN 22039

Revision as of 10:08, 26 April 2021

See also: Hardware description for Lyon

Overview of Ethernet network topology

LyonNetwork.png


Network devices models

  • force10: Force10 S4810
  • gw: Dell EMC S4128F-ON
  • salome: FESX448+2XG-PREM
  • sneowise: Arctica 4808xs
  • sneowiseib1: Mellanox QM8700
  • sneowiseib2: Mellanox QM8700
  • swib: Mellanox SB7800

More details (including address ranges) are available from the Grid5000:Network page.

IP networks in use

You have to use a public network range to run an experiment between several Grid5000 sites.

Public Networks

  • computing : 172.16.48.0/20
  • virtual : 10.140.0.0/14

Local Networks

  • admin : 172.17.48.0/20
  • nat : 192.168.69.0/30

HPC Network - Infiniband

  • switch "swib" : SB7800 (4xEDR, 100Gb/s)
  • gemini : 3 interfaces connected to swib (4xEDR 100Gb/s)
    • Card model: Mellanox Technologies MT27800 Family (MT4119)
    • driver: mlx5_core
  • pyxis : 1 interface connected to swib (4xEDR, 100Gb/s)
    • Card model: Mellanox Technologies MT28908 Family [ConnectX-6] (MT4123)
    • driver: mlx5_core
  • alcor (group storage): 1 interface connected to swib (4xFDR, 56Gb/s)
    • Card model: Mellanox Technologies MT27800 Family [ConnectX-5] (MT4119)
    • driver: mlx5_core

LyonHPCNetwork.png
(image generated from ibnetdiscover and InfiniBand-Graphviz-ualization)