Lyon:Network: Difference between revisions

From Grid5000
Jump to navigation Jump to search
No edit summary
No edit summary
Line 3: Line 3:
{{Maintainer|Aurélien Cedeyn}}
{{Maintainer|Aurélien Cedeyn}}


[[Image:Lyon.png|right|thumb|Topologie physique du réseau de calcul|500px]]
[[Image:Lyon.png|right|thumb|Topologie physique du réseau de calcul|502px]]
= Addressage =
= Addressage =
Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:
Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:
Line 65: Line 65:
* 599: routage vers la passerelle (<code class="host">coutoo</code>)
* 599: routage vers la passerelle (<code class="host">coutoo</code>)
* 690: réseau de calcul
* 690: réseau de calcul
* 691 &rarr; 698: réseaux de tests
* 699: réseau d'administration
* 699: réseau d'administration


== <code class="host">little-ego</code> ==
== <code class="host">little-ego</code> ==
* ports 4:41-48: lyon_adm
* ports 4:41-48: lyon_adm
* ports 4:1-7,4:17,6:1 lyon_test1
* ports 9:1: Renater 4
* ports 4:18-32,6:2 lyon_test2
* port  3:48: coutoo
* ports 4:9-16,4:19,6:3 lyon_test3
* ports 1:1-48,2:1-48,3:1-47,4:1-40 lyon
* ports 4:33-40,4:20,6:4 lyon_test4
* ports 9:3,9:4 trunk vlan
* ports 1:1-48,2:1-48 lyon


== <code class="host">venus</code> ==
== <code class="host">venus</code> (obsolete) ==
* port 49: trunk vlan
* port 49: trunk vlan
* ports 1-48: lyon
* ports 1-48: lyon
* port 50: vlan 1 (Default, not configured)
* port 50: vlan 1 (Default, not configured)


== <code class="host">salome</code> ==
== <code class="host">salome</code> (obsolete) ==
* port 49: trunk vlan
* port 49: trunk vlan
* ports 1-48,50: lyon
* ports 1-48,50: lyon
Line 131: Line 127:
|}
|}


 
<!--
<table width=100%>
<table width=100%>
<tr><td>
<tr><td>
Line 148: Line 144:
</tr>
</tr>
</table>
</table>
 
-->
<!--[[Image:Topologie Calcul Lyon.png|left|thumb|Topologie du réseau de calcul primaire|600px]]
<!--[[Image:Topologie Calcul Lyon.png|left|thumb|Topologie du réseau de calcul primaire|600px]]
<div style="clear: both;"></div>
<div style="clear: both;"></div>
Line 187: Line 183:
Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode.
Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode.
(On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet).
(On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet).
Type de connecteur fibre: SC.
Type de connecteur fibre: LC.


== Serveurs ==
== Serveurs ==
Line 197: Line 193:
* DNS: Serveur de noms dédié à la résolution des zones externes
* DNS: Serveur de noms dédié à la résolution des zones externes
* VTun: Mise en place de tunnels avec l'extérieur en cas de démos
* VTun: Mise en place de tunnels avec l'extérieur en cas de démos
;Autres noms: <code class="host">ntp-ext</code>, <code class="host">gw</code>
;Autres noms: <code class="host">ntp-ext</code>




Line 203: Line 199:
Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.
Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.
;Services fournis:
;Services fournis:
* Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre  à se titre les composants: OAR, MediaWiki, Bugzilla, ... (voir [[Internal web server]])
* Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre  à se titre les composants: OAR, Munin (voir [[Internal web server]])
* NFS: Serveur de fichier pour la grappe.
* NFS: Serveur de fichier pour la grappe.
* DNS: Serveur de nom primaire pour le domaine <code class="host">lyon.grid5000.fr</code>, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à <code class="host">Coutoo</code>. (voir [[DNS server|configuration DNS]])
* DNS: Serveur de nom primaire pour le domaine <code class="host">lyon.grid5000.fr</code>, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à <code class="host">Coutoo</code>. (voir [[DNS server|configuration DNS]])
* MySQL: Base de données utilisée en interne par MediaWiki et Bugzilla, sur la grappe par  OAR et Kadeploy, et sur Grid5000 par OAR-Grid.
* Nagios: Serveur surveillant les différents noeuds de la grappe.
* Nagios: Serveur surveillant les différents noeuds de la grappe.
* Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
* Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
* NTP: Serveur de temps pour la grappe, utilisant la source <code class="host">ntp-ext</code>
* NTP: Serveur de temps pour la grappe, utilisant la source <code class="host">ntp-ext</code>
* MediaWiki: Système de documention collaborative pour Grid5000.
* Bugzilla: Gestionnaire de bugs pour Grid5000.


;Terminologie Grid5000: <code class="host">dns</code>, <code class="host">ganglia</code>, <code class="host">ldap</code>, <code class="host">mysql</code>, <code class="host">nagios</code>, <code class="host">nfs</code>, <code class="host">ns</code>, <code class="host">ntp</code>, <code class="host">www</code>
;Terminologie Grid5000: <code class="host">dns</code>, <code class="host">ganglia</code>, <code class="host">ldap</code>, <code class="host">mysql</code>, <code class="host">nagios</code>, <code class="host">nfs</code>, <code class="host">ns</code>, <code class="host">ntp</code>, <code class="host">www</code>
Line 222: Line 215:
* Serveur de sauvegarde
* Serveur de sauvegarde
* Proxy
* Proxy
;Terminologie Grid5000
* MySQL: Base de données utilisée en interne par OAR et Kadeploy.
proxy
* OAR-Server
* DHCP
;Terminologie Grid5000: <code class="host">oar-server</code>, <code class="host">proxy</code>


=== Capricorne ===
=== Capricorne ===
Line 232: Line 227:
* Kadeploy: Déployement d'environements
* Kadeploy: Déployement d'environements


;Terminologie Grid5000: <code class="host">oar</code>, <code class="host">oar-server</code>, <code class="host">oar.capricorne</code>, <code class="host">kadeploy</code>
;Terminologie Grid5000: <code class="host">frontend</code>, <code class="host">kadeploy</code>
 
;Autres noms: <code class="host">nightmare</code>




=== Sagittaire ===
=== Sagittaire (Not used anymore) ===
Frontale [[OAR]] pour le cluster sagittaire.
Frontale [[OAR]] pour le cluster sagittaire.


Line 248: Line 241:


=== Rork ===
=== Rork ===
C'est la seule machine sur laquelle peuvent se connecter les utilisateurs lorsqu'ils arrivent de l'extérieur.
C'est une machine dédiée à la compilation. Elle est à disposition des utilisateurs et peut soumettre des jobs au même titre que la machine <code class="host">frontend</code>


;Services fournis:
;Services fournis:
* Compilation: Le compilateur [http://www.pathscale.com/ PathScale] n'est utilisable que sur une seule machine du fait du méchanisme de licenses.
* Compilation
* CVS:
* Soumission OAR


;Terminologie Grid5000: <code class="host">frontale</code>, <code class="host">sync</code>
;Terminologie Grid5000: <code class="host">compil</code>


;Autres noms: <code class="host">cvs</code>, <code class="host">frontal</code>
;Autres noms: <code class="host">cvs</code>


== Noeuds ==
== Noeuds ==
Line 262: Line 255:


= Problèmes =
= Problèmes =
* Compilation sur frontale du a license, implique desynchro noeuds frontale
* Climatisation insuffisante
* Climatisation insuffisante
* IPMI pas franchement fonctionnel sur les noeuds IBM
* IPMI pas franchement fonctionnel sur les noeuds IBM
* administration via ethernet du Yumi non configure
* administration via ethernet du Yumi non configure
* sur IBM e325, reboot (aleatoire?), sur le BIOS, sans acces au clavier, le seul moyen de revenir a un etat normal et de debrancher le cable d'alimentation (Ref IBM: 01L0HH9 et 01L0HX6), Contrat SN 22039
* sur IBM e325, reboot (aleatoire?), sur le BIOS, sans acces au clavier, le seul moyen de revenir a un etat normal et de debrancher le cable d'alimentation (Ref IBM: 01L0HH9 et 01L0HX6), Contrat SN 22039

Revision as of 15:44, 19 February 2008

Network: Global | Grenoble | Lille | Luxembourg | Lyon | Nancy | Nantes | Rennes | Sophia | Toulouse
Topologie physique du réseau de calcul

Addressage

Les plages d'addresses suivantes sont réservées et utilisées par Lyon, mais pas nécessairement entièrement routées:

192.168.69.0/24
Réseau d'interconnection avec l'exterieur. Il sert à simplifier les tables de routages en déportant la passerelle coutoo derrière le switch/routeur little-ego.
Adresse: 192.168.69.0   11000000.10101000.01000101.00000000
Netmask: 255.255.255.0  11111111.11111111.11111111.00000000 (=24)
Wilcard: 0.0.0.255      00000000.00000000.00000111.11111111
=>
Network: 192.168.69.0/24
HostMin: 192.168.69.1
HostMax: 192.168.69.254
BroadCast: 192.168.69.255


10.69.0.0/16
Réseau Grid5000 de Lyon. Seule la moitié de ce réseau (ie: 10.69.0.0/17) est routée dans les sites Grid5000, permettant de se réserver des plages pour l'administration (aucun intérêt à être accessible en dehors de Lyon) et permettre différents type d'expérimentations réseaux.

Les réseaux actuellement en exploitation sont:

  • 10.69.0.0/21  : Réseau de calcul sur interface native
Adresse: 10.69.0.0      00001010.01000101.00000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.0.0/21
HostMin: 10.69.0.1
HostMax: 10.69.7.254
BroadCast: 10.69.7.255
  • 10.69.8.0/21  : Réseau Myrinet avec émulation ethernet
Adresse: 10.69.8.0      00001010.01000101.00001000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.8.0/21
HostMin: 10.69.8.1
HostMax: 10.69.15.254
BroadCast: 10.69.15.255
  • 10.69.128.0/21: Réseau d'administration
Adresse: 10.69.128.0    00001010.01000101.10000000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.128.0/21
HostMin: 10.69.128.1
HostMax: 10.69.135.254
BroadCast: 10.69.135.255
  • 10.69.136.0/21: Accès a la carte d'administration ou processeur de service
Adresse: 10.69.136.0    00001010.01000101.10001000.00000000
Netmask: 255.255.248.0  11111111.11111111.11111000.00000000 (=21)
Wilcard: 0.0.7.255      00000000.00000000.00000111.11111111
=>
Network: 10.69.136.0/21
HostMin: 10.69.136.1
HostMax: 10.69.143.254
BroadCast: 10.69.143.255

VLAN

En plus des VLAN attribué par renater (voir Network interlink), Lyon utilise pour ces besoins une série de VLAN:

  • 550: Vlan Renater 4
  • 599: routage vers la passerelle (coutoo)
  • 690: réseau de calcul
  • 699: réseau d'administration

little-ego

  • ports 4:41-48: lyon_adm
  • ports 9:1: Renater 4
  • port 3:48: coutoo
  • ports 1:1-48,2:1-48,3:1-47,4:1-40 lyon

venus (obsolete)

  • port 49: trunk vlan
  • ports 1-48: lyon
  • port 50: vlan 1 (Default, not configured)

salome (obsolete)

  • port 49: trunk vlan
  • ports 1-48,50: lyon

Cablage

UTP

La convention de couleur suivante a été choisie pour le cablage des différents éléments:

  • ## jaune: lien d'aggrégation entre switchs
  • ## bleu : réseau d'administration
  • ## rouge: réseau de calcul / exploitation
  • ## vert: réseaux de tests et expérimentaux

Fibre

De façon générale les fibres monomodes et multimodes se distinguent par:

  • ## jaune: fibre monomode
  • ## orange: fibre multimode

Attention: La fibre multimode existe en deux version: 50/125 et de la 62.5/125 (distance inférieur a 300m). Il faut éviter de raccoder des versions différentes ensemble.

Elle est utilisée principalement pour relier:

  • les équipements Myrinet entre eux (ie: cartes et switch) (multimode)
  • les switchs Venus et Salome en 10Gb avec le chassis Little-Ego (monomode)
  • Renater via le GBIC 1610nm (monomode)

Topologie

Venus
  • 1→32: noeuds 25→56 (capricorne)
Salome
  • 1→24: noeuds 1→24 (capricorne)
Pat
  • 5→16: noeuds (adm) 45→56 (capricorne)
Chris
  • 1→44: noeuds (adm) 1→44 (capricorne)
Ziblyne
  • 1→35: noeuds (adm) 57→91 (sagittaire)
Bettie
  • 1→35: noeuds (adm) 92→126 (sagittaire)
Little-Ego
  • 1:2→1:35: noeuds 1→35 (sagittaire)
  • 2:1→2:35: noeuds 36→69 (sagittaire)
  • 5:1: Liaison renater
  • 9:3: Salome (capricorne)
  • 9:4: Venus (capricorne)


Matériel

Switch & Chassis

Venus et Salome

Il s'agit de deux switchs Foundry FES-X 448, chacun upgradé pour supporter, et équipé de deux modules 10Gb Ethernet LR (10G-XFP-LR) (⇒ monomode) Type de connecteur fibre : LC.

Attention: pour se connecter à la console via le port série, il faut utiliser un cable special réalisé en connectant respectivement entre elles les broches 2 (TXD), 3 (RXD), 5 (GND), 7 (CTS), 8 (RTS) et surtout ne connectant pas les autres broches. Ce cable se situe au dessus de ces 2 switchs (Lucky luke 38).

Ziblyne et Bettie

Switchs Cisco 2950 dédiées au réseau d'administration, ils ne disposent que de ports à 100Mb.

Pat et Chris

Switchs Foundry dédiées au réseau d'administration, ils disposent de ports à 100Mb ainsi que 2 port 1Gb ethernet. Pat est un 24 ports et Chris est un 48 ports.

Little-Ego

Il s'agit d'un BlackDiamon 8810 de chez ExtremeNetworks, constituant le coeur de réseau de la grappe, celui-ci est équipé de:

Connecteur fibre LC
Connecteur fibre SC
  • 4 module 10Gb ethernet LR (⇒ monomode), Type de connecteur fibre: SC
  • 1 GBIC-SFP 1610nm pour liaison avec Renater via le LyRES (Liaison 1Gb)
  • 3 slots diponibles pour d'éventuelles extensions


Services fournis
  • Firewall
  • Routage
Documentation
http://www.extremenetworks.com/services/documentation

Yumi

Switch Myrinet, configuré pour disposer de 64 ports Myrinet, qui relie les noeuds de type IBM entre eux (baies: 'Asterix' et 'Lucky luke'). Le raccordement se fait avec de la fibre multimode. (On dispose d'une carte supplémentaire, non installée permettant d'avoir 8 ports ethernet). Type de connecteur fibre: LC.

Serveurs

Coutoo

C'est la seule machine à disposer d'un accès privilégié vers l'exterieur.

Services fournis
  • NAT: Translation d'adresses
  • NTP: Proxy avec le serveur de temps de l'ENS: ntp.ens-lyon.fr
  • DNS: Serveur de noms dédié à la résolution des zones externes
  • VTun: Mise en place de tunnels avec l'extérieur en cas de démos
Autres noms
ntp-ext


Cyrrus

Cette machine dispose d'une baie de disque SCSI comprenant 5 disques montés en RAID5 pour une capacité de stockage d'environ 500Go.

Services fournis
  • Web: Serveur web, réalisant une partie du site https://helpdesk.grid5000.fr/, et intègre à se titre les composants: OAR, Munin (voir Internal web server)
  • NFS: Serveur de fichier pour la grappe.
  • DNS: Serveur de nom primaire pour le domaine lyon.grid5000.fr, et secondaire pour l'ensemble des autres sites Grid5000. Il est également capable de résoudre des noms externes en forwardant les requêtes à Coutoo. (voir configuration DNS)
  • Nagios: Serveur surveillant les différents noeuds de la grappe.
  • Ganglia: Serveur collectant les informations des différents noeuds et interrogeable par le serveur de Sophia.
  • NTP: Serveur de temps pour la grappe, utilisant la source ntp-ext
Terminologie Grid5000
dns, ganglia, ldap, mysql, nagios, nfs, ns, ntp, www
Autres noms
ns1


Nexus

Services fournis
  • Serveur de sauvegarde
  • Proxy
  • MySQL: Base de données utilisée en interne par OAR et Kadeploy.
  • OAR-Server
  • DHCP
Terminologie Grid5000
oar-server, proxy

Capricorne

Initialement une partie des services OAR et Kadeploy auraient du être installés sur Cyrrus (ie: serveur) et l'autre sur Rork (ie: machine de login), mais pour des raisons d'interractions et de sécurité (version édulcorée), ils ont été déportés sur une machine dédiée.

Services fournis
  • OAR: Soumission de jobs
  • Kadeploy: Déployement d'environements
Terminologie Grid5000
frontend, kadeploy


Sagittaire (Not used anymore)

Frontale OAR pour le cluster sagittaire.

Services fournis
  • OAR: Soumission de jobs
  • Kadeploy: Déployement d'environements
Terminologie Grid5000
sagittaire, oar.sagittaire


Rork

C'est une machine dédiée à la compilation. Elle est à disposition des utilisateurs et peut soumettre des jobs au même titre que la machine frontend

Services fournis
  • Compilation
  • Soumission OAR
Terminologie Grid5000
compil
Autres noms
cvs

Noeuds

Ils sont constités d'IBM eServer 325 (baies 'Asterix' et 'Lucky Luke') et de Sun Fire V20z (baies 'Tuniques bleues' et 'Ric Hochet')

Problèmes

  • Climatisation insuffisante
  • IPMI pas franchement fonctionnel sur les noeuds IBM
  • administration via ethernet du Yumi non configure
  • sur IBM e325, reboot (aleatoire?), sur le BIOS, sans acces au clavier, le seul moyen de revenir a un etat normal et de debrancher le cable d'alimentation (Ref IBM: 01L0HH9 et 01L0HX6), Contrat SN 22039
Retrieved from "https://www.grid5000.fr/mediawiki/index.php?title=Lyon:Network&oldid=19277"