[MAINTENANCE] Interruption totale de service dans la nuit de lundi à mardi
Bonsoir, Je vous fais suivre la news qui a été postée à l'instant sur cri.news : From: Marin Hannache <mareo@cri.epita.fr> Subject: [INFRA][MAINTENANCE] Interruption totale de service Date: Sat, 20 Nov 2021 19:10:32 +0100 Newsgroups: cri.news Bonjour, TL;DR : une intervention sur le tableau électrique de la salle serveur implique une coupure de la totalité des service qui y sont hébergés dans la nuit du lundi 22 novembre 2021 au mardi 23 novembre 2021. Cette coupure interviendra le lundi soir à 23:59 CET et pourra durer jusqu’à mardi 07:00 CET. Nous invitons les étudiants souhaitant travailler pendant cette période à prendre leurs dispositions en amont. Seront notamment concernés : - tous les services gérés par le CRI (ceux en *.cri.epita.fr) ; - tous les services hébergés en salle serveur (dont ceux en *.assistants.epita.fr, *.iaas.epita.fr, *.infoprepa.epita.fr, *.ing.epita.fr, *.openstack.epita.fr, *.pages.epita.fr, *.prepa.epita.fr, *.epita.net) ; - l'authentification sur les services qui dépendent du SSO du CRI ; - les VM du cluster OpenStack, qui seront éteintes avant la coupure ; - les baies des laboratoires et majeures situées en salle serveur ; - les postes des salles machines. Une seconde coupure, plus courte, aura lieu ultérieurement. Explication détaillée : Dans une salle serveur ou dans un datacenter, les équipements sont normalement alimentés via des lignes électriques sur lesquelles a été placé en amont un onduleur. Un onduleur a deux fonctions : la première, qui est la plus connue, est de permettre aux équipements de continuer à être alimentés pendant quelques instants en cas de coupure de courant. Les onduleurs disposent de batteries leur permettant de se prémunir des coupures pourvu qu’elles ne soient pas trop longues. La seconde est de protéger les équipements des défauts électriques qui pourraient les endommager (variations anormales de la tension, déphasages, fuites de courant, surintensités, etc.). La salle serveur de l’école comporte des baies qui sont actuellement ondulées individuellement : chaque baie dispose d’un ou plusieurs onduleurs dont la puissance varie de 2kVA à 3kVA, 3kVA étant la puissance maximale qui puisse être branchée sur une ligne 16A monophasée. Certaines baies consomment actuellement plus de 3kVA, les alimenter en se conformant à cette configuration implique d’utiliser deux onduleurs chacun branché sur une arrivée 16A monophasée dédiée. L’un des problèmes posé par cette installation est que lorsqu’un onduleur se vide, l’autre disjoncte instantanément faute de pouvoir supporter la charge totale de la baie, en dépit du fait que sa batterie ne soit pas vide[1]. Par ailleurs, un tableau électrique est généralement alimenté en triphasé, ce qui implique que chaque baie monophasée soit raccordée à l’une des trois phases disponibles sur le tableau. Cette affectation a été décidée par l’électricien qui a installé le tableau lors de la construction de la salle serveur en octobre 2017. Il s’était basé sur la puissance consommée par chaque baie en situation nominale à l’époque. Enedis impose aux entreprises d’équilibrer leur consommation entre les trois phases afin de préserver le réseau de distribution de tout un tas d’effets indésirables[2]. Avec la montée en charge consécutive à l’acquisition de nouveaux serveurs par le CRI, les laboratoires et majeures, la répartition initiale n’est plus pertinente et il convient donc de procéder à des ajustements. L’acquisition d’un onduleur Eaton 93PS 20kVA a été planifiée il y a quelques mois. Cet onduleur a pour vocation à être directement raccordé à l’arrivée triphasée du tableau électrique de la salle serveur, toutes les baies seront donc ondulées par cet onduleur. Par ailleurs, certaines baies alimentées en 2x16A monophasé seront désormais alimentées en 2x32A triphasé, ce qui permettra de répartir plus simplement la charge sur chacune des phases : la répartition pourra se faire directement sur les PDU[3] et donc serveur par serveur plutôt que baie par baie. En outre, l’efficacité énergétique des onduleurs double conversion[4] augmente avec la charge, avoir un unique gros onduleur est moins consommateur que d’en avoir pleins de petits car moins d’énergie sera dissipée en chaleur[5]. Un électricien est venu tirer les nouvelles lignes mais il reste encore un certain nombre d’opérations à faire sur le tableau électrique qui ne peuvent être effectuées que hors tension, en particulier il faut : - raccorder l’entrée du nouvel onduleur sur le répartiteur principal ; - raccorder la sortie de l’onduleur sur un nouveau répartiteur ; - retirer les lignes existantes du répartiteur principal ; - brancher les nouvelles lignes sur le nouveau répartiteur ; - mettre en place un mécanisme de bypass pour pouvoir mettre l’onduleur hors-tension en maintenant l’alimentation des équipements électriques (pour pouvoir faire des maintenances sur l’onduleur notamment). Ces opérations devaient initialement avoir lieu le dimanche 21 novembre mais une indisponibilité du prestataire nous oblige à les décaler au lundi 22 novembre, nous avons fait en sorte qu’elles aient lieu de nuit de sorte à minimiser l’impact sur les ING1 qui vont débuter 42sh le jour même. Il y a un enjeu important à mettre le plus rapidement possible cet onduleur en service car durant l’hiver le réseau électrique est particulièrement sollicité, pour le chauffage notamment, et nous avons déjà rencontrés des problèmes l’année précédente[6]. Une seconde coupure, plus courte, sera nécessaire pour la mise en service définitive de l’onduleur par un technicien d’Eaton, vous en serez averti par news dès que la date m’aura été communiquée. [1] Dans notre cas où les serveurs disposent chacun de deux alimentations réparties entre les deux onduleurs, la consommation est divisée entre les deux alimentations. La répartition n’est cependant pas complètement uniforme et des disparités peuvent s’accumuler de sorte qu’un onduleur est généralement plus sollicité que l’autre, d’où le fait qu’ils ne se déchargent pas à la même vitesse. [2] En cas de déséquilibre entre les phases, du courant est renvoyé au neutre ce qui peut, dans des situations extrêmes, conduire à une rupture de neutre. Dans ce cas, des phénomènes électriques trop longs à expliquer dans une news peuvent endommager les équipements raccordés sur le réseau voire provoquer des incendies. [3] Un PDU (pour Power Distribution Unit) est une « grosse multiprise » qui permet de distribuer l’électricité à des équipements dans une baie. [4] Les onduleurs double conversion convertissent systématiquement l’entrée en courant continu puis de nouveau en courant alternatif, de sorte à produire une sinusoïde parfaite, y compris en cas de défauts en entrée, au prix d’une efficacité énergétique plus faible sur des petites charges. [5] L’effet Joule se paie deux fois en salle serveur : en énergie perdue et en énergie nécessaire pour que la climatisation compense l’augmentation de température. [6] Cf. la news du 2 novembre 2021, la source de la variation de tension venait d’une consommation électrique supérieure à la production dans le Val-de-Marne, suite à un épisode de froid. En nous excusant pour la gêne occasionnée, -- Marin Hannache EPITA - CRI
Bonjour, Je me rend compte à l'instant que je n'ai pas pensé à annoncer la maintenance de ce soir sur cette mailing-list, je m'en excuse. La news qui a été postée hier suit, ainsi que le message original qui liste les services impactés. From: Marin Hannache <mareo@cri.epita.fr> Subject: Re: [INFRA][MAINTENANCE] Interruption totale de service Date: Mon, 13 Dec 2021 11:57 +0100 Newsgroups: cri.news Bonjour, On 2021-11-20, Marin Hannache <mareo@cri.epita.fr> wrote:
Une seconde coupure, plus courte, sera nécessaire pour la mise en service définitive de l’onduleur par un technicien d’Eaton, vous en serez averti par news dès que la date m’aura été communiquée.
La seconde coupure mentionnée par la news du 20 novembre 2021 aura lieu ce mardi 14 décembre 2021 à partir de 22:00 CET et jusqu’à 04:00 CET, elle entrainera les mêmes perturbations. Nous invitons les étudiants souhaitant travailler pendant cet intervalle à prendre leurs dispositions en amont. Un électricien interviendra sur le tableau électrique pour raccorder les baies existantes au nouvel onduleur, qui a été récement été mis en service par un technicien d’Eaton. En parallèle, nous procèderons au remplacement des quatre PDU monophasés alimentant les baies du CRI par des PDU triphasés. En nous excusant pour la gêne occasionnée, -- Marin Hannache EPITA - CRI On 11/20/21 19:18, Marin Hannache wrote:
Bonsoir,
Je vous fais suivre la news qui a été postée à l'instant sur cri.news :
From: Marin Hannache <mareo@cri.epita.fr> Subject: [INFRA][MAINTENANCE] Interruption totale de service Date: Sat, 20 Nov 2021 19:10:32 +0100 Newsgroups: cri.news
Bonjour,
TL;DR : une intervention sur le tableau électrique de la salle serveur implique une coupure de la totalité des service qui y sont hébergés dans la nuit du lundi 22 novembre 2021 au mardi 23 novembre 2021. Cette coupure interviendra le lundi soir à 23:59 CET et pourra durer jusqu’à mardi 07:00 CET. Nous invitons les étudiants souhaitant travailler pendant cette période à prendre leurs dispositions en amont. Seront notamment concernés : - tous les services gérés par le CRI (ceux en *.cri.epita.fr) ; - tous les services hébergés en salle serveur (dont ceux en *.assistants.epita.fr, *.iaas.epita.fr, *.infoprepa.epita.fr, *.ing.epita.fr, *.openstack.epita.fr, *.pages.epita.fr, *.prepa.epita.fr, *.epita.net) ; - l'authentification sur les services qui dépendent du SSO du CRI ; - les VM du cluster OpenStack, qui seront éteintes avant la coupure ; - les baies des laboratoires et majeures situées en salle serveur ; - les postes des salles machines.
Une seconde coupure, plus courte, aura lieu ultérieurement.
Explication détaillée :
Dans une salle serveur ou dans un datacenter, les équipements sont normalement alimentés via des lignes électriques sur lesquelles a été placé en amont un onduleur. Un onduleur a deux fonctions : la première, qui est la plus connue, est de permettre aux équipements de continuer à être alimentés pendant quelques instants en cas de coupure de courant. Les onduleurs disposent de batteries leur permettant de se prémunir des coupures pourvu qu’elles ne soient pas trop longues. La seconde est de protéger les équipements des défauts électriques qui pourraient les endommager (variations anormales de la tension, déphasages, fuites de courant, surintensités, etc.).
La salle serveur de l’école comporte des baies qui sont actuellement ondulées individuellement : chaque baie dispose d’un ou plusieurs onduleurs dont la puissance varie de 2kVA à 3kVA, 3kVA étant la puissance maximale qui puisse être branchée sur une ligne 16A monophasée. Certaines baies consomment actuellement plus de 3kVA, les alimenter en se conformant à cette configuration implique d’utiliser deux onduleurs chacun branché sur une arrivée 16A monophasée dédiée. L’un des problèmes posé par cette installation est que lorsqu’un onduleur se vide, l’autre disjoncte instantanément faute de pouvoir supporter la charge totale de la baie, en dépit du fait que sa batterie ne soit pas vide[1].
Par ailleurs, un tableau électrique est généralement alimenté en triphasé, ce qui implique que chaque baie monophasée soit raccordée à l’une des trois phases disponibles sur le tableau. Cette affectation a été décidée par l’électricien qui a installé le tableau lors de la construction de la salle serveur en octobre 2017. Il s’était basé sur la puissance consommée par chaque baie en situation nominale à l’époque. Enedis impose aux entreprises d’équilibrer leur consommation entre les trois phases afin de préserver le réseau de distribution de tout un tas d’effets indésirables[2]. Avec la montée en charge consécutive à l’acquisition de nouveaux serveurs par le CRI, les laboratoires et majeures, la répartition initiale n’est plus pertinente et il convient donc de procéder à des ajustements.
L’acquisition d’un onduleur Eaton 93PS 20kVA a été planifiée il y a quelques mois. Cet onduleur a pour vocation à être directement raccordé à l’arrivée triphasée du tableau électrique de la salle serveur, toutes les baies seront donc ondulées par cet onduleur. Par ailleurs, certaines baies alimentées en 2x16A monophasé seront désormais alimentées en 2x32A triphasé, ce qui permettra de répartir plus simplement la charge sur chacune des phases : la répartition pourra se faire directement sur les PDU[3] et donc serveur par serveur plutôt que baie par baie.
En outre, l’efficacité énergétique des onduleurs double conversion[4] augmente avec la charge, avoir un unique gros onduleur est moins consommateur que d’en avoir pleins de petits car moins d’énergie sera dissipée en chaleur[5].
Un électricien est venu tirer les nouvelles lignes mais il reste encore un certain nombre d’opérations à faire sur le tableau électrique qui ne peuvent être effectuées que hors tension, en particulier il faut : - raccorder l’entrée du nouvel onduleur sur le répartiteur principal ; - raccorder la sortie de l’onduleur sur un nouveau répartiteur ; - retirer les lignes existantes du répartiteur principal ; - brancher les nouvelles lignes sur le nouveau répartiteur ; - mettre en place un mécanisme de bypass pour pouvoir mettre l’onduleur hors-tension en maintenant l’alimentation des équipements électriques (pour pouvoir faire des maintenances sur l’onduleur notamment).
Ces opérations devaient initialement avoir lieu le dimanche 21 novembre mais une indisponibilité du prestataire nous oblige à les décaler au lundi 22 novembre, nous avons fait en sorte qu’elles aient lieu de nuit de sorte à minimiser l’impact sur les ING1 qui vont débuter 42sh le jour même. Il y a un enjeu important à mettre le plus rapidement possible cet onduleur en service car durant l’hiver le réseau électrique est particulièrement sollicité, pour le chauffage notamment, et nous avons déjà rencontrés des problèmes l’année précédente[6].
Une seconde coupure, plus courte, sera nécessaire pour la mise en service définitive de l’onduleur par un technicien d’Eaton, vous en serez averti par news dès que la date m’aura été communiquée.
[1] Dans notre cas où les serveurs disposent chacun de deux alimentations réparties entre les deux onduleurs, la consommation est divisée entre les deux alimentations. La répartition n’est cependant pas complètement uniforme et des disparités peuvent s’accumuler de sorte qu’un onduleur est généralement plus sollicité que l’autre, d’où le fait qu’ils ne se déchargent pas à la même vitesse. [2] En cas de déséquilibre entre les phases, du courant est renvoyé au neutre ce qui peut, dans des situations extrêmes, conduire à une rupture de neutre. Dans ce cas, des phénomènes électriques trop longs à expliquer dans une news peuvent endommager les équipements raccordés sur le réseau voire provoquer des incendies. [3] Un PDU (pour Power Distribution Unit) est une « grosse multiprise » qui permet de distribuer l’électricité à des équipements dans une baie. [4] Les onduleurs double conversion convertissent systématiquement l’entrée en courant continu puis de nouveau en courant alternatif, de sorte à produire une sinusoïde parfaite, y compris en cas de défauts en entrée, au prix d’une efficacité énergétique plus faible sur des petites charges. [5] L’effet Joule se paie deux fois en salle serveur : en énergie perdue et en énergie nécessaire pour que la climatisation compense l’augmentation de température. [6] Cf. la news du 2 novembre 2021, la source de la variation de tension venait d’une consommation électrique supérieure à la production dans le Val-de-Marne, suite à un épisode de froid.
En nous excusant pour la gêne occasionnée,
-- Marin Hannache EPITA - CRI
participants (1)
-
Marin Hannache