Les disques, cassettes, et bandes magnétiques dans l'environnement z/OS

La nécessité de stocker des données sur un support magnétique à accès direct est apparue dès l'utilisation des ordinateurs. La première demande a été effectuée par l'armée américaine en 1955 qui a abouti à la création du 350 RAMAC : un monstre de plus d'une tonne pour un stockage de 3,75 Mb.

Nous ne présentons que les disques vendus par IBM et ses concurrents à partir de l'apparition du SYSTEM/360.

On peut voir la croissance des capacités du débit et la décroissance du temps d'accès moyen à une information dues au progrès du magnétisme dans les laboratoires des constructeurs.

Les 3390 seront les derniers disques utilisant cette technologie (HDA physiques).

Désormais, la technologie des unités de contrôle utilisant des disques « en grappe », moins chère et offrant des possibilités nouvelles sera la norme.

Dans les années 80, MEMOREX (un concurrent d'IBM pour les disques et la mémoire) présente un tambour électronique. Émulant un 3380, c'est une unité sans pièces mobiles, rien que de la mémoire mais très cher. Il était réservé pour placer des fichiers très utilisés (Temporary Storage d'un gros CICS par exemple). Il n'eut pas le succès attendu. Une anecdote : lors d'une visite du labo MVS de Poughkeepsie, nous avons reconnu un tambour électronique MEMOREX bien que la couleur soit devenue bleue et que les logos aient disparu.

En 1990, EMC (EMC2 à cette époque) proposait des unités de contrôle intégrant des disques du marché, des minis et des micros (« Des disques de PC ! » m'avait dit un commercial d'IBM) 30 % moins cher que les disques IBM et permettant la mise en œuvre des technologies RAID (Redundant Array of Independent Disks).

L'université de Berkeley a défini sept niveaux de technologie RAID.

Quatre sont utilisés aujourd'hui : un pour la performance (RAID 0) et trois pour la sécurité (RAID 1, RAID 5 et RAID 6).

I-B-1. RAID 0▲

Le niveau 0 (appelé également striping ou entrelacement) utilise deux ou plusieurs disques en écrivant les blocs du fichier sur les disques tel qu'indiqué dans la figure ci-contre.

Cela permet d'accélérer la lecture ou l'écriture. Par contre, il n'offre aucune possibilité de restaurer un fichier après la perte d'un des disques.

Il est souvent utilisé en complément des autres niveaux.

I-B-2. RAID 1▲

Le niveau 1 a pour but de dupliquer l'information à stocker sur deux disques. On parle de mirroring pour désigner ce procédé.

La sécurité est assurée par redondance. Si un des disques tombe en panne, l'autre continue à fonctionner.

En contrepartie la technologie RAID1 est très onéreuse étant donné que chaque volume principal doit être doublé. Seule la moitié de la capacité de stockage est effectivement utilisée. Pour des raisons de performance, c'est ce niveau qui est utilisé dans les baies de disques.

I-B-3. RAID 5▲

Dans ce mode, les données sont stockées au niveau du bloc et la parité est calculée au niveau d'un secteur (plusieurs blocs) et répartie sur l'ensemble des disques.

Le mode RAID 5 permet d'obtenir des performances très proches de celles obtenues en RAID 0, tout en assurant une tolérance aux pannes élevée, c'est la raison pour laquelle c'est un des modes RAID les plus intéressants en termes de performance et de fiabilité.

Il faut au moins trois disques pour implanter un mode RAID 5.

I-B-4. RAID 6▲

I-B-5. RAID 1+0 ou 10▲

La structure représentée est très simplifiée et contient les principales fonctions qu'assure la baie de disques :

• Gestion des interfaces avec les différents types de canaux pour z/OS (FICON) ou les systèmes distribués (Fiber Channel, iSCSI). La baie peut généralement accepter de partager les disques qu'elle contient entre les deux systèmes d'exploitation, mais chacun d'eux ne connaît que les disques qui lui sont attribués. L'étanchéité est absolue, car les modes d'enregistrement des données sont différents : CKD (Count Key Data) pour z/OS et FBA (Fixed Block Architecture) pour les systèmes distribués. Seul le logiciel de gestion du constructeur implanté dans la baie peut « voir » les deux espaces disques.

Si les disques sont répliqués, des canaux Fiber Channel sont utilisés pour la connexion avec la baie de disques distante.

• Gestion des données en lecture :

  • Si cette donnée est présente dans le cache, elle est passée à l'interface avec un canal (qui n'est pas forcément celui qui a initié la requête) afin de transférer celle-ci vers la CPU.
  • Dans le cas contraire, une requête est faite vers l'interface avec les unités de stockage où elle réside. C'est un « READ MISS » qui est comptabilisé dans les statistiques de RMF. Lorsque la donnée est remontée dans le cache, l'interface avec les données est avertie et la transfère vers un canal.

• Gestion des données en écriture. L'interface avec les données vérifie qu'une zone de la mémoire non volatile (NVS) est disponible pour y stocker cette donnée :

  • Si oui, elle écrit cette donnée dans la mémoire non volatile et indique à l'interface avec les canaux que la donnée est stockée. L'interface avec les unités de stockage se charge d'écrire en asynchrone la donnée sur le disque qui lui est attribué. La donnée étant écrite dans la mémoire NVS, elle est conservée dans cette mémoire tant qu'elle n'est pas écrite sur un disque, même en cas de coupure d'électricité de la baie.
  • Si non, l'interface avec les données libère un espace dans la NVS avant de la stocker. C'est un « WRITE MISS » qui est également comptabilisé dans les statistiques RMF. Elle indique alors à l'interface avec les canaux que la donnée est stockée dans la baie. L'interface avec les unités de stockage se charge d'écrire la donnée sur le disque qui lui est attribué comme précédemment.
• Gestion de la mémoire cache : cette mémoire est généralement de grande taille (multiple de 64 Gb). Les données y résident en fonction des requêtes faites par les applications. Plus une donnée est référencée en lecture, moins elle a de chance d'être supprimée du cache (on dit maintenant « Hot Data ») et d'être présente lorsqu'on la demande.

• Gestion des unités de stockage :

  • En lecture, elle assure la remontée des données vers le cache lorsque celles-ci doivent être recherchées sur les différents disques dont la baie est équipée. Plusieurs blocs de données sont généralement remontés dans le cache en prévision des demandes futures (lecture séquentielle par exemple). Chaque constructeur possède son propre algorithme de prévision.
  • En écriture, elle assure le transfert des données de la mémoire non volatile vers un ou plusieurs disques physiques dont la baie est équipée.

• Les unités de stockage sont généralement de trois types :

  • Les disques dits « HDD » qui sont connectés à l'interface par des liens Fiber Channel. Leurs capacités sont de 146 à 300 Gb à 15 000 tr/mn (ils coûtent très cher !), de 600 Gb à 1,2 Tb à 10 000 tr/mn.
  • Les disques SATA (Serial ATA) ou SAS (Serial Attached SCSI) sont également connectés par des interfaces plus simples et moins coûteuses que les liens Fiber Channel. Leur capacité actuelle est de 1,6 et 3,2 Tb à 7 200 tr/mn. Ces disques sont moins chers que les précédents.
  • Les disques SSD (Solid State Device) ne contiennent pas de pièces mécaniques (plateaux, bras, moteurs), uniquement de l'électronique (mémoire Flash généralement). De ce fait, leur temps de réponse est très court. Leur capacité actuelle est de 200 et 400 Gb. Il coûte plus cher que les disques « HDD », mais on peut penser que dans l'avenir ils concurrenceront ces disques.

Les constructeurs annoncent des configurations de baies de disques d'une capacité supérieure à 1 Pb et un débit supérieur à un million d'E/S par seconde.

I-D-1. Le PAV▲

I-D-2. PAV statique▲

I-D-3. PAV dynamique▲

I-D-4. HyperPAV▲

I-D-5. Extended Address Volume▲

I-D-6. zHPF▲

Le schéma ci-dessous indique le cheminement des actions pour lire ou écrire un bloc sur disque :

1. L'application effectue une requête à la méthode d'accès pour une lecture ou une écriture (GET, PUT, READ, WRITE).
2. La méthode d'accès détermine si la requête doit conduire à une lecture ou à l'écriture d'un bloc de données. Cela ce traduit par la réalisation d'un EXCP (Execute Channel Program).
3. Cet EXCP construit les CCW (Channel Command Word) ou les DCW (Device command Word), fixe les pages des buffers et des CCW ou DCW, etc. L'I/O Supervisor place l'EXCP dans une file d'attente qui sera traitée par le SAP (System Assist Processor).
4. Ce SAP est un des processeurs de la machine z. Il est spécialisé dans le traitement des E/S par un microcode spécifique. Il peut y avoir plusieurs SAP dans une machine z. À partir des UCB, il sélectionne l'unité destinatrice et effectue une instruction START SUBCHANNEL (SSCH) à destination du système de gestion des canaux.
5. Celui-ci sélectionne un chemin entre un canal (CHPID) et l'unité de contrôle du disque et initialise la commande vers l'unité de contrôle.
6. L'unité de contrôle vérifie la disponibilité de l'unité et initialise l'E/S sur l'unité. Dans certains cas, elle libère le canal qui peut être utilisé pour une autre E/S. L'unité de contrôle attend que l'opération soit effectuée (lecture ou écriture).
7. Le disque exécute la commande afin de retrouver l'enregistrement ou d'écrire un enregistrement.
8. Lorsque l'opération est terminée, l'unité de contrôle est avertie et récupère les données dans un buffer afin de les rendre en cas de lecture.
9. Le contrôleur déconnecte alors l'unité qui libère les buffers utilisés et remonte l'information vers un canal qui n'est pas forcément celui qui a initialisé l'E/S.
10. Lorsque l'opération est terminée, le canal signale la fin en provoquant une interruption au niveau z/OS (FLIH = First Level Interrupt Handler) afin d'indiquer la fin de cette opération.
11. Le SAP traite cette interruption et lance un test sur ce canal (TSCH) afin de connaître l'état de l'opération (réussie ou non).
12. L'EXCP indique que l'E/S est terminée en « postant » un ECB (Event Control Block) dans la méthode d'accès et active le dispatcheur de z/OS.
13. Le dispatcheur réactive alors la méthode d'accès.
14. L'application est avertie de la fin de l'E/S et peut continuer le traitement.

Sans vouloir rentrer dans les détails de la gestion des performances des baies de disques, la connaissance de quelques indicateurs est nécessaire.

L'objectif principal est le temps de réponse de l'E/S afin d'offrir un bon service à l'utilisateur derrière son écran.

Le tableau ci-dessous présente un extrait des enregistrements RMF reformatés dans un tableau EXCEL datant de 2007 (Sans HiperPav) sur une durée de 15 mn en heure de pointe :

On ne s'intéresse qu'aux volumes dont le débit en lecture est supérieur à 50 E/S par seconde.

Les règles généralement utilisées pour les « Read Hits » :

• rien à dire pour des valeurs comprises entre 95 à 100 %,
• à surveiller pour des valeurs comprises entre 90 et 95 %,
• faire une action si le taux est inférieur à 90 % (équilibrer les disques ou unités de disques ou ajouter du cache à la baie de disques).

Par contre, le « Write hit » doit toujours être égal à 100 %.

Le temps de réponse est la somme de :

Tr = IOSQ time + Pending time + Disconnect time + Connect time

• L'IOSQ time n'est pas nul en l'absence ou avec une mauvaise configuration des PAV.
• Le Pending time peut être dû à un RESERVE placé par une autre partition ou de l'unité de contrôle non prête qui provoque l'attente du canal pour exécuter l'E/S.
• Le Disconnect time peut être dû à la copie synchrone à distance, un Read miss ou l'unité de contrôle occupée.
• Le Connect time représente le temps de transfert des données vers le canal.

Les baies de disques disposent de fonctionnalités (payantes naturellement) dont nous présentons les plus courantes. Nous utiliserons la dénomination d'IBM, chaque constructeur les décline sous d'autres noms.

I-G-1. PPRC (Peer to Peer Remote Copy)▲

I-G-2. XRC (Extended Remote Copy)▲

I-G-3. FlashCopy▲

I-G-4. Migration de baies▲

II-A-1. Les bandes et cassettes▲

II-A-2. Utilisation de TMM▲

II-A-3. Une unité particulière : 3850▲

II-A-4. Le coffre▲

Les lecteurs de cassettes pour les configurations système z sont essentiellement basés sur l'architecture des 3490 et des 3590.

Les unités 3490 étaient et sont toujours adaptées aux sauvegardes intégrées des applications de production caractérisées par :

• la faible taille de ces sauvegardes (moins de 1 Gb généralement),
• la limite d'un BLKSIZE de 32K par les méthodes d'accès.

C'est ce type d'unité qui est utilisé pour les cassettes virtuelles.

La grande différence de capacité entre les 3490 et 3590 implique un faible taux de remplissage pour ces sauvegardes car souvent, le gap entre les enregistrements est supérieur à la taille de l'enregistrement.

Les 3590 seront utilisées beaucoup plus efficacement avec des tailles de blocs très importantes. Aujourd'hui, certains lecteurs permettent des tailles de blocs jusqu'à 2 Gb.

De plus, ces unités possèdent des fonctionnalités transparentes pour l'utilisateur :

• Encryptions du contenu afin d'interdire la lecture des données sur un site n'ayant pas les clés d'encryptions.
• Compression du contenu afin de diminuer la taille des données sur les cassettes.
• Cassettes WORM (Write Once Read Many) : cette technologie de stockage facilite la création d'archives conformes aux originaux, par exemple pour les E-Mails ou les données financières (relevés de comptes bancaires).

Afin de diminuer l'activité de montage et démontage des cassettes, les lecteurs ont d'abord été équipés de chargeurs pour les cassettes SCRATCH, puis ont été intégrés dans des librairies contenant plusieurs centaines de cassettes qui ne nécessitaient plus de montages manuels et sont souvent placées dans des locaux sans présence humaine.

Dans les années 80 certaines librairies étaient à base de robots de l'industrie. Elles ont disparu peu à peu. Ne sont restés que les silos de StorageTek bien connu dans les sites informatiques et que l'on voit souvent lors de reportages télévisés sur des sociétés informatiques.

Néanmoins, la mise en œuvre de cassettes externes (cassettes venant de sites externes comme les nouvelles versions du système d'exploitation) nécessitent une présence humaine pour leur introduction dans la librairie et leur reconnaissance par les gestionnaires de bandothèques.

L'utilisation insuffisante des cassettes de forte capacité (3590) et le nombre limité de dérouleurs disponibles pour l'exploitation ont conduit à la création d'unités interfaces entre les utilisateurs et ces cassettes.

Ces unités (VTL, VSM ou VTS selon les constructeurs) utilisent un buffer de disques comme pour les baies de disques pour stocker les données à écrire sur cassettes et émulent un grand nombre de dérouleurs virtuels (jusqu'à 256).

Ce sont les mêmes disques que pour les baies (Disques Fiber Channel ou SATA mais pas de SDD) en RAID 5 ou 6. Les disques SSD sont utilisés pour la performance en lecture des baies de disques. Pour les sauvegardes ou le ML2 de DFSMShsm, cet aspect performance est secondaire. Le coût des disques SSD rendrait les unités de cassettes virtuelles très chères.

Les applications n'ont plus à attendre un dérouleur et les techniques d'écriture permettent de mieux utiliser les cassettes réelles.

L'écriture de données par une application s'effectue sur les disques de l'unité (c'est un volume logique identifié par le VOLSER). L'écriture sur cassette de ce volume peut s'effectuer dès la fermeture du fichier par l'application ou ultérieurement.

Une interface web intégrée à l'unité permet :

• la gestion des volumes logiques et physiques,
• la définition et la modification des constructs SMS spécifiques aux fichiers sur cassettes,
• la sauvegarde et la restauration des constructs SMS.

Le pool de disques est géré par l'unité de contrôle de virtualisation :

• allocation d'un espace suffisant pour l'écriture. La taille standard est obtenue par la DATA CLASS des fichiers cassettes. Elle est généralement un multiple de 400 Mb,
• allocation d'un espace suffisant pour charger les données lors d'une opération de lecture,
• transfert des données des disques vers les cassettes en tâche de fond,
• tenue des statistiques d'utilisation du buffer disques et des cassettes,
• remontée des alertes en cas de dépassement des seuils d'utilisation.
  Ces alertes peuvent être traitées par un logiciel de gestion des opérations (System Automation, CA-OPS ou autre) afin d'être remontées vers le point focal de surveillance.

Nota : certaines commandes de l'interface peuvent être exécutées par commandes z/OS (LIBRARY REQUEST, etc.).

Ces unités permettent également :

• la compression du contenu afin de diminuer la taille des données sur les cassettes,
• la déduplication : les données stockées sur cassettes comportent souvent une répétition du contenu. Associée à la compression, une analyse permet - à la volée - de remplacer les données répétées par un code et ainsi diminuer considérablement la taille stockée (près de 90 % annoncé par les constructeurs).

Comme pour les fichiers disques, les données peuvent être répliquées sur un site distant. Seules différences :

• Le transfert vers le site secondaire s'effectue lors du CLOSE du fichier sur cassette sur le site primaire.
• La réplication entre les sites utilise des liens ETHERNET avec le protocole TCP/IP plus simple et moins coûteux que les liens Fiber Channel (mais moins rapide).

En 2011 sont apparues des unités de cassettes virtuelles dites « TAPELESS » c'est-à-dire sans lecteurs de cassettes physiques connectés. L'ensemble des données est conservé sur les disques dont elles sont équipées.

L'avantage principal de ces unités est que les données étant déjà dans l'espace disque, leur restitution est quasi immédiate. Plus besoin de rechercher les données sur les cassettes. Ceci est appréciable pour le niveau ML2 de DFSMShsm.

Ces unités occupent moins de place dans les sites (pas de librairies de cassettes), consomment moins d'énergie (électrique, climatisation) et semblent globalement moins coûteuses en exploitation.

L'absence de cassettes permet d'éliminer la perte de cassette ou des cassettes illisibles et la suppression des problèmes de robotique (réglage des lecteurs, maintenance, etc.).

Autre avantage, les tests de reprise d'activité sur le site de secours peuvent être effectués sans interruption de la réplication.

Par contre, l'espace disque doit être suffisant pour ne pas provoquer de blocage lors de l'allocation d'une cassette virtuelle pour écriture.

Ces unités peuvent être couplées ensemble et offrir des tailles de buffer disque supérieures à 1 Petabytes.

Ces unités représentent l'avenir (le « tout disque » espéré depuis plusieurs années). Encore faut-il vaincre les hésitations de certains utilisateurs car pour eux, une sauvegarde est forcément sur cassettes (le poids du passé !).

La notion de coffre existe toujours dans une production informatique mais son rôle a évolué.

Les opérations de mise au coffre ne sont plus manuelles. Elles sont automatisées grâce aux librairies ou par l'utilisation d'unités de cassettes virtuelles « TAPELESS ».

De plus, les directives Bâle III pour les établissements financiers vont conduire à la création d'un troisième site afin d'assurer de nouveau le service suite à la destruction des deux premiers.