Overblog
Suivre ce blog Administration + Créer mon blog
25 septembre 2018 2 25 /09 /septembre /2018 17:47

Déjà avec la version 9, et de manière plus importante aujourd'hui avec la version 9.0.18, BMC met l'accent sur les API.

Control-M Automation API offre un accès web service en REST à certaines fonctionnalités  du Control-M/Enterprise Manager.

Pour l'utilisation de ces fonctions il faut distinguer 2 types d'approches :

  • La première qui est le cœur de cible des équipes de développement de BMC, est de simplifier l'accès à Control-M à vos  équipes de développement applicatif.
  • La seconde approche est celle qui permet d'offrir aux administrateurs Control-M un autre type de commande en ligne.

La première, dans l'esprit DevOps, que BMC appelle "Job-as-Code" permet à un développeur soit d'utiliser le Workbench, soit d'utiliser un environnement Control-M installé (Environnement de Développement ou de Test par exemple).

Le Workbench est un mini environnement Control-M encapsulé dans une Oracle VM Virtual Box qui se télécharge sur internet et s'utilise gratuitement. Au travers des services REST, les développeurs vont pouvoir installer à distance un Control-M/Agent sur leur serveur applicatif, le compléter avec un Control Module Database, Hadoop ou Managed File Transfer. Soit directement en cURL, soit via l'interface Java JNode qui permet d'exécuter les commandes de l'Automation API.

Console Web Control-M Workbench

Il leur sera aussi possible de définir des jobs et des chaines de traitements au format JSON, de les déployer, de les exécuter et même de les visualiser dans une interface Web rappelant celle de Control-M Self-Service. Ces développements peuvent bien évidemment être réalisés, gérés et orchestré depuis leurs consoles de développement comme Eclipse. Et peuvent ainsi rentrer dans un processus de gestion des évolutions et des versions.

Les fonctionnalités proposées par BMC au travers des Automation API sont diverses et seront fort probablement enrichies dans l'avenir pour couvrir la quasi-totalité des fonctions aujourd'hui couverte par les commandes en ligne.

Ligne de commande via JNode

Sans en faire un complet catalogue, aujourd'hui  outre l'import et l'export de jobs au format JSON et leur mise au plan, il est possible de gérer les Control-M/Agents et les Remote Host, les Connection Profiles de certains Control Modules, mais aussi les Hosts Groups, les conditions et les ressources. Il est aussi possible d'appliquer des règles de changement de noms sur les JSON de jobs pour réaliser des changements d'environnement (Test vers Pré-Production, ou Recette vers Production).

Application en PHP utilisant les services REST

 

Ce sont toutes ces fonctions qui peuvent permettre aux administrateurs Control-M d'offrir aux utilisateurs de nouvelles fonctionnalités soit en développant de simples scripts ou des applications Web s'appuyant sur des commandes cURL.

 

 

Il est à noter aussi que le nouveau Control-M Report ne propose plus de commande en ligne comme l'ancien "emreportcli", car celui-ci a été remplacé par un service "reporting" du Control-M Automation API. Pour générer un rapport via un job ou une commande en ligne, il faut désormais le faire soit via JNode et le client Automation API, soit via une commande cURL.  

Des documentations et des templates de scripts ou de JSON pour Control-M Automation API sont disponibles librement sur internet (voir ci-dessous), tout comme le téléchargement de Oracle VM Virtual Box, de JNode ou du Workbench. Les avant-ventes, le support et les labs de BMC sont très réactifs sur ces sujets novateurs. Mais c'est notre rôle d'intégrateur d'apporter les réponses en matière d'accompagnement, aux  développeurs qui en auront besoin pour comprendre les mécanismes et le fonctionnement de Control-M, ou aux administrateurs qui en auront aussi besoin pour utiliser les Web Services REST via le client JNode ou cURL.

Si le sujet vous intéresse, si vous avez des projets, vous pouvez me contacter.

 

Quelques liens pour en savoir plus :

Partager cet article
Repost0
13 février 2018 2 13 /02 /février /2018 12:04

Mon dernier projet atypique touche à sa fin. Dans quelques jours, les chaines de traitements de mon client Suisse seront en Production sous Control-M.

Ces batchs étaient ordonnancés par Microsoft Orchestrator, l'ex OPALYS, qui est devenu un puissant Orchestrateur pour les mondes Windows, mais qui n'a pas la robustesse et l'exploitabilité d'un Ordonnanceur. C'est pourquoi le client a souhaiter migrer la partie traitements de sa Production vers Control-M tout en laissant à Orchestrator ses prérogatives.

Nous avons extrait en automatique et non sans mal, des 2.700 objets contenus dans l'export de MS Orchestrator, les données nécessaires à la constitution des chaines de traitements dans Control-M (scripts, users, horaires, planifications, ...). Un objet d'orchestrateur est très intéressant en terme de définition, car il contient des tas d'informations passionnantes : l’icône, la couleur de l’icône, sa position X,Y, . . .. Il a fallut aussi gérer les identifiants d'objets (programmes, scripts, liens, triggers, ...) au travers de leurs codes à 36 chiffres entourés par des accolades. Système d'identification si caractéristique à Microsoft.

Cela a permis d'extraire les liens entre programmes, d'extraire les planifications ou de décoder les runbooks appuyés sur des triggers.

Une fois le modèle de données établi avec les chaines de traitements souhaitées pour la conversion, nos outils offre ensuite la possibilité d'appliquer les règles de nommages (Normes) Control-M définies avec le client pendant le projet et de livrer un XML pour réaliser des tests et validations.

Un ordonnanceur de plus qui vient compléter ma collection de produits migrés. J'avais déjà traiter un export de l'orchestrateur C2O pour une avant-vente, et les données de VEGA pour d'autres.

Mes outils viennent en complément du Conversion Tool de BMC qui ne peut pas prendre en charge tous les ordonnanceurs du monde et dans le cadre d'une conversion universelle "qui marche" ne peut pas faire de cas par cas. Comme entre autre la mise aux normes et standards répondant aux besoins métier du client final.

 

C'est là que dans un projet de migration d'ordonnanceur, l'intégrateur prend tout son intérêt.

 

Partager cet article
Repost0
19 décembre 2017 2 19 /12 /décembre /2017 09:47

Belle journée le 23 novembre 2017 à Coeur Défense pour le BMC USer Group France 2017.

Nous avons fait le tour de tous les modules qu'offre la solution Control-M. Et ils sont nombreux donnant toute sa plus-value à l'ordonnanceur de BMC.

"Je cloud, tu cloud, il cloud " . . . . Nous avons aussi appris à conjuguer le virtuel au présent et au futur.

Petite page de pub à la mode, . . . Hadoop doop doop doop doop !  Mais bon, bien que les auditeurs se sentaient un peu concernés par le sujet (projets à l'approche), on voyait bien que ce n’était pas la priorité du moment.

Même si Adriana n’était pas là, beau témoignage client sur l'implémentation de Control-M chez l'un des clients de SMC Consulting IT. Le DSI et le responsable de Production dans la salle semblaient très satisfait du produit et de sa mise en œuvre. Avec le coté structurant de la normalisation apporté par la solution et le projet.

Enfin, une roadmap qui nous a laissé sur notre faim (le buffet aussi !). De nombreuses fonctionnalités évoquées l'an passé semble avoir disparues. Un gros effort et donc une grosse consommation de temps pour la mise en HTML5 et l'amélioration du Change Manager (pour ceux qui l'ont !). M'enfin, les Folders cycliques devraient être au rendez-vous. Ainsi que le support d'un Postgre non BMC.

Rendez-vous donc en janvier/février 2018 pour la sortie de celle qui devrait s’appeler la 9.0.18 et qui doit s’implémenter comme un "gros" patch de la v9.

 

Partager cet article
Repost0
8 décembre 2016 4 08 /12 /décembre /2016 17:34

Le jeudi 17 novembre nous avons été reçus par BMC pour le BMC Exchange Paris au Palais des congrès d'Issy les Moulineaux.

Séance plénière le matin sur la transformation digitale avec en invité d'honneur Fabien Galthié l'ancien capitaine du XV de France qui nous a parlé de l'utilisation des données dans le coaching rugby en faisant le parallèle avec les activités de l'IT.

On avait pu auparavant voir l'un de nos avant-ventes Control-M France sur la grande scène présentant une mise en situation des produits BMC dans l'entreprise digitale où l'ordonnanceur tenait une grande place.

 

L'après-midi ont débuté les ateliers techniques autour de Control-M. Après une Introduction par Gur Steiff, le patron des labs sur la position de la Production et l'ordonnancement dans la transformation digitale, les avant-ventes BMC nous ont présenté les nouveautés.

Le module Managed File Transfert (MFT) qui doit à terme remplacer AFT. A la différence de son prédécesseur, il est désormais équipé d'un dashboard affichant les performances de transferts, les taux d'activités (OK, KO, en cours, …) et la volumétrie. On peut aussi quitter la vision "au job" pour avoir une vision "au fichier" grâce à un outil de recherche sur les paramètres de transferts présenté sous forme de tableau. Cette outil et aussi disponible dans la nouvelle version en HTML5 du Self-Service (v9 FP3). Cette vue offre à MFT un moniteur de transferts.

Pour les utilisateurs des protocoles PeSit, BMC nous a présenté une solution alternative au leader du marché au travers des outils développés par CEDRICOM et facilement intégrable dans Control-M avec l'Application Integrator. Mais nous aurons l'occasion d'en reparler.

Les Automation API sont des outils appuyés sur un serveur Java devant permettre aux développeurs avec leurs outils, comme Eclipse par exemple et à partir de fichier au format JSON de définir des jobs depuis leurs environnement de développement. Les jobs peuvent être définis, chargé en exécutés directement dans un environnement Control-M de test. Ces API sont livrées avec le FP3 de la version 9. L'utilisation du format XML (deffolder) est aussi possible, mais moins proche des habitudes des développeurs. Les outils et les fichiers peuvent aussi être utilisés en mode commande.

La présentation suivante était sur le Big Data et sur les fonctionnalités du Control Module for Big Data destiné essentiellement à Hadoop.

Nous avons poursuivi avec l'intégration de Control-M dans le Cloud. Partant du constat que : "D'ici 2020, une entreprise "sans-cloud" sera aussi rare qu'une entreprise "sans-internet" aujourd'hui". BMC propose des plateformes Control-M disponibles sur les market zones d'Amazon (AWS) avec la base AWS RDS et de Microsoft Azur avec la base Azur SQL. Il est aussi possible d'utiliser Post-GRE sur ce type de plateforme.

Attention, la licence dite "à la CPU" ne permet pas d'utiliser ce type de serveur (tant comme serveur que comme Agent). Et il est à noter que pour faire un essai, sur Amazon, seul de coût du serveur est facturé pendant 14 jours.

 

Enfin, ce que nombreux clients attendent tous les ans, c'est la présentation de la road map par les labs. Le premier grand changement sera dans le mode de versioning. La Prochaine version devrait être la 9.0.17, elle devrait se présenter comme un "gros patch" de la version 9 et sortir courant novembre 2017. Ces version "annuelles" seront entrecoupée de 2 Fix Packs entre chaque.

Pour MFT, un dash board avec plus de Widget, et l'étude d'autres protocoles comme HTTP et HTTPS.

Pour le Reporting Facility, une réécriture est en cours en BIRT. Le Workload Archiving sera porté sur Oracle, avec une recherche plus avancée.

Le toolkit de migration, propose un outil permettant de créer sa propre migration pour migrer des ordonnanceurs non standards et il proposera prochainement un convertisseur Connect Direct vers MFT.

Le portage de Workload Change Manager en HTML5 est en cours. Et celui-ci proposera prochainement des import/export des règles de normes (Sites standrards).

Concernant l'ordonnanceur proprement dit, citons quelques innovations :

Nous allons enfin disposer d'un SMART Folder cyclique ! Depuis le temps que l'on attendait.

Les jobs BIM pourront être définis de manière cycliques.

On devrait pouvoir simuler les variables,

Et combiner des règles calendaires avec des horaires dans les jobs.

Bien sûr, les promesses de road map n'engage que ceux qui les ont lues !

Après un verre de l'amitié, nous nous sommes donné rendez-vous l'an prochain. Probablement pour la sortie de la nouvelle version de Control-M. D'ici là pour ceux qui n'y sont pas, l'objectif c'est de monter en v9 car la 9.0.17 ne sera accessible que depuis cette version.

 

Partager cet article
Repost0
21 octobre 2016 5 21 /10 /octobre /2016 08:24
http://www.bmcsoftware.fr/forms/XPL-BMCExchange-Paris-NOV16-Email.html?email_source=SMCConsultingIT

http://www.bmcsoftware.fr/forms/XPL-BMCExchange-Paris-NOV16-Email.html?email_source=SMCConsultingIT

Comme tous les ans, aura lieu le BMC Exchange avec sa partie Control-M. Les avant-ventes BMC vous présenterons les nouveautés de la solution arrivée avec la sortie du Fix Pack 3 de l'Enterprise Manager. Le nouveau Control module MFT qui va remplacer l'AFT. Mais aussi le nouveau mode de licence.Les labs de développement vous informeront sur les évolutions.


Le jeudi 17 novembre 2016 de 8h30 à 18h30 au Palais des Congrès d'Issy, 25 avenue Victor Cresson à Issy les Moulineaux.

Vous pourrez m'y retrouver sur le stand de SMC Consulting IT pour parler de vos problématiques d'ordonnancement, de vos projets de montée de niveau, de notre retour d'expérience sur la v9 ou de vos besoins de formations.

Cerise sur le gâteau pour l'ancien rugbyman que je suis, la présence sur la journée de Fabien Galthié ancien capitaine du XV de France.

Inscrivez-vous

 

Partager cet article
Repost0

Présentation

  • : Batch Processing blog
  • : Blog d'Alain LECLAIR consultant expert en Workload Automation et Industrialisation de Productions informatiques.
  • Contact

Recherche

Catégories