Installation et configuration de Talend Intégration Suite 2.4.3

Pour sauvegarder vos projets, TIS utilise soit une base MySQL soit SQL Serveur. Pour la suite du tutoriel, nous utiliserons la dernière version de MySQL (gratuite).

Téléchargez et installez la dernière version de MySQL avec votre gestionnaire de dépôts.

Avec les droits root de la machine, configurez le compte root MySQL en lui ajoutant un mot de passe :

# mysqladmin -u root password rootpassword

Connectez-vous à la console MySQL sur la table MySQL avec le compte root MySQL :

# mysql -u root -p mysql

Autorisez l'utilisateur root MySQL à se connecter à distance à la base de données :

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'rootpassword';

Créez la base de données talend_administrator et assignez les droits à l'utilisateur talend_admin (qui sera créé dans la foulée).

mysql> create database talend_administrator;
 
mysql> GRANT ALL PRIVILEGES ON talend_administrator.* TO 'talendadmin'@'localhost' IDENTIFIED BY 'TyidP';
 
mysql> GRANT ALL PRIVILEGES ON talend_administrator.* TO 'talendadmin'@'%' IDENTIFIED BY 'TyidP';

Vérifiez dans la table « user » que les données ont bien été insérées :

mysql> SELECT user, password, host FROM user;

Démarrez le serveur MySQL :

# /etc/init.d/mysql start

Téléchargez et installez les dernières versions de Java suivantes, avec votre gestionnaire de dépôts :

• Java-1_6_0-openjdk : Java Runtime environnement ;
• Java-1_6_0-sun : Java Virtual Machine ;
• Java-1_6_0-sun-devel : Java SDK ;
• Javacc : Java Compiler Compiler ;
• Ecj : Compilateur éclipse pour Java.

Vérifiez que Java JVM est bien installé en affichant la valeur de la variable d'environnement JAVA_HOME.

# echo $JAVA_HOME

Téléchargez la dernière version de Tomcat à l'adresse suivante : http://tomcat.apache.org/. La version utilisée dans ce tutoriel et la version 5.5.26.

Décompressez l'archive dans le dossier où vous souhaitez que Tomcat s'exécute avec la commande suivante :

# tar -xvfz apache-tomcat-5.5.26.tar.gz

Le serveur Tomcat écoute sur le port 8080, mais vous pouvez néanmoins changer la valeur de ce port qui pourrait être en conflit avec le port d'écoute d'Oracle XE par la valeur de votre choix en éditant le fichier apache-tomcat-5.5.26/conf/server.xml.

Lancez le serveur Tomcat avec la commande suivante :

# sh apache-tomcat-5.5.26/bin/startup.sh

Pour arrêter le serveur Tomcat la commande est la suivante :

# sh apache-tomcat-5.5.26/bin/shutdown.sh

Vérifiez que le serveur est bien lancé et configuré en lançant un navigateur web et en vous rendant à l'adresse suivante : http://localhost:8080/.

Le port 8080 peut être différent suivant si vous l'avez changé dans la configuration de Tomcat.

L'interface d'administration de TIS sera accessible par le WEB grâce au serveur Tomcat. Nous allons voir maintenant comment configurer TIS Administrator.

Décompressez l'archive ADM-TISTE-… (suivant votre version) et copiez le dossier extrait dans le dossier webapps de Tomcat.

cp org.talend.administrator.war apache-tomcat-5.5.26/webapps/

Copiez les pilotes MySQL Talend pour l'accès à la base talend_administrator dans le dossier common/lib/ de Tomcat.

cp apache-tomcat-5.5.26/webapps/org.talend.administrator/WEB-INF/lib/mysql-connector-java-5.1.0-bin.jar 
apache-tomcat-5.5.26/common/lib/

Modifiez le nom du dossier où seront sauvegardés les fichiers temporaires de Talend en éditant le fichier de configuration web.xml de Talend.

vim apache-tomcat-5.5.26/webapps/org.talend.administrator/WEB-INF/web.xml

Recherchez la section <temp-directory> et remplacez la valeur c:/temp par /tmp par exemple.

Changez le mot de passe de la page de configuration de la page WEB de Talend (que nous verrons plus tard) en éditant le fichier apache-tomcat-5.5.26/webapps/org.talend.administrator/WEB-INF/classes/database.properties.
Changez la valeur du paramètre database.config.password par un mot de passe différent. Par exemple : talendAdmin

Dans ce fichier vous pouvez changer les informations de connexion au serveur MySQL pour la sauvegarde des projets. Par exemple si vous avez défini une base de données et/ou des identifiants de connexion différents.

Changez maintenant le mot de passe de la page de configuration de la base de données en éditant le fichier apache-tomcat-5.5.26/webapps/org.talend.administrator/WEB-INF/classes/database.properties.

Changez la valeur du paramètre database.config.password=admin par un autre mot de passe plus sécurisé.

Relancez le serveur Tomcat avec les commandes suivantes :

# sh apache-tomcat-5.5.26/bin/shutdown.sh
# sh apache-tomcat-5.5.26/bin/startup.sh

L'administration des projets, la gestion des utilisateurs, l'exécution de jobs sur un autre serveur sont maintenant possibles en se rendant à l'adresse suivante : http://localhost:8080/org.talend.administrator

Avant de vous connecter à l'application web de TIS Administrator, vous pouvez vérifier que la base de données MySQL TIS est bien configurée en cliquant sur le bouton [Go to db config page]. La page suivante vous demande d'entrer le mot de passe de la page de configuration de la base de données (par défaut admin).

• Si tout va bien :

• S'il y a un problème :

Pour remédier à ce problème, cliquez sur le bouton [Save]. Si le problème persiste entrez les identifiants du compte root MySQL et cliquez sur le bouton [Save] puis remettre les identifiants du compte Talend qui sont : talendadmin/TyidP par défaut et cliquez sur le bouton [Save].

Revenez maintenant sur la page de connexion en cliquant sur le bouton [Go to login page]. Entrez maintenant les identifiants suivant : admin@company.com/admin (qui sont les identifiants par défaut pour se connecter à la page d'administration de TIS).

Remarque : si vous rencontrez un problème pour vous connecter, vérifiez la configuration de la base de données (voir explication précédente).

Cliquez maintenant sur l'onglet [License] et entrez votre numéro de licence TIS. Vous devriez maintenant avoir accès aux onglets suivants :

Pour des raisons de sécurité, il est préférable de changer les identifiants du compte admin@company.com/admin. Pour cela, cliquez sur l'onglet [Accounts]. Sélectionnez le compte admin@company.com et cliquez sur le bouton [Edit]. Entrez les nouveaux identifiants et cliquez sur le bouton [Save].

Vérifiez que la configuration de TIS est correcte en cliquant sur l'onglet [Configuration].

Tous les points doivent être en vert sauf pour le paramètre Command line port qui n'est pas encore configuré.

• Projects

Maintenant que TIS est configuré, vous pouvez ajouter un projet, mais avant ajoutez les comptes utilisateurs nécessaires au développement de ce projet en cliquant sur l'onglet [Accounts] puis une fois ceci terminé, cliquez sur l'onglet [Project].

Cliquez sur le bouton [Add]. Entrez les informations nécessaires au nouveau projet et cliquez sur le bouton [Save].

• Locks

Sachant que le développement par TIS est collaboratif, l'onglet [Locks] va vous permettre de déverrouiller un job, un schéma… qu'une personne utilisait et dont le lock n'a pas été supprimé en fin de traitement. Il suffit pour cela de sélectionner la ligne d'un job à déverrouiller et de cliquer sur le bouton [Delete].
ATTENTION de ne pas supprimer une ligne d'un job en cours d'utilisation…

• Servers

L'onglet [Servers] permet de visualiser les serveurs qui pourront exécuter les jobs. Ces serveurs exécutent un software (jobServer) leur permettant d'échanger des informations avec le serveur TIS Administrator et la base de données MySQL afin d'exécuter les jobs à distance.

Installez le job serveur sur les serveurs de production en priorité (voir Installation du job serveur).

• Job Conductor

L'onglet [Job Conductor] vous permet de visualiser et d'ajouter des jobs au scheduler pour qu'ils soient exécutés sur un serveur en particulier (où un job serveur est lancé).

Job serveur est une application qui permet de déployer et d'exécuter des jobs sur l'ordinateur où il est installé.

Avant de commencer le déploiement du job serveur, vérifiez que Java JSE est bien installé sur la machine qui l'exécutera.

Décompressez le dossier org.talend.remote.jobserver_xxx (xxx : la version).

• Pour un ordinateur s'exécutant sous Windows

Éditez le fichier start_rs.bat.

Modifiez les valeurs des variables si nécessaire.

Éditez maintenant le fichier conf/TalendJobServer.properties.

Modifiez les ports pour les variables :
org.talend.remote.jobserver.server.TalendJobServer.COMMAND_SERVER_PORT
org.talend.remote.jobserver.server.TalendJobServer.FILE_SERVER_PORT=8001
org.talend.remote.jobserver.server.TalendJobServer.MONITORING_PORT=8888
si vous souhaitez que job serveur écoute sur d'autres ports.

Modifiez la variable org.talend.monitoring.jmx.api.OsInfoRetriever.OS_PARTITIONS. Cette variable permet d'indiquer les partitions présentent sur le serveur.
Indiquez par exemple une valeur : C:,D: si vous avez deux partitions nommées C et D.

• Pour un ordinateur s'exécutant sous Linux

Éditez le fichier start_rs.sh.

Modifiez les valeurs des variables si nécessaire.

Éditez maintenant le fichier conf/TalendJobServer.properties.

Si vous êtes sur un Linux amd64 bits, changez la valeur de la variable MY_JSYSMON_LIB_DIR par « $MY_ROOT_PATH »/jsysmon-20061229/native/linux_2.6/amd64/

Modifiez les ports pour les variables :
org.talend.remote.jobserver.server.TalendJobServer.COMMAND_SERVER_PORT
org.talend.remote.jobserver.server.TalendJobServer.FILE_SERVER_PORT=8001
org.talend.remote.jobserver.server.TalendJobServer.MONITORING_PORT=8888
si vous souhaitez que job serveur écoute sur d'autres ports.

Modifiez la variable org.talend.monitoring.jmx.api.OsInfoRetriever.OS_PARTITIONS. Cette variable permet d'indiquer les partitions présentent sur le serveur.
Indiquez par exemple une valeur : /,/dev,/home si vous avez trois partitions nommées /, dev et home.

• Pour un ordinateur s'exécutant sous Windows

Double cliquez sur start_rs.bat pour lancer le job serveur. Une fenêtre d'invite de commande se lance. Laissez-la ouverte jusqu'à ce que vous n'ayez plus besoin d'exécuter de job dessus à distance.

Vous pouvez maintenant ajouter ce serveur dans la liste des Servers de TIS Administrator.

Pour arrêter le job serveur, double cliquez sur stop_rs.bat.

• Pour un ordinateur s'exécutant sous Linux

Tapez la commande suivante

sh start_rs.sh

Normalement cette commande ne vous rend pas la main et si vous appuyez sur CTRL + C, le job serveur s'arrêtera. C'est pour cela qu'il est important de mettre cette tâche en tâche de fond sinon quand vous fermerez la connexion SSH.
Pour cela appuyez sur CTRL + Z pour stopper momentanément le job serveur et tapez en suite bg pour mettre cette tâche en arrière plan.

Vous pouvez maintenant ajouter ce serveur dans la liste des Servers de TIS Administrator.

Pour arrêter le job serveur, tapez la commande suivante

sh start_rs.sh

L'utilitaire commandeLine fourni avec TIS-Administrator permet de ce connecter au serveur exécutant TIS et d'exporter / importer des projets.

Exécutez le script commandline.sh (sous Linux) et commandline.bat (sous Windows) sur le serveur maitre (ou en SSH) avec le compte ROOT.
Vous devriez avoir ceci qui s'affiche à l'écran :

Connectez-vous ensuite à la base de données MySQL talend_administrator avec la commande suivante :

Talend> initDatabase -sn localhost -sp 3306 -dn talend_administrator -dl talendadmin -dp TyidP -dd mysql
 
ADDED_COMMAND 1

Si la commande a bien été ajoutée, la ligne ADDED_COMMAND doit apparaître à l'écran.

Explication :

• initDatabse : on initialise la connexion à la base de données MySQL contenant le projet ;
• -sn : nom du serveur (localhost ou adresse IP) ;
• -sp : port MySQL (3306) (ou le port MSSQL suivant votre configuration) ;
• -dn : nom de la base de données (talend_administrator) ;
• -dl : login de l'utilisateur de la base de données (talendadmin) ;
• -dp : mot de passe de l'utilisateur de la base de données (TyidP) ;
• -dd : type de base de données (MySQL ou MSSQL suivant votre configuration).

Vérifiez que la commande a bien été exécutée :

Talend> listCommand -a
 
1:COMPLETED InitCommand init dbsa

Connectez-vous maintenant au projet que vous voulez exporter :

talend> logonProject -pn projetExport -ul jsd@company.com -up jsdpassword
 
ADDED_COMMAND 2 
 
talend>
!ENTRY org.talend.libraries 1 0 2008-08-29 16:13:38.338
!MESSAGE 2008-08-29 16:13:38,337 INFO  org.talend.repository.model.ProxyRepositoryFactory  - Darges, Jean-Sebastien logged on projetExport

Explication :

• -pn : le nom du projet ;
• -ul : login d'un administrateur TIS ;
• -up : mot de passe d'un compte administrateur TIS.

Une fois cette commande ajoutée, un texte assez conséquent s'affiche à l'écran. Cela peut durer un certain temps.
À la fin de l'affichage du texte, vous n'aurez plus l'invite de commande « talend > ». Tapez la commande de listing pour vérifier que vous êtes bien connecté au projet :

listCommand -a
 
2:COMPLETED LogonProjectCommand log on projetExport

Exportez maintenant le projet avec la commande suivante :

talend> exportItems /exportProjet.zip

Explication :

exportItems permet d'exporter tous les objets d'un projet. Pour n'exporter qu'un objet en particulier, affichez la liste des commandes disponibles du commandLine en tapant « help » dans l'invite de commande Talend.

Maintenant que tout c'est bien déroulé, fermez la connexion au serveur avec la commande suivante :

talend> stopServer

Pour pouvoir importer les objets d'un projet, il faut préalablement avoir créé un projet dans la page d'administration de TIS.

Exécutez le script commandline.sh (sous Linux) et commandline.bat (sous Windows) sur le serveur maitre (ou en SSH) avec le compte ROOT.
Vous devriez avoir ceci qui s'affiche à l'écran :

Connectez-vous ensuite à la base de données MySQL talend_administrator avec la commande suivante :

Talend> initDatabase -sn localhost -sp 3306 -dn talend_administrator -dl talendadmin -dp TyidP -dd mysql
 
ADDED_COMMAND 1

Si la commande a bien été ajoutée, la ligne ADDED_COMMAND doit apparaître à l'écran.

Explication :

• initDatabse : on initialise la connexion à la base de données MySQL contenant le projet ;
• -sn : nom du serveur (localhost ou adresse IP) ;
• -sp : port MySQL (3306) (ou le port MSSQL suivant votre configuration) ;
• -dn : nom de la base de données (talend_administrator) ;
• -dl : login de l'utilisateur de la base de données (talendadmin) ;
• -dp : mot de passe de l'utilisateur de la base de données (TyidP) ;
• -dd : type de base de données (MySQL ou MSSQL suivant votre configuration).

Vérifiez que la commande a bien été exécutée :

Talend> listCommand -a
 
1:COMPLETED InitCommand init dbsa

Connectez-vous maintenant au projet que vous voulez importer les objets d'une sauvegarde précédente.

talend> logonProject -pn projetImpor -ul jsd@company.com -up jsdpassword -buc
 
ADDED_COMMAND 2 
 
talend>
!ENTRY org.talend.libraries 1 0 2008-08-29 16:13:38.338
!MESSAGE 2008-08-29 16:13:38,337 INFO  org.talend.repository.model.ProxyRepositoryFactory  - Darges, Jean-Sebastien logged on projetExport

Explication :

• -pn : le nom du projet ;
• -ul : login d'un administrateur TIS ;
• -up : mot de passe d'un compte administrateur TIS ;
• -buc : pour by-passer la vérification de l'utilisateur.

Une fois cette commande ajoutée, un texte assez long s'affiche à l'écran. Cela peut durer un certain temps.
À la fin de l'affichage du texte, vous n'aurez plus l'invite de commande « talend > ». Tapez la commande de listing pour vérifier que vous êtes bien connecté au projet :

listCommand -a
 
2:COMPLETED LogonProjectCommand log on projetExport

Exportez maintenant le projet avec la commande suivante :

talend> exportItems /exportProjet.zip

Explication :

exportItems permet d'exporter tous les objets d'un projet. Pour n'exporter qu'un objet en particulier, affichez la liste des commandes disponibles du commandLine en tapant « help » dans l'invite de commande Talend.

Maintenant que tout c'est bien déroulé, fermez la connexion au serveur avec la commande suivante :

talend> stopServer

Si vous avez des problèmes pour vous connecter en commandLine, pleins de messages d'erreurs, supprimez le cache de connexion du dossier commandline-workspace/ en supprimant complètement le dossier.

# rm -Rf commandline-workspace

Après si vous avez encore des messages du type : impossible de trouver le projet « TOTO », relancez le commandLine et tout devrait revenir dans l'ordre.