Comment gérer dans SSIS le mode d'alimentation Insert or Update
Par Elros

Le , par Elros, Membre éclairé
Bonjour,

Sur SSIS, il n'existe pas de composant prêt à l'emploi gérant l'alimentation en mode Insert or Update. Il existe plusieurs astuces pour régler ce problème dont celle que je vais présenter ci-dessous.

Voici un exemple de data flow gérant l'insertion ou la mise à jour de données.



Le lookup permet d'identifier les lignes présentes dans la cible et de les envoyer dans la branche "Match OutPut". Le cas échéant, elles sont envoyées en insertion dans la branche "No Macth OutPut".
Dans le lookup, nous jointons nos deux tables sur la clé primaire d'un véhicule (ici l'immatriculation du véhicule). Par la suite, nous récupérons l'ensemble des champs que l'on souhaiterait mettre à jour (Nom du loueur, nombre de km, etc.).

Dans le composant colonne dérivée (Checking for update), nous allons tester nos champs sources avec les champs récupérés dans le lookup. Ce qui nous donne ceci :



La formule est simple et permet de tester les valeurs NULL qui peuvent poser des problèmes.
La formule en question :
Code : Sélectionner tout
(ISNULL(LKP_Name) != ISNULL(SRC_Name)) || (!ISNULL(LKP_Name) && !ISNULL(SRC_Name) && LKP_Name != SRC_Name)
Cette formule nous permet de créer un booléen qui nous permettra avec le composant de fractionnement conditionnel de récupérer seulement les lignes à mettre à jour.
La formule ci-dessous sera insérée dans la sortie "AnyChange" et vérifiera si au moins un champ a évolué. Si c'est le cas, la ligne entière sera mise à jour :

Code : Sélectionner tout
Changed_NBKM || Changed_Name
Enfin, le composant OLE DB Commande permettra de mettre à jour nos lignes qui passeront la condition "AnyChange".
Il y'a trois paramétrages à effectuer :
- Choisir la connexion
- Mettre la commande SQL avec les paramètres (sur ssis les paramètres sont sous la forme d'un point d'interrogation) à la place des valeurs à mettre à jour
- Faire le mapping des paramètres avec les colonnes que l'on souhaite (la source Src voiture)



Voilà, maintenant vous êtes capable de gérer une méthode d'Insert or update. Il y'a évidemment d'autres méthodes pour gérer cette méthode d'alimentation.


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster un commentaire

Avatar de Slaveak Slaveak - Membre régulier https://www.developpez.com
le 01/10/2015 à 11:11
Bonjour Elros,

J'ai essayé ta méthode pour remplacer mes "Slowly Changing Dimension Transformation", et effectivement c'est clairement plus efficace ! c'est vraiment impressionnant ! je fais x100 en terme de rapidité de traitement et je peux enfin gérer des grosses volumétrie en upsert !

J'ai tout de même quelques questions sur le sujet (et espérant que ça serve à d'autres que moi...) :
- On ne peut pas inclure une requête en MERGE c'est bien ça ? (pour info j'ai tenté mais on ne peut mapper les params de la commande OLEDB que sur une seule colonne, enfin j'ai pas réussi du moins)
- J'ai un peu du mal à capter comment marche l'entrée sans correspondance... ce qui signifie que si je n'arrive pas à faire la jointure alors je balance la ligne sur le choix que j'ai fais sur le menu déroulant? en l'occurrence Sortie de recherche sans correspondance (et donc je dirais, comportement attendu de ce genre de composant...).
Mais je comprends pas un truc... en temps normal il y a une entrée avec correspondance, la jointure réussie, alors à quoi sert la sortie sans correspondance ? pareil pour la sortie erreur ? En fait la sortie erreur ne sert qu'a gérer les vrais Exception due au composant ?

En espérant avoir été clair dans mes questions.

Slaveak
Avatar de Elros Elros - Membre éclairé https://www.developpez.com
le 08/10/2015 à 13:51
Je ne suis pas certain d'avoir saisi toutes tes questions.

Pour le Merge, tu as qu'une seule clé de jointure (tu peux tricher avec des colonnes dérivées en concaténant deux colonnes mais bon ça fait bricolage). De plus, pour le Merge et le Merge join, tu dois forcément avoir tes deux branches triées.

Pour l'entrée sans correspondance, on va faire avec un exemple concret ;-)
Imagine que tu aies d'un côté une dimension Temps (avec les champs SK_DimTemps et DT_Jour) avec tous les jours de 2000 à 2020 et que de l'autre tu aies une table de fait Facture (avec le champ DT_JourFacture).
Pour récupérer ta clé technique (SK_DimTemps ) de ta dimension Temps, tu dois joindre DT_JourFacture avec DT_Jour.

Maintenant, imagine qu'une facture arrive avec une date 08/10/2025. Tu ne trouveras pas ta clé technique dans la dimension Temps car on s'arrête à l'année 2020.
Du coup, tu peux gérer cette "anomalie" de plusieurs façon :
- Mettre le package en erreur, ton flux s'arrête
- Ignorer l'erreur et continuer le flux (tu n'auras pas ta ligne à la fin)
- Récupérer l'erreur de la ligne pour la stocker dans les logs par exemple
- Récupérer la ligne en "erreur" pour la réinjecter avec une clé technique à -1 par exemple

Pour les sorties en erreur c'est la même idée, cela permet de savoir s'il y'a eu un problème et/ou récupérer l'erreur.

En espérant avoir pu t’éclairer.

Elros
Offres d'emploi IT
Assistant logistique (h/f)
Place des Tendances - Ile de France - Pantin (93500)
Coordinateur SAP - H/F
Hudson - Ile de France - Montigny-le-Bretonneux (78180)
Développeur symfony (H/F)
Troopers - Pays de la Loire - Nantes (44000)

Voir plus d'offres Voir la carte des offres IT
Contacter le responsable de la rubrique SQL-Server