Transformer un travail manuel en recette explicite
Chaque mois, une équipe reçoit trois exports de ventes, les ouvre dans Excel, corrige des dates et copie les lignes dans un fichier final. La méthode fonctionne jusqu’au jour où une colonne change de nom ou qu’un montant au format texte échappe au contrôle. Power Query permet de décrire cette préparation sous forme d’étapes réexécutables. Il ne dispense pas de réfléchir aux règles : il rend leur application répétable, y compris lorsqu’une règle incorrecte a été enregistrée.
Dans ce cas pédagogique, notre objectif est une table de lignes facturées, avec une date exploitable, une référence produit stable et un montant numérique. Nous conserverons aussi le nom du fichier d’origine pour retrouver une anomalie. Le résultat attendu n’est pas seulement un bouton Actualiser qui se termine sans erreur. Il faut pouvoir expliquer les lignes conservées, les lignes exclues et la façon dont les totaux ont évolué entre la source et la table chargée.
Définir le contrat d’entrée avant le nettoyage
Inventoriez les colonnes nécessaires et leur signification : NumeroFacture, NumeroLigne, DateFacture, ReferenceProduit, Quantite et MontantHT. Demandez si le séparateur décimal est une virgule et si les dates suivent jour/mois/année. Vérifiez aussi si le fichier contient des titres, sous-totaux et lignes vides. Ces éléments ne sont pas tous des observations commerciales. Une ligne Total ne doit pas rejoindre la même table que les lignes qu’elle additionne.
Préparez un petit jeu d’entrée contenant volontairement une date invalide, un montant vide, un produit inconnu et un avoir négatif. Ce jeu est plus instructif qu’un export parfaitement propre. Il révèle comment votre requête réagit aux situations attendues. Notez pour chaque cas la décision métier : rejeter la ligne, la mettre en quarantaine ou accepter une valeur manquante. Un contrat clair évite de transformer chaque nouvelle actualisation en débat improvisé sur la signification d’une cellule vide.
Choisir des types qui respectent le sens des colonnes
La détection automatique est un point de départ, pas une validation métier. Une référence 00125 doit généralement rester du texte afin de conserver ses zéros. Une quantité peut être entière ou décimale selon l’unité vendue. Une date importée comme texte ne possède pas encore le même comportement qu’une vraie date. La documentation Microsoft sur les types décrit notamment l’influence des paramètres régionaux sur les conversions ; utilisez une conversion avec culture explicite lorsque les fichiers l’exigent.
Testez la valeur 03/04/2026 avec votre source : représente-t-elle le 3 avril ou le 4 mars ? Une conversion réussie peut rester sémantiquement fausse. Pour les montants, choisissez la précision adaptée au besoin et évitez les arrondis prématurés. Dans notre exemple, nous préservons la précision fournie, puis nous appliquons les règles d’arrondi comptables au niveau défini par le métier. Le format d’affichage en MAD ne remplace ni le type numérique ni cette règle.
Nettoyer les textes sans inventer des correspondances
Les espaces avant et après une référence sont une source fréquente de rapprochements manqués. Une étape de nettoyage peut supprimer les espaces périphériques et certains caractères indésirables. Conservez cependant la valeur brute si elle sert à investiguer. Transformer tous les noms clients en majuscules n’autorise pas à fusionner automatiquement deux sociétés : le nom reste un attribut descriptif et peut être partagé par plusieurs entités distinctes.
Supposons que « ROUT-01 », « ROUT-01 » suivi d’un espace et « ROUT 01 » apparaissent dans les exports. Les deux premières valeurs peuvent probablement être rapprochées par une règle de nettoyage. La troisième nécessite de connaître la nomenclature. Établissez une table de correspondance validée plutôt qu’un remplacement général de tous les espaces et tirets. Mesurez combien de références changent et combien deviennent identiques après transformation. Une normalisation trop agressive peut créer de faux doublons difficiles à repérer dans le rapport.
Distinguer ajouter des lignes et fusionner des tables
Ajouter des requêtes sert ici à empiler les ventes de janvier, février et mars. Les colonnes doivent représenter les mêmes concepts, même si leur ordre diffère. Fusionner sert à rapprocher les ventes du référentiel produit grâce à une ou plusieurs clés. Avant de développer la fusion, formulez le résultat attendu : chaque ligne de vente doit retrouver au plus une ligne produit. Le choix du type de jointure détermine également les lignes sans correspondance qui seront conservées.
Avec 2 000 lignes avant une jointure externe gauche, nous attendons toujours 2 000 lignes après développement si la clé produit est unique à droite. Si le résultat en comporte 2 180, cherchez les clés répétées dans le référentiel. À l’inverse, une jointure interne peut supprimer les produits inconnus et réduire le total. Ne jugez donc jamais une fusion uniquement à son absence d’erreur. Contrôlez le nombre de lignes, les correspondances manquantes et le montant avant comme après.
Conserver les erreurs comme éléments de diagnostic
Remplacer toutes les erreurs par zéro semble pratique, mais modifie le sens des données. Un montant non lisible n’est pas nécessairement une vente nulle. Construisez plutôt un flux de contrôle qui conserve l’identifiant de ligne, le fichier et la colonne en erreur. Une table de rejet peut alors être transmise au responsable de l’export. La table finale ne doit perdre des observations que selon une politique documentée, pas selon une succession de clics oubliés.
Dans notre exercice, 12 lignes sur 10 000 possèdent un montant invalide. Les exclure peut paraître négligeable en nombre, alors qu’elles représentent peut-être les plus grosses commandes. Mesurez le taux d’erreurs, mais recherchez aussi leur impact potentiel. Ajoutez une alerte de qualité au rapport lorsque le chargement est partiel. Le lecteur doit comprendre qu’un total calculable peut être incomplet. Gardez une trace de la correction attendue pour vérifier que les mêmes anomalies ne reviennent pas chaque mois.
Comprendre le query folding avant de chercher un bouton miracle
Le query folding correspond à la traduction de transformations compatibles en opérations exécutées par la source. Certaines requêtes SQL peuvent ainsi filtrer les lignes et sélectionner les colonnes avant leur transfert. La possibilité dépend du connecteur, de la source et des étapes. Un fichier CSV ne devient pas un serveur de requêtes parce que les mêmes transformations sont visibles dans l’éditeur. La documentation Microsoft explique cette répartition entre source et moteur Power Query.
Sur une base contenant cinq millions de lignes, demandez seulement les deux années nécessaires si le besoin le permet. Vérifiez le comportement réel des étapes et mesurez la durée avec des volumes représentatifs. Un filtre placé tôt facilite souvent le raisonnement, mais l’ordre visible ne raconte pas à lui seul tout le plan d’exécution. Évitez d’ajouter Table.Buffer au hasard : le coût mémoire et le comportement obtenu doivent être mesurés. L’optimisation commence par moins de données inutiles et une source accessible.
Organiser les requêtes pour faciliter les changements
Séparez les requêtes d’extraction, les transformations réutilisées et les tables réellement chargées dans le modèle. Nommez les étapes selon leur intention : « Dates converties avec culture FR » explique davantage qu’un troisième « Type modifié ». Paramétrez les chemins et les environnements quand cela apporte un vrai avantage, mais ne stockez pas de mots de passe dans un paramètre destiné à circuler avec le fichier. Les informations d’authentification suivent le mécanisme de connexion approprié.
Pour une source dossier, filtrez également les fichiers temporaires, les anciennes copies et les formats non prévus. Conservez le nom du fichier assez longtemps pour diagnostiquer une erreur de combinaison. Préparez un test avec un nouveau mois dont les colonnes sont permutées, puis un autre avec une colonne obligatoire absente. Le premier doit rester exploitable si le contrat le permet ; le second doit produire une erreur compréhensible plutôt qu’un tableau vide qui semble valide.
Mini-exercice : contrôler un rapprochement produit
Le fichier de ventes contient 100 lignes totalisant 48 000 MAD. Après fusion interne avec le référentiel, il reste 97 lignes pour 46 200 MAD. On vous demande de publier parce que 97 % des lignes ont été conservées. Quels éléments manque-t-il pour accepter ce résultat ? Écrivez une procédure de contrôle, puis proposez une restitution qui n’efface pas les trois lignes absentes de la vue du responsable.
La correction consiste à rechercher les clés sans correspondance et à examiner les trois lignes, dont le montant cumulé est 1 800 MAD. Une jointure externe gauche suivie d’un indicateur « Produit inconnu » peut conserver les ventes tout en rendant l’anomalie visible, si cette règle est acceptée. Le total reste alors 48 000 MAD. Créez une requête de diagnostic des références manquantes, corrigez le référentiel et vérifiez que les inconnus disparaissent à l’actualisation suivante sans modifier les ventes d’origine.
Valider la requête dans son environnement de fonctionnement
Une requête qui fonctionne sur votre poste ne prouve pas qu’elle sera actualisable dans le service Power BI. Les chemins locaux, les droits, les connecteurs et l’accès réseau peuvent différer. Avant livraison, remplacez les dépendances personnelles par des emplacements administrés et notez les prérequis de connexion. Le besoin éventuel d’une passerelle se décide d’après l’accessibilité et la nature des sources, pas d’après le fait que le fichier a été publié avec succès.
Livrez enfin les contrôles de réconciliation, le contrat des colonnes et un jeu d’essai anonymisé. Le lecteur suivant doit pouvoir ajouter un mois, provoquer une erreur connue et retrouver sa cause. Ces vérifications transforment une suite d’étapes en préparation exploitable. Pour progresser, reprenez une opération manuelle régulière et mesurez trois choses avant et après : temps de préparation, écarts de totaux et temps nécessaire pour expliquer une anomalie. La fiabilité fait partie du gain de productivité.
Préparer une évolution de schéma sans casser les contrôles
Une nouvelle colonne Remise apparaît en avril. Ne l’intégrez pas automatiquement dans le chiffre d’affaires avant de savoir si MontantHT est déjà net de remise. Comparez quelques factures et demandez la définition au propriétaire de l’export. Si le montant est déjà net, déduire encore Remise compterait deux fois la réduction. Le changement de fichier doit donc déclencher une revue sémantique autant qu’une vérification technique des noms et des types.
Préparez une copie de travail avec le nouveau schéma et rejouez les contrôles sur un mois connu. Les lignes antérieures ne doivent pas changer sans explication. Pour une colonne optionnelle, définissez explicitement le comportement des anciens fichiers qui ne la possèdent pas. Pour une colonne obligatoire, préférez un échec visible et documenté à une valeur par défaut trompeuse. Notez la date de changement et la version de la requête afin de pouvoir relier un écart de reporting à une évolution précise.