← points de vue
17 juin 2025

dbt-fabric appelé depuis un notebook Fabric

Une plateforme intégrée ne prévoit pas toujours d’endroit où exécuter un projet dbt. Le point d’entrée Python de dbt en fournit un, à condition d’accepter quelques particularités.

Sur une plateforme de données intégrée, l’entrepôt expose un point de terminaison SQL, et l’adaptateur dbt correspondant existe. Une question simple reste bloquante : où exécuter la commande. Il n’y a pas de machine sur laquelle déposer un projet et lancer une commande à cinq heures du matin, seulement des notebooks et un ordonnanceur capable de les déclencher. La solution passe donc par une bibliothèque plutôt que par de l’infrastructure.

01dbt comme bibliothèque

On oublie souvent que dbt peut être appelé depuis Python. `dbtRunner` exécute les mêmes commandes que la ligne de commande et renvoie un objet au lieu d’un code de sortie : la liste des modèles, leur état, leur durée. Dans un notebook, cela évite d’analyser une sortie texte pour savoir ce qui a échoué.

python
from dbt.cli.main import dbtRunner, dbtRunnerResult

# The project is mounted from the lake: it stays versioned elsewhere, and the
# notebook holds no copy of it that could drift.
PROJECT = "/lakehouse/default/Files/dbt/warehouse"

runner = dbtRunner()
result: dbtRunnerResult = runner.invoke([
    "build",                       # run + test, in graph order
    "--project-dir", PROJECT,
    "--profiles-dir", PROJECT,
    "--target", "prod",
])

if not result.success:
    # No log to re-read: each node carries its own status and message.
    failures = [
        f"{r.node.name} — {r.message}"
        for r in result.result
        if r.status in ("error", "fail")
    ]
    raise RuntimeError("dbt failed:
" + "
".join(failures))
02Le profil, écrit plutôt que déposé

Un notebook n’a pas de répertoire personnel stable où placer un fichier de profil. On l’écrit donc au début de l’exécution, à partir de secrets lus dans le coffre de la plateforme. Aucun identifiant n’est ainsi stocké dans le dépôt, mais l’exécution échoue sans message clair si le coffre est mal configuré. Le compromis est acceptable, à condition de le documenter dans le code.

yaml
warehouse:
  target: prod
  outputs:
    prod:
      type: fabric
      driver: "ODBC Driver 18 for SQL Server"
      server: "<sql-endpoint>.datawarehouse.fabric.microsoft.com"
      database: warehouse
      schema: marts
      # Service principal authentication: the notebook does not borrow the
      # identity of whoever started it, otherwise the scheduled run would
      # depend on one person.
      authentication: ServicePrincipal
      tenant_id: "{{ env_var('TENANT_ID') }}"
      client_id: "{{ env_var('CLIENT_ID') }}"
      client_secret: "{{ env_var('CLIENT_SECRET') }}"
      threads: 4
03Ce que ce montage ne remplace pas

L’ordonnanceur de la plateforme déclenche le notebook, et ne fait rien d’autre : il voit une tâche là où il y a deux cents modèles. C’est le défaut décrit dans un autre article, sans alternative cette fois, car la plateforme n’offre aucun moyen de rendre le graphe visible. On peut en revanche le rendre lisible après coup. Les résultats renvoyés par le point d’entrée sont écrits dans une table, et un rapport construit sur cette table indique quel modèle a échoué et depuis quand.

04Les pipelines natifs, et les tests en production

Je ne compare pas cette solution aux pipelines natifs de la plateforme, qui couvrent une partie des mêmes besoins sans dbt. Le choix dépend d’un critère non technique. Si l’équipe connaît déjà dbt et l’utilise ailleurs, le garder vaut mieux qu’apprendre un outil de plus ; sinon, l’introduire pour un seul entrepôt crée une dette qu’il faut signaler. Je ne traite pas non plus des tests dbt en production, que nous exécutions en même temps que la construction. C’est pratique mais discutable, puisqu’une table erronée est publiée avant d’être signalée comme telle.