← points de vue
13 février 2024

Polars et Delta depuis une Durable Function

Un format de table transactionnel et une fonction qu’on ne contrôle pas s’accordent mal : le premier suppose un processus d’écriture stable, la seconde peut être rejouée à tout moment. Ce que cela impose, et où se situe la limite.

Le besoin ne justifiait pas un moteur distribué : quelques centaines de milliers de lignes par exécution, une transformation simple, une écriture dans une table du lac de données. Monter un cluster pour cela est un réflexe coûteux. Il démarre en trois minutes, coûte pendant son démarrage, et se justifie par une volumétrie qu’on n’a pas. Une bibliothèque qui travaille en mémoire dans un seul processus suffit, et la fonction serverless qui l’héberge ne coûte que ce qu’elle consomme.

01L’orchestrateur ne fait aucun travail lui-même

Une Durable Function comporte deux types de code qu’on ne peut pas mélanger. L’orchestrateur décrit l’enchaînement et il est **rejoué depuis le début** à chaque reprise. Tout ce qu’il contient doit donc être déterministe : pas d’horloge, pas d’aléatoire, et surtout aucune entrée-sortie. Les activités font le travail et ne s’exécutent qu’une fois par appel réussi. Écrire dans le lac depuis l’orchestrateur produit autant d’écritures qu’il y a de rejeux, et le rejeu fait partie du fonctionnement normal.

python
import azure.durable_functions as df

def orchestrator(context: df.DurableOrchestrationContext):
    # Sequencing and nothing else: this block is replayed on every resumption.
    days = yield context.call_activity("list_days", context.get_input())
    # The activities fan out; the wait itself stays deterministic.
    tasks = [context.call_activity("write_day", d) for d in days]
    written = yield context.task_all(tasks)
    return {"partitions": len(written)}

main = df.Orchestrator.create(orchestrator)
02Le mode d’écriture

L’activité lit, transforme et écrit. Le mode d’écriture détermine ce qui se passe quand la même activité est appelée deux fois. En ajout, un rejeu double les lignes. En remplacement de partition, il les réécrit à l’identique, et c’est le seul des deux modes compatible avec un rejeu.

python
import os
import polars as pl

STORAGE = {
    "account_name": os.environ["ADLS_ACCOUNT"],
    # Managed identity rather than a key: nothing to rotate, nothing to leak.
    "use_azure_cli": "false",
    "azure_storage_use_emulator": "false",
}

def write_day(day: str) -> str:
    frame = (
        pl.scan_parquet(f"abfss://raw@{os.environ['ADLS_ACCOUNT']}.dfs.core.windows.net/{day}/*.parquet")
        .filter(pl.col("amount") > 0)
        .group_by("store", "item")
        .agg(pl.col("amount").sum().alias("revenue"))
        .with_columns(pl.lit(day).alias("day"))
        .collect()
    )
    frame.write_delta(
        "abfss://refined@account.dfs.core.windows.net/sales",
        mode="overwrite",
        storage_options=STORAGE,
        # Replace only the day's partition, not the table: that is what makes
        # the activity replayable without doubling the rows.
        delta_write_options={"partition_by": ["day"], "predicate": f"day = '{day}'"},
    )
    return day

Ce montage laisse une question ouverte : deux activités qui écrivent la même table au même instant. Le format garantit qu’une seule des deux transactions aboutit et que l’autre échoue sur un conflit, ce qui est correct à condition que l’appelant réessaie. C’est pourquoi les activités sont découpées par partition plutôt que par lot. Deux partitions distinctes n’entrent pas en conflit, et le conflit devient alors une exception.

03La limite de mémoire, et la maintenance de la table

Cette approche a une limite nette : tout doit tenir dans la mémoire d’une seule fonction. Au-delà, il faut découper plus finement, ce qui a ses propres limites, ou revenir à un moteur distribué, qui redevient alors plus économique. Je ne traite pas non plus de la maintenance de la table. Le compactage des petits fichiers et le nettoyage des anciennes versions sont indispensables et ne se font pas depuis la fonction qui écrit. Ils nécessitent un traitement périodique séparé, que ce montage ne fournit pas.