bookmark_borderRecette: Réduction des démarrages à froid avec la précompilation du bytecode en python serverless

Allez tout au bas si vous voulez sauter la portion narrative et aller directement à la recette.

C’est une histoire de développement logiciel: Vous avez un projet en terrain vierge. (« Greenfield project? ») C’est magnifique et rapide. Puis vous ajoutez des fonctionnalités. Pendant cinq années. Puis vous réalisez que vos démarrages à froid sont passés de ~1 seconde à ~5.5 secondes.

Pour être juste, une tonne de choses se sont passées pendant ces cinq années et je m’étais déjà rendu compte que les démarrages à froid étaient rendus péniblement longs. J’avais déjà pris des mesures pour les «contrôler» autant que possible. Même si mes tests locaux m’avaient déjà démontré que de compiler les bytecode devrait théoriquement améliorer la performance de façon significative, mes essais en production n’ont jamais porté fruit. Malgré la précompilation, la production restait lente.

Puis est arrivé l’IA et du temps libre. Et la conversation était à peu près la suivante

🧑‍🦱Moi: Hey IA! Quand je précompile localement python en bytecode, je vois des améliorations au démarrage à froid. Je ne vois pas le même impact lorsque c’est fait en production. Peux-tu me dire ce qui se passe?

Continue reading « Recette: Réduction des démarrages à froid avec la précompilation du bytecode en python serverless »

bookmark_borderMesures de l’impact de Sentry sur le démarrage des Lambdas AWS

Chez Local Logic, nous nous appuyons fortement sur les fonctions AWS lambda. Nous surveillons actuellement notre environnement avec Sentry via leur sdk et savons que nous pourrions alternativement utiliser la couche (layer) sentry. Comme un bon développeur, je me suis demandé quels étaient les avantages et les inconvénients. Évidemment, l’un d’entre eux est: quelle option est la plus rapide? Je les ai donc comparées et je partagerai les résultats dans ce billet.

Continue reading « Mesures de l’impact de Sentry sur le démarrage des Lambdas AWS »

bookmark_borderC’est un piège! Postgis Geometry avec un SRID 4326 n’est pas un type Geography

Longue histoire courte, vous créez une table avec une colonne geometry qui stocke des points avec srid 4326 (lire coordonnées géographiques lat/lng, ou devrais-je écrire lng/lat). Cela devrait être interprété comme geography, n’est-ce pas? Pas du tout!

Continue reading « C’est un piège! Postgis Geometry avec un SRID 4326 n’est pas un type Geography »

bookmark_borderModèle hybride Pydantic/FastAPI

Histoire courte, j’ai un API qui n’est pas sous FastAPI, mais je me sers quand même de FastAPI pour générer la documentation au format d’OpenAPI.

J’ai donc des modèles pour les points de terminaisons et je souhaite qu’ils fonctionnent avec et sans FastAPI, car dans leur version pure, FastAPI n’est pas déployé. (Pour faire une autre histoire courte, installer FastAPI alourdi un peu le paquet à déployer, mais surtout les démarrage à froid des lambdas AWS à cause du délai d’initialisation de Sentry. Sentry détecte que FastAPI est présent dans l’environnement et ajoute automatiquement du monitoring, ce qui prend un bon 500ms supplémentaire. Mesuré en décembre 2023.)

Bref, en m’inspirant fortement d’une réponse sur StackOverflow, j’ai produit ceci.

# models.py
from typing import Annotated, Any, cast

from pydantic import BaseModel, Field
from pydantic.fields import FieldInfo

try:
    from fastapi import Query  # type:ignore[import-not-found]

    def FieldQuery(*args: Any, **kwargs: Any) -> FieldInfo:  # noqa:N802
        return cast(FieldInfo, Field(Query(*args, **kwargs)))

except ImportError:

    def FieldQuery(*args: Any, **kwargs: Any) -> FieldInfo:  # noqa:N802
        return cast(FieldInfo, Field(*args, **kwargs))  # type: ignore[pydantic-field]


class QueryParams(BaseModel):
    limit: Annotated[
        int,
        FieldQuery(
            -1,
            description="The limit of values to fetch. -1 means no limit.",
        ),
    ]

Puis, pour la route

# routes.py
from fastapi import FastAPI

from models import QueryParams

app = FastAPI()

@app.get("/things")
def get_things(
    params: Annotated[QueryParams, Depends()],
) -> dict:
    ...

Est-ce parfait? Avec les « type: ignore », « noqa », « import try/except », pas dutout. Ça ressemble à un gros hack.

Est-ce que ça fonctionne? Oh que oui!

Note: Les tags « noqa » et « type: ignore » sont respectivement liés au linting avec ruff et mypy.

bookmark_borderMon coffre à outils Python, édition 2024

Ça fait longtemps que je souhaite publier annuellement mes outils python préférés. C’est pratique pour plein de gens et ça permet de voir l’évolution de ceux-ci au fil du temps et des projets sur lesquels je contribue.

Voici donc la première édition de cette liste.

Continue reading « Mon coffre à outils Python, édition 2024 »

bookmark_borderModèle de FastAPI Stripe Webhook

L’équivalent FastAPI de vérifier-que-les-événements-proviennent-de-stripe

import os

from http import HTTPStatus
from typing import Annotated

import stripe
from fastapi import Depends, FastAPI, Header, HTTPException, Request


app = FastAPI()


async def get_body(request: Request) -> bytes:
    return await request.body()


@app.post("/webhook", status_code=HTTPStatus.NO_CONTENT)
def post_report(
    stripe_signature: Annotated[str, Header(alias="stripe-signature")],
    body: bytes = Depends(get_body),
) -> None:
    endpoint_secret = os.environ["ENDPOINT_SECRET"]

    try:
        # signature validation
        event = stripe.Webhook.construct_event(body, stripe_signature, endpoint_secret)
    except ValueError as e:
        # Invalid payload
        raise HTTPException(status_code=HTTPStatus.BAD_REQUEST) from e
    except stripe.error.SignatureVerificationError as e:
        # Invalid signature
        raise HTTPException(status_code=HTTPStatus.UNPROCESSABLE_ENTITY) from e

    print(event)

    return

Un problème possible, que j’ai rencontré, est que j’ai demandé à FastAPI de convertir request.body en un dictionnaire au niveau des paramètres de fonction (donc body: dict). Puis, je l’ai sérialisé en une chaîne de caractères pour l’étape de validation… et cela a échoué parce qu’il n’était plus identique à ce qui était entré.

bookmark_borderAnnotations de type en python – Annoter ou convertir?

Lors d’une revue de code, un collègue, Zachary Paden, me demandait pourquoi j’appelais la fonction typing.cast sur mes variables plutôt que de créer des variables temporaires simplement pour typer. Eh bien, tout comme il ignorait l’existence de cast, j’ignorais que cette approche fonctionnait. En bon nerdz que nous sommes, il a décidé de mesurer la performance de chacune des approches.

Continue reading « Annotations de type en python – Annoter ou convertir? »