Oncrawl Crawl Resolver

Le node Oncrawl Crawl Resolver résout les crawls Oncrawl terminés qu'un workflow doit lire et renvoie leurs identifiants et leurs dates, pour que le workflow lise toujours des données fraîches et garde la trace du crawl qui a produit un chiffre.

Que fait le node Oncrawl Crawl Resolver ?#

Oncrawl ne publie pas un flux continu de données : il publie des crawls. Chaque crawl est un jeu de données distinct, avec son propre identifiant, et un nouveau apparaît à chaque exécution planifiée. Cela pose deux problèmes concrets dans un workflow. D’abord, un identifiant de crawl écrit en dur devient obsolète dès que le crawl suivant se termine. Ensuite, une métrique lue « dans Oncrawl » ne veut rien dire seule : le chiffre vient d’un crawl précis, et personne n’a noté lequel.

Le node Oncrawl Crawl Resolver répond aux deux. Il sélectionne des crawls terminés — le plus récent par défaut — et renvoie leur identité : crawl_id, project_id, le nom du crawl, ainsi que les dates de création et de fin. Les nodes en aval lisent le crawl_id, donc le workflow suit le dernier crawl sans être modifié, et l’historique d’exécution conserve les dates, donc le résultat reste interprétable plus tard.

Seuls les crawls au statut done sont renvoyés. Un crawl en cours ou en échec n’a aucune donnée interrogeable, et le laisser passer produirait un résultat vide plus loin dans le workflow au lieu d’une erreur claire.

Cas d’usage courants :

• Fournir un crawl_id frais au node Oncrawl Data Reader ou Oncrawl KPI Reader à chaque exécution planifiée.
• Comparer des crawls dans la même exécution : un resolver réglé sur Les 2 derniers crawls renvoie le plus récent et le précédent.
• Inscrire la date du crawl dans un rapport, pour que le lecteur sache de quand datent les données.
• Conditionner le lancement d’une analyse coûteuse à la fraîcheur du crawl.

Mise en place rapide#

Paramètres de configuration#

Champs obligatoires#

Champs optionnels#

Sortie#

Le node expose deux sorties, car un reader et un rapport n’ont pas besoin de la même chose.

Un seul crawl :

{
  "crawl_id": "abc123",
  "project_id": "p1",
  "crawl_name": "Crawl hebdomadaire",
  "status": "done",
  "created_at": 1720000000000,
  "ended_at": 1720003600000,
  "retrieved_at": "2026-10-20T14:00:00+00:00",
  "source": "Oncrawl API v2",
  "available_completed_crawls": 12
}

Plusieurs crawls, du plus récent au plus ancien :

{
  "crawl_id": ["abc123", "def456"],
  "project_id": "p1",
  "requested_crawls": 2,
  "resolved_crawls": 2,
  "available_completed_crawls": 12,
  "crawls": [
    { "crawl_id": "abc123", "ended_at": 1720003600000, "status": "done" },
    { "crawl_id": "def456", "ended_at": 1719398800000, "status": "done" }
  ],
  "retrieved_at": "2026-10-20T14:00:00+00:00",
  "source": "Oncrawl API v2"
}

available_completed_crawls n’est renvoyé que dans les modes Dernier crawl. Un node qui lit un seul crawl prend le premier identifiant ; le node Oncrawl KPI Reader, lui, rend compte de chaque crawl de la sélection.

Résolution des problèmes#

Aucun crawl Oncrawl terminé n'est disponible pour ce projet

Cause : Le projet existe mais n’a aucun crawl au statut done — typiquement un projet dont le premier crawl est encore en cours.

Solution : Attendez la fin du crawl, ou choisissez un projet qui dispose déjà d’un crawl terminé.

Moins de crawls résolus que demandé par le mode

Cause : L’historique du projet est plus court que le mode choisi — Les 5 derniers crawls sur un projet qui n’en a que trois de terminés.

Solution : Rien d’anormal, et l’exécution n’échoue pas : requested_crawls et resolved_crawls indiquent l’écart dans la charge utile. Choisissez un mode plus petit si un node en aval a besoin d’un nombre exact.

Oncrawl a refusé le token comme non authentifié (401)

Cause : Le token est erroné ou révoqué. Un token valide qui n’a pas le droit d’effectuer l’action répond 403, pas 401 : un 401 signifie que le token lui-même n’a pas été reconnu.

Solution : Créez un nouveau token dans Oncrawl via Settings > Tokens, puis reconnectez l’intégration.

Oncrawl a refusé la requête (403)

Cause : Oncrawl a reconnu le token mais refusé l’action. Le message reprend la raison donnée par Oncrawl :

• quota_error — le quota du compte ne permet pas la requête.
• no_active_subscription — le compte n’a pas d’abonnement actif.
• feature_not_available — l’offre n’inclut pas cette fonctionnalité, par exemple l’option API.
• sinon — il manque au token le scope projects:read, ou l’accès à ce projet.

Solution : Libérez ou augmentez le quota, renouvelez l’abonnement ou l’offre, ou régénérez le token avec le scope projects:read sur un compte qui voit le projet.

Limite de débit Oncrawl dépassée (429)

Cause : Oncrawl a répondu 429 à trois tentatives d’affilée. Le node relance une erreur 429 ou 5xx deux fois, à quelques secondes d’intervalle, avant d’abandonner. Oncrawl ne publie pas sa limite de débit.

Solution : Relancez plus tard, et évitez de lancer au même moment plusieurs workflows qui lisent Oncrawl.

Bonnes pratiques et pièges#

Comment s’intègre-t-il dans un workflow ?#

Le resolver se place en tête d’une chaîne Oncrawl, et un mode multi-crawls transforme cette chaîne en comparaison :

graph LR
    R[Oncrawl Crawl Resolver<br/>Les 2 derniers crawls] --> K[Oncrawl KPI Reader<br/>les deux crawls]
    K --> LLM[LLM<br/>comparer les deux crawls]
    LLM --> Email[Email Sender]

Nodes associés#