Web Scraper

Le node Web Scraper récupère une page web et en extrait le contenu via des templates intégrés ou des sélecteurs XPath personnalisés, en renvoyant le résultat sous forme de chaîne unique pour le traitement en aval.

À quoi sert le node Web Scraper ?

Le node Web Scraper récupère une page web depuis une URL et en extrait le contenu. Il peut fonctionner en mode brut (sans template) et renvoyer le contenu de la page sous forme de texte, appliquer l’un des quatre templates intégrés adaptés aux types de pages courants (articles, listes d’articles, produits, listes de produits), ou cibler des éléments précis avec jusqu’à trois sélecteurs XPath. Le node renvoie une chaîne unique que les nodes en aval peuvent nettoyer, parser ou envoyer à un LLM.

Cas d’usage typiques :

• Récupérer le corps d’articles de blog ou de presse avant de les résumer avec un LLM.
• Collecter des fiches produit (nom, prix, description) depuis des listings e-commerce dans un dataset structuré.
• Extraire des éléments précis d’une page connue à l’aide de XPath (prix, notes, champs cachés).
• Itérer sur une liste d’URL dans un Loop pour bâtir un corpus de contenu ou une veille concurrentielle.

Configuration rapide

Suivez ces étapes pour ajouter et configurer le node Web Scraper dans votre workflow :

Paramètres de configuration

Le Web Scraper expose un point d’entrée et quatre paramètres métier en plus des champs d’identification standard.

Champs requis

Champs optionnels

Que renvoie le node ?

Le node renvoie une chaîne unique nommée html qui contient le contenu scrapé. La forme exacte de cette chaîne dépend du Content Type choisi et des sélecteurs XPath :

• Avec No Template, la sortie est le contenu brut de la page (généralement du HTML).
• Avec un template (Article, ArticleList, Product, ProductList), la sortie est une représentation textuelle sérialisée des champs extraits.
• Avec des sélecteurs XPath, la sortie se concentre sur les nodes DOM correspondants.

Comment utiliser la sortie

Dans Draft & Goal, vous n’avez pas besoin de chercher un nom de variable généré par le système. Pour utiliser le résultat :

1. Tirez une connexion depuis la sortie du Web Scraper.
2. Reliez-la à l’entrée du node suivant (HTML to Markdown, HTML Cleaner, JSON Path Extractor, LLM, etc.).
3. Dans ce node suivant, créez et nommez votre propre variable (par exemple scraped_page). Le contenu scrapé y sera injecté automatiquement.

Exemples d’utilisation

Exemple 1 : Scraper un article et le résumer avec un LLM

Vous voulez transformer n’importe quelle URL d’article en un briefing court.

Workflow :

1. Text Input contient l’URL de l’article.
2. Web Scraper la récupère avec Content Type = Article et Error Handling = Skip & Continue.
3. HTML to Markdown nettoie la sortie pour le LLM.
4. LLM reçoit le markdown et produit le résumé.

Configuration du Web Scraper :

• Url(s) = {{Text_0.value}}
• Content Type = Article
• Error Handling = Skip & Continue

Exemple 2 : Extraction produit ciblée avec XPath

Vous suivez la fiche produit d’un concurrent et n’avez besoin que du titre, du prix et de la description.

Configuration du Web Scraper :

• Url(s) = https://shop.example.com/product/123
• Content Type = Product
• XPath 1 = //div[@class='product-title']
• XPath 2 = //div[@class='product-price']
• XPath 3 = //div[@class='product-description']
• Error Handling = None

La sortie html contient alors les trois blocs ciblés, prêts à être parsés par un JSON Path Extractor ou envoyés à un LLM pour normalisation.

Exemple 3 : Scraping en lot avec un Loop

Vous disposez d’une liste d’URL et voulez scraper chacune puis stocker le résultat.

Workflow :

1. Create List (ou un API Connector en amont) fournit la liste d’URL.
2. Loop itère sur chaque élément.
3. Web Scraper scrape l’URL courante avec Url(s) = {{Loop_0.currentItem}} et Error Handling = Skip & Continue afin qu’une page en échec n’interrompe pas le run.
4. Sauvegarde / ajout du résultat en aval (Sheets, base de données, fichier).

Problèmes courants

La sortie est vide alors que l'URL fonctionne dans mon navigateur

Cause : La page peut afficher son contenu via JavaScript après le chargement, ou bloquer les requêtes automatisées : dans ce cas le HTML brut vu par le scraper ne contient pas le texte attendu.

Solution : Ouvrez le code source de la page (et non le DOM des dev tools) pour vérifier que la donnée est bien présente dans le HTML initial. Si elle est rendue côté client, le Web Scraper ne peut pas l’atteindre. Si la page bloque les scrapers, basculez sur une API officielle ou une autre source.

Un XPath ne renvoie rien

Cause : Le XPath ne correspond pas à la structure réelle du DOM, ou il cible des attributs différents de ce qui est rendu côté serveur.

Solution : Testez d’abord le XPath dans les dev tools du navigateur ($x("//div[@class='product-title']")). Préférez des sélecteurs robustes (contains(@class, 'price')) plutôt que des sélecteurs fragiles dépendant de classes volatiles.

Mon workflow s'arrête à la première mauvaise URL dans un Loop

Cause : Error Handling est positionné sur None, donc la première réponse non-200 ou erreur de parsing arrête le run.

Solution : Passez Error Handling sur Skip & Continue. Le node renvoie une chaîne vide pour l’URL en échec et le Loop continue sur l’élément suivant.

La sortie est difficile à donner à un LLM

Cause : Le HTML brut contient beaucoup de balisage inutile pour le modèle.

Solution : Placez un node HTML Cleaner ou HTML to Markdown entre le Web Scraper et le LLM pour réduire le bruit et la consommation de tokens.

Bonnes pratiques et pièges

Comment s’intègre-t-il dans un workflow ?

Le Web Scraper se place typiquement entre un node qui produit des URL et un node qui nettoie ou interprète le résultat. Voici un schéma classique de scraping en lot avec nettoyage et analyse LLM :

graph LR
    Source[Liste d'URL / API Connector] --> Loop[Loop]
    Loop --> Scraper[Web Scraper]
    Scraper --> Clean[HTML to Markdown]
    Clean --> LLM[Analyse LLM]
    LLM --> Out[Sauvegarder résultats]

Nodes associés