Data Hub Reader

Le node Data Hub Reader exécute une requête SQL sur les tables du Data Hub de votre organisation et renvoie les lignes sous forme de données structurées, sans intégration à configurer.

À quoi sert le node Data Hub Reader ?

Le node Data Hub Reader interroge les tables du Data Hub de votre organisation : les sources que vous chargez (Google Ads, Merchant Center, CSV…) et les tables produites par vos pipelines Data Hub. Il fonctionne comme le Google BigQuery Reader, avec le même éditeur SQL et la même sortie, mais sans intégration BigQuery : la requête s’exécute avec l’identité Data Hub de votre organisation, qui ne peut lire que les datasets de votre organisation.

Info

Le node n’est disponible que pour les organisations où le Data Hub est activé. Contactez votre administrateur DNG pour l’activer.

Cas d’usage courants :

  • Lire une table Google Ads ou Merchant Center chargée par le Data Hub pour l’analyser avec un LLM
  • Parcourir les lignes d’une table produite par un pipeline pour générer du contenu par produit
  • Alimenter un rapport avec une agrégation du Data Hub (par exemple les clics par catégorie)

Configuration rapide

Ajouter le node au canvas

Cherchez Data Hub Reader dans la section Integrations de la bibliothèque de nodes et déposez-le sur le canvas.

Écrire la requête SQL

Ouvrez l’éditeur SQL et cliquez sur Tables pour parcourir vos tables et vues Data Hub, la même liste que dans l’Explorer du Data Hub : changez de localisation (EU, US), filtrez par nom ou par label, et cliquez sur une table pour insérer son nom complet (par exemple `dng_org_123456789_eu.google_ads_campaigns`) à l’emplacement du curseur. Utilisez Validate pour vérifier la requête et Run test pour prévisualiser les premières lignes.

Connecter la sortie

Connectez le port de sortie au node suivant. Les lignes sont émises sous forme de chaîne JSON, prête pour un Loop, un JSON Path Extractor, un LLM ou tout autre node.

Paramètres de configuration

Champs obligatoires

sql_query string required

SQL Query — La requête BigQuery Standard SQL à exécuter sur vos tables Data Hub, référencées sous la forme dataset.table. Les variables de template comme {{category}} sont résolues à l’exécution à partir des sorties des nodes en amont.

SELECT campaign_name, SUM(clicks) AS clicks
FROM dng_org_123456789_eu.google_ads_campaigns
GROUP BY campaign_name
ORDER BY clicks DESC
LIMIT 100

Que produit le node en sortie ?

Le node renvoie les résultats de la requête sous forme d’une chaîne JSON contenant le tableau des lignes. Chaque ligne est un objet dont les clés sont les noms de colonnes renvoyés par la requête.

[
  { "campaign_name": "Brand FR", "clicks": "18250" },
  { "campaign_name": "Shopping FR", "clicks": "12034" }
]
columnsoutput string

Une chaîne JSON contenant le tableau des lignes renvoyées par la requête. L’ordre et les noms des colonnes correspondent à la clause SELECT.

Exemples d’utilisation

Exemple 1 : Synthèse Google Ads hebdomadaire

Configuration :

  • SQL Query : 
    SELECT date, campaign_name, SUM(cost) AS cost, SUM(conversions) AS conversions
FROM dng_org_123456789_eu.google_ads_campaigns
WHERE date >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY date, campaign_name

Connectez la sortie à un node LLM avec un prompt du type Résume la performance des campagnes de la semaine dernière à partir du JSON ci-dessous.

Exemple 2 : Générer du contenu par produit

Configuration :

  • SQL Query : 
    SELECT offer_id, title, brand
FROM dng_org_123456789_eu.merchant_products
WHERE availability = 'in stock'
LIMIT 500

Envoyez la sortie dans un node Loop, puis dans un node LLM qui rédige une description par produit.

Problèmes courants

Data Hub is not enabled for this organization

Cause : Le Data Hub n’est pas activé pour votre organisation, ou il a été désactivé.

Solution : Contactez votre administrateur DNG pour activer le Data Hub.

Access Denied sur une table

Cause : La requête référence un dataset qui n’appartient pas au Data Hub de votre organisation.

Solution : Seules les tables Data Hub de votre organisation peuvent être interrogées. Insérez la table depuis le panneau Tables de l’éditeur SQL.

Table introuvable

Cause : Le nom de la table est mal orthographié, ou la table appartient à l’autre localisation (EU ou US).

Solution : Insérez la table depuis le panneau Tables de l’éditeur SQL ; le nom du dataset porte la localisation (_eu, _us).

Only a SELECT query can run in this node

Cause : La requête n’est pas un SELECT unique (par exemple DELETE, INSERT, CREATE TABLE ou plusieurs instructions séparées par ;).

Solution : Le node ne fait que lire les données. Écrivez un seul SELECT ; pour transformer des tables, utilisez un pipeline Data Hub.

The query returns more rows than the maximum of 20,000

Cause : Le résultat contient plus de 20 000 lignes.

Solution : Ajoutez LIMIT 20000, filtrez avec WHERE ou agrégez avec GROUP BY.

Bonnes pratiques

Tip

Ne sélectionnez que les colonnes utiles et filtrez sur les dates : les requêtes sont plus rapides et la sortie reste assez légère pour les nodes en aval.

Warning

Lecture seule, 20 000 lignes au maximum. Seul un SELECT unique s’exécute : INSERT, UPDATE, DELETE, MERGE, le DDL et les scripts à plusieurs instructions sont refusés. Une requête qui renvoie plus de 20 000 lignes échoue ; ajoutez un LIMIT ou restreignez la clause WHERE.

Nodes associés

Google BigQuery Reader

Interroger des projets BigQuery hors Data Hub via une intégration BigQuery.
Loop

Parcourir chaque ligne renvoyée par la requête.
JSON Path Extractor

Extraire des champs précis de la sortie.
LLM

Résumer, analyser ou transformer les lignes.