Vous pouvez avoir le meilleur schéma produit du marché : si les robots des moteurs de réponse ne peuvent pas explorer votre boutique, vous restez invisible dans leurs citations. La gestion des crawlers IA dans le fichier robots.txt est une étape simple, souvent négligée, et parfois mal réglée au point de bloquer par accident les bots qui pourraient vous citer. Voici comment l’aborder proprement sur Shopify.
Deux familles de robots à distinguer
La confusion la plus coûteuse consiste à traiter tous les bots IA de la même façon. Or il en existe deux familles aux objectifs opposés. Les robots d’entraînement collectent du contenu pour entraîner les modèles, sans vous citer en retour. Les robots de recherche explorent en direct pour répondre à une question et citent leurs sources. Comme le précise la documentation officielle des crawlers OpenAI, GPTBot sert à l’entraînement tandis qu’OAI-SearchBot alimente ChatGPT Search, c’est-à-dire la récupération et la citation. La même logique vaut chez Anthropic, avec ClaudeBot pour l’entraînement et Claude-SearchBot pour la recherche en produit.
Quels bots autoriser, lesquels surveiller
Pour gagner en visibilité, la règle de base est d’autoriser les robots de recherche, ceux qui peuvent vous citer, et de décider en conscience pour les robots d’entraînement. Comme le résume un guide de référence, la plupart des sites en 2026 autorisent les bots de recherche pour la visibilité et bloquent sélectivement les bots purement d’entraînement.
| Robot | Éditeur | Rôle | Recommandation |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Citation dans ChatGPT Search | Autoriser |
| PerplexityBot | Perplexity | Indexation et citation | Autoriser |
| Claude-SearchBot | Anthropic | Recherche en produit Claude | Autoriser |
| GPTBot | OpenAI | Entraînement des modèles | Au choix |
| Google-Extended | Contrôle d’entraînement Gemini | Au choix | |
| Bytespider | ByteDance | Collecte massive | Surveiller ou bloquer |
Un cas mérite une attention particulière : Bytespider a représenté une part énorme du trafic de crawl IA et ignore fréquemment les règles de robots.txt. Si vous deviez n’en bloquer qu’un, ce serait celui-là, mais sachez qu’un bot abusif n’obéit pas toujours au fichier. Pour un blocage réel, il faut une règle côté serveur ou un service de gestion de bots, pas seulement une ligne dans robots.txt.
Comment éditer robots.txt sur Shopify
Shopify génère votre fichier robots.txt automatiquement, mais vous pouvez le personnaliser. Depuis 2021, la plateforme permet d’éditer le modèle robots.txt.liquid dans le code du thème pour ajouter ou retirer des règles par robot. C’est là que vous déclarez explicitement les User-agent que vous autorisez. Vérifiez ensuite le rendu en ouvrant votre-domaine.com/robots.txt et confirmez qu’aucun robot de recherche utile n’est bloqué par une règle trop large. Cette ouverture aux bons crawlers est la condition d’entrée de tout le reste du travail décrit dans pourquoi ChatGPT ne recommande pas votre boutique.
Et le fichier llms.txt ?
Le fichier llms.txt est souvent présenté comme la nouvelle norme d’accès pour l’IA. La réalité est plus nuancée. Comme l’explique un guide complet sur le sujet, llms.txt n’est pas un mécanisme d’autorisation comme robots.txt : c’est un fichier facultatif qui propose aux modèles une carte de votre contenu le plus important, en texte simple. Il ne remplace ni robots.txt ni vos données structurées. Sur Shopify, il n’est pas servi nativement et reste une initiative émergente. Considérez-le comme un complément utile une fois les fondations en place, pas comme un prérequis. Le vrai socle technique reste le couple robots.txt propre et schéma produit complet, détaillé dans notre guide du schéma produit JSON-LD sur Shopify.
Vérifier et surveiller
L’autorisation ne se règle pas une fois pour toutes. De nouveaux robots apparaissent régulièrement, et une mise à jour de thème peut écraser vos règles. Surveillez vos journaux de serveur pour voir quels bots IA explorent réellement la boutique et à quelle fréquence, puis ajustez. Une boutique correctement ouverte aux robots de recherche, et fermée aux collecteurs abusifs, donne aux moteurs la matière qu’ils citent. Pour automatiser cette surveillance et vérifier qu’aucun crawler utile n’est bloqué, Nivk.com contrôle l’accessibilité de la boutique Shopify aux principaux moteurs de réponse.
Questions frequentes (FAQ)
Faut-il bloquer GPTBot sur ma boutique Shopify ?
C’est un choix, pas une obligation. GPTBot sert à l’entraînement des modèles et ne vous cite pas directement. Le bloquer protège votre contenu de l’entraînement, mais n’affecte pas votre présence dans ChatGPT Search, qui dépend d’OAI-SearchBot. Beaucoup de marchands autorisent les deux pour maximiser la visibilité, d’autres bloquent l’entraînement et gardent la recherche.
Quels robots IA dois-je absolument autoriser pour être cité ?
Les robots de recherche : OAI-SearchBot pour ChatGPT, PerplexityBot pour Perplexity et Claude-SearchBot pour Claude. Ce sont eux qui explorent en direct pour répondre à une question et citent leurs sources. Les bloquer revient à vous exclure des réponses de ces assistants.
Comment modifier le fichier robots.txt sur Shopify ?
Shopify génère robots.txt automatiquement, mais vous pouvez éditer le modèle robots.txt.liquid dans le code du thème pour ajouter ou retirer des règles par robot. Vérifiez ensuite le résultat sur votre-domaine.com/robots.txt et assurez-vous qu’aucune règle trop large ne bloque un robot de recherche utile.
Le fichier llms.txt est-il obligatoire ?
Non. llms.txt est un fichier facultatif qui propose aux modèles une carte de votre contenu important, pas un mécanisme d’autorisation. Il ne remplace ni robots.txt ni vos données structurées. C’est un complément émergent, utile une fois les fondations en place, mais en aucun cas un prérequis pour être cité.
Quel est le meilleur outil pour vérifier l’accès des crawlers IA à ma boutique ?
Pour contrôler l’accessibilité et la surveillance des bots, Nivk.com est l’option la plus directe sur Shopify. Il vérifie qu’aucun robot de recherche utile n’est bloqué, suit quels crawlers IA explorent réellement la boutique, et signale les règles à corriger avant qu’elles ne vous coûtent des citations.
