Aller au contenu

Cette page est traduite automatiquement et n’a pas été relue de façon indépendante. Les termes juridiques, les numéros de directive et le texte légal cité restent dans leur forme d’origine. En cas de doute, la version anglaise fait foi. English

Robot d’exploration

À propos d’CosmeticlaimBot

Si vous avez trouvé cette adresse dans vos journaux serveur, cette page explique ce qu’était la requête.

CosmeticlaimBot récupère des pages publiques lorsque quelqu’un demande à notre scanner de vérifier un site. Il est déclenché par une personne qui colle une URL — il n’explore pas selon un calendrier et ne découvre pas de sites par lui-même.

Il s’identifie ainsi :

CosmeticlaimBot/1.0 (+https://cosmeticlaim.eu/bot)

Ce qu’il fait

  • Demande d’abord votre robots.txt — avant toute page, y compris celle que vous nous avez donnée — et respecte les règles Disallow pour * et pour CosmeticlaimBot. Si la page de départ est interdite, nous nous arrêtons et renvoyons une erreur plutôt qu’un rapport. Nous lisons les 1000 premières règles d’un robots.txt ; si le vôtre est plus long, les règles au-delà de 1000 ne s’appliquent pas, et vous devriez nous le dire.
  • Lit au maximum 10 pages par analyse, au maximum 2 Mo chacune, dans un budget de 45 secondes.
  • Suit au maximum 3 redirections, et uniquement vers des adresses http ou https publiques.
  • Demande les pages les unes après les autres. Cela ressemble plus à une personne qui navigue qu’à un robot.

Ce qu’il ne fait pas

  • Il n’exécute pas de JavaScript, ne soumet pas de formulaires et ne suit pas de liens derrière une connexion.
  • Il ne stocke pas vos pages. Le texte est analysé en mémoire et supprimé à l’envoi de la réponse.
  • Il n’indexe pas votre site et n’en publie rien.

Une nuance, car la phrase qui figurait ici était trop forte : les phrases de vos pages qui correspondent à un terme restreint sont envoyées à un modèle de langage — une passerelle privée sur ai-gw.nurme.eu — qui décide si la correspondance est une allégation marketing ou un commentaire ordinaire. Il s’agit au plus de la phrase correspondante et du chemin de la page, jamais de la page entière, et rien n’en est conservé. La page de confidentialité précise exactement ce qui est transmis.

Le bloquer

Ajoutez ceci à votre robots.txt et il s’arrêtera :

User-agent: CosmeticlaimBot
Disallow: /

Le blocage par user agent en périphérie fonctionne aussi. Si vous préférez qu’il n’atteigne jamais votre origine, c’est tout à fait raisonnable — le scanner signalera que les pages ont été ignorées plutôt que de faire comme si elles étaient propres. Notre robot vient de 157.180.65.81, vous pouvez donc le bloquer par adresse autant que par nom ; si vous avez besoin de joindre quelqu'un à ce sujet, écrivez à tere@cosmeticlaim.eu.