Google révèle la documentation d’un crawler peu connu jusqu’à présent, nommé « Google-Safety ». Ce crawler unique en son genre est spécialement conçu pour traquer les logiciels malveillants, ignorant les directives robots.txt.
Le Crawler Google-Safety a été ajouté à la liste des robots d’exploration de Google, avec des informations détaillées sur son nom et son fonctionnement. Auparavant, aucune documentation n’était disponible sur ce crawler, ce qui soulève des questions pour les professionnels du SEO et les webmasters.
La principale mission du crawler Google-Safety est de scanner et d’identifier les logiciels malveillants sur les liens publics des propriétés de Google. Cette fonctionnalité est cruciale pour protéger les utilisateurs contre les menaces en ligne potentielles.
Cependant, le fait que Google-Safety ne respecte pas les directives robots.txt signifie que certaines parties du site, normalement non indexées, peuvent être explorées dans le cadre de la sécurité. Cela pourrait avoir un impact sur la gestion et la sécurisation des sites.
La publication de cette documentation par Google permet d’offrir une plus grande transparence sur ses outils de crawling. Cela aide les professionnels du web à mieux comprendre comment Google interagit avec leurs sites, notamment en ce qui concerne la sécurité en ligne.
La documentation du crawler Google-Safety est une étape importante dans la compréhension des efforts déployés par Google pour assurer la sécurité de l’écosystème en ligne. Elle souligne également l’importance de la sécurité web dans les stratégies de SEO et de gestion de site.
En partageant cette documentation officielle, Google offre aux utilisateurs la possibilité de mieux se familiariser avec les fonctionnalités de ses crawlers et de renforcer la sécurité en ligne.
