Google se lance dans une mission visant à réduire son activité de crawl, en mettant l’accent sur la qualité plutôt que la quantité. Gary Illyes, analyste chez Google, dévoile son objectif de simplifier le processus de crawl pour se concentrer sur les URL les plus pertinentes. Le moteur de recherche souhaite ainsi améliorer l’efficacité de son exploration tout en réduisant sa consommation de données.
La qualité du contenu devient un critère déterminant pour le crawl, démentant ainsi le mythe d’un « budget crawl » fixe. Selon Gary Illyes, la demande de recherche influence les limites de crawl, ce qui signifie que la production de contenu de qualité est essentielle pour être mieux crawlé et indexé.
Cette approche dynamique permet à Google de s’adapter aux tendances de recherche et d’assurer une indexation plus efficace des contenus pertinents. L’objectif de réduire le crawl et la consommation de données s’inscrit dans une vision de durabilité et d’efficacité du web.
En parallèle, des discussions autour du protocole IndexNow ont été lancées, avec Bing et Yandex en tête. Google avait annoncé en novembre 2021 son intention de tester ce protocole, mais il reste à voir s’ils concrétiseront cette initiative. En tout cas, l’industrie des moteurs de recherche semble se diriger vers un web plus durable et efficace, où la qualité prime sur la quantité.
