Le «robots.txt», fichier texte proposé par plus de 500 millions de sites internet, qui permet de définir les règles que doivent suivre les crawlers (logiciel qui explore automatiquement le web pour le référencement), fête ses 25 ans. Pour l'occasion, le moteur de recherche monopolistique Google formule cinq propositions pour rendre universelle la façon de comprendre un robots.txt par n'importe quel crawler. Celles-ci ont été soumises à l’IETF (Internet Engineering Task Force). Google enjoint l’écosystème digital à réagir afin que cette version 2019 soit reconnue comme un standard. En savoir plus...
