la société yahoo! a mis à jour les commandes du fichier robot.txt. ce fichier fournit les directives d'aspiration des robots de yahoo! slurp. les webmestres pourront limiter l'accès à leurs répertoires public et privé, aux versions imprimables et aux multiples pages générées à la volée lors des séances de consultation d'un site web, tout cela avec la complicité de l'opérateur de troncature « * ». a long terme, ces limitations expurgeraient des pages inutiles du catalogue de yahoo! recherche. son catalogue s'en porterait mieux.
