Suivez-nous sur

Google ouvre les sources de son analyseur robots.txt en Java et de son framework de test en C++.

L’année dernière, Google a ouvert le code de l’analyseur robots.txt utilisé dans ses systèmes de production. Après avoir vu la communauté construire des outils avec cet analyseur et ajouter ses propres contributions à la bibliothèque open source, y compris les portages en langage de l’analyseur original écrit en C++ sur golang et rust, Google a annoncé cette semaine qu’il avait publié d’autres projets de code source connexes.

Voici ce qu’il y a de nouveau pour les développeurs et les spécialistes du référencement.

C++ et Java. Pour tous ceux qui écrivent leur propre analyseur ou adoptent l’analyseur de Google écrit en C++ (un langage compilé super rapide), Google a publié le code source de son cadre de test de validation de l’analyseur robots.txt utilisé pour s’assurer que les résultats de l’analyseur respectent la spécification officielle de robots.txt comme prévu, et il peut valider les analyseurs écrits dans une grande variété d’autres langues.

En outre, Google a publié un portage officiel vers le langage Java, plus populaire. Le langage Java moderne est plus largement utilisé dans les applications d’entreprise que le C++, tandis que le C++ est plus généralement utilisé dans les applications de systèmes centraux où les besoins de performance l’exigent. Certaines bases de code basées sur Java exécutent aujourd’hui des applications pour les logiciels de référencement et/ou de marketing des entreprises.

Tests et validation. Les conditions requises pour l’exécution du cadre de test comprennent le JDK 1.7+ pour Apache Maven, et le tampon de protocole de Google pour interfacer le cadre de test avec votre plate-forme d’analyse et votre poste de travail de développement. Il devrait être utile à toute personne développant son propre analyseur, validant un port ou utilisant l’un des analyseurs officiels de Google, et en particulier pour valider votre développement d’un port vers un nouveau langage.

A quel point cela serait-il difficile à utiliser ? Nous devons noter qu’il s’agit de projets internes relativement accessibles à Google, qui devraient pouvoir être utilisés par des programmeurs de niveau moyen à supérieur dans un ou plusieurs de ces langages. Vous pouvez construire un analyseur robots.txt en utilisant pratiquement n’importe quel langage de programmation. Cependant, il ajoute une autorité perçue lorsque votre application marketing utilise exactement le même analyseur que celui qui régit Googlebot.

Pourquoi nous nous en préoccupons. Si vous, ou votre entreprise, avez l’intention d’écrire ou a écrit un crawler qui analyse les fichiers robots.txt pour les directives recherchant des informations importantes (pas seulement) pour le référencement, cela vous incite à évaluer si l’utilisation de l’analyseur de Google en C++, Java, ou l’un des autres ports de langage en vaut la peine. L’analyseur Java, en particulier, devrait être relativement facile à adopter si votre application est déjà écrite en Java.