Flaz's Hotline

Outils pour utilisateurs

Outils du site

Piste : • youtube-dl • convertir_une_liste_dans_une_page_html_en_tableau_openoffice • proftd_et_tls • install-twrp-poco-f3 • passer_de_drupal_7_a_drupal_10 • enregistrer_depuis_une_webcam
bloquer_les_robots_crawlers_non_souhaites

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
bloquer_les_robots_crawlers_non_souhaites [2023/12/15 18:09] – [Pourquoi ?] Flazbloquer_les_robots_crawlers_non_souhaites [2024/01/09 10:12] (Version actuelle) – [Usurpateurs] Flaz
Ligne 126: Ligne 126:
 </code> </code>
 //La sous-expression contenant "HTTP:X-FORWARDED-FOR" n'éclaire pas notre propos. Elle est néanmoins nécessaire pour traiter correctement le cas où la requête transite par un Réseau de Diffusion de Contenu (RDC ou CDN).// //La sous-expression contenant "HTTP:X-FORWARDED-FOR" n'éclaire pas notre propos. Elle est néanmoins nécessaire pour traiter correctement le cas où la requête transite par un Réseau de Diffusion de Contenu (RDC ou CDN).//
 +
 +== Extension ==
 +
 +Cette technique est facilement applicable à d'autres //crawlers// dont on souhaite tester l'identité. Par exemple, Apple fournit les [[https://support.apple.com/fr-fr/HT204683|indications permettant d'authentifier l'Applebot]]. On en tire la règle suivante :
 +<code>
 +<If "%{HTTP_USER_AGENT} =~ /Applebot/ && ! -n %{HTTP:X-FORWARDED-FOR}">
 +  Require host .applebot.apple.com
 +</If>
 +</code>
  
bloquer_les_robots_crawlers_non_souhaites.1702660194.txt.gz · Dernière modification : 2023/12/15 18:09 de Flaz