Post AssvcdCLuRkzflm01o by immae@mastodon.immae.eu
(DIR) More posts by immae@mastodon.immae.eu
(DIR) Post #Asst9C8BGYxhQ1eqI4 by bortzmeyer@mastodon.gougere.fr
2025-04-08T14:48:26Z
0 likes, 0 repeats
[I typically do not use the clickbait "this is an unpopular opinion" but here it is well adapted.]Unpopular opinion: a general blocking of AI crawlers may do more harm than good https://digitalmedusa.org/dumb-ais-smart-censors-the-future-of-web-fragmentation/ (by Farzaneh Badii)
(DIR) Post #AsstFjHOvtytxu5QOG by bortzmeyer@mastodon.gougere.fr
2025-04-08T14:49:41Z
0 likes, 0 repeats
Et pour les francophones : son exemple sur la langue est particulièrement pertinent. On va avoir des tas de médias français qui vont bloquer les ramasseurs des IA, puis se plaindre que les IA ne parlent pas bien français et que c'est de la faute des méchants Étatsuniens.
(DIR) Post #Assv7TKMYiCi58f7Hk by immae@mastodon.immae.eu
2025-04-08T15:10:31Z
0 likes, 0 repeats
@bortzmeyer j’ai été obligé de bloquer les IA (et les gens normaux par la même occasion, en laissant juste une page d’accueil avec un message indiquant comment se connecter avec un compte invité), parce que mon serveur était en permanence en surcharge à cause d’eux. J’estime que c’est pas à moi de payer pour eux, et je comprends très bien que tout le monde fasse un peu pareil (même si ça m’attriste qu’internet devienne de plus en plus pénible à naviguer pour les gens)
(DIR) Post #AssvJAsSytGYKrC5b6 by immae@mastodon.immae.eu
2025-04-08T15:11:54Z
0 likes, 0 repeats
@bortzmeyer s’ils avaient un minimum de respect lors de leurs crawl (comme un bot "normal" en quelques sortes) je n’aurais pas été obligé d’en arriver là
(DIR) Post #AssvJC5yS9fI72WOI4 by bortzmeyer@mastodon.gougere.fr
2025-04-08T15:12:39Z
0 likes, 0 repeats
@immae Pas d'amalgame : je vois passer des tas de ramasseurs d'IA sur mon site et certains sont bien élevés. (Et certainement d'autres ne le sont pas, mais ça existait avant l'IA.)
(DIR) Post #AssvT6r0nM7QkjFcqu by immae@mastodon.immae.eu
2025-04-08T15:14:23Z
0 likes, 0 repeats
@bortzmeyer ben tout le monde paye pour ceux qui ne le sont pas, parce que j’ai pas les moyens de filtrer ces derniers. Je vois pas comment faire autrmeent en fait à part subir une charge de 50 (pour 6 procs) presque 40% du temps
(DIR) Post #AssvauzEnkHcGOp1s0 by bortzmeyer@mastodon.gougere.fr
2025-04-08T15:15:54Z
0 likes, 0 repeats
@linuxine @immae Je n'ai pas de robots.txt donc bien élevés, pour moi, veut dire, mettre quelques secondes entre chaque requête et ne pas passer dix fois par jour pour la même ressource.
(DIR) Post #AssvcdCLuRkzflm01o by immae@mastodon.immae.eu
2025-04-08T15:16:15Z
0 likes, 0 repeats
@bortzmeyer @linuxine voilà: tu décris exactement mon souci ;)
(DIR) Post #AssvfC6r54poWlQM2C by bortzmeyer@mastodon.gougere.fr
2025-04-08T15:16:43Z
0 likes, 0 repeats
@linuxine @immae Ce qui doit être fait par défaut puisque, par défaut (sans robots.txt), on ne devrait pas être matraqué.
(DIR) Post #AsswEykaEAVhWH4OtU by immae@mastodon.immae.eu
2025-04-08T15:17:56Z
0 likes, 0 repeats
@linuxine @bortzmeyer en plus ce que j’héberge c’est par exemple des sites avec nuage de tags (shaarli), donc une "inifinité" potentielle de pages à crawler
(DIR) Post #AsswEzsQ2WN90rkAkK by bortzmeyer@mastodon.gougere.fr
2025-04-08T15:23:07Z
0 likes, 0 repeats
@immae @linuxine Oui, c'est aussi le problème des forges logicielles. Un site Web "traditionnel" (des pages statiques avec des liens) est moins "vulnérable".
(DIR) Post #AsswF6EGQDPYiM0hd2 by immae@mastodon.immae.eu
2025-04-08T15:18:43Z
0 likes, 0 repeats
@bortzmeyer @linuxine bref, du coup j’ai tout bloqué (à part la première page) et les utilisateurs sont obligés de faire une authentification http pour autre chose que "quelques pages"
(DIR) Post #AsswO7KzfZwUl6STE8 by immae@mastodon.immae.eu
2025-04-08T15:24:47Z
1 likes, 0 repeats
@bortzmeyer @linuxine certes, mes sites sur pages statiques ne sont pas bloquées. Mais ma forge logicielle et les sites dynamiques style shaarli j’ai pas eu le choix si je voulais pas finir noyé.