Post B5mWoaGqwuFmUrYpLU by AYz3YbdyXoXnWNtcau.aeris@firefish.imirhil.fr
(DIR) More posts by AYz3YbdyXoXnWNtcau.aeris@firefish.imirhil.fr
(DIR) Post #B5mWk1ravuUQcrZfpA by pb@mast.eu.org
0 likes, 0 repeats
J'ai trouvé comment éviter que mon site pour ferrovipathes https://signal.eu.org/rail se fasse éclater par des bots d'indexation sur ses pages "chères", l'une étant la liste des trains d'une journée complète dans une gare particulière. Après avoir blacklisté à tour de bras de nombreux bots, dont ceux qui ne tenaient pas compte du robots.txt, je me suis retrouvé avec de nombreux bots qui ne s'identifient pas comme bots, plus difficiles à trouver. Mais la meilleure solution n'était pas là. 1/2
(DIR) Post #B5mWk2BnimeXdX1oJs by pb@mast.eu.org
0 likes, 0 repeats
En fait, en regardant mieux les logs, j'ai trouvé que la plupart des bots "abusifs" allaient demander des listes de trains en 2025, 2024 voire jusqu'à 2021, ce qui ne sert à rien puisque je ne garde pas les trains trop anciens dans la base. Bref, en envoyant un 404 sur les vieilles dates (2 lignes de code), je suis passé immédiatement de 50-70 de load average (lorsque les bots étaient là) à 1-2. Encore une histoire qui pourrait plaire à @nitot 2/2
(DIR) Post #B5mWk2UEcFOkYheX3I by AYz3YbdyXoXnWNtcau.aeris@firefish.imirhil.fr
0 likes, 0 repeats
@pb@mast.eu.org @nitot@framapiaf.org Et sinon, si on réglait le problème à la base en supprimant les IA à la con qui sont à l’origine de ces scrappings massifs ? 😊
(DIR) Post #B5mWk3TCxYAfboBE5g by pb@mast.eu.org
0 likes, 0 repeats
Cerise sur le gâteau, maintenant j'ai un procédé facile pour détecter les bots abusifs (en moins diplomate : ceux écrits par des porcs) qui ne s'identifient pas comme bots.
(DIR) Post #B5mWoaGqwuFmUrYpLU by AYz3YbdyXoXnWNtcau.aeris@firefish.imirhil.fr
0 likes, 0 repeats
@pb@mast.eu.org @nitot@framapiaf.org Parce qu’on ne peut malheureusement pas tous avoir un script de deux lignes pour faire le taff… Les forges git se font pourrir, les blogs, les landing page…