fiux

crawlers.txt

@@ -12,7 +12,6 @@ YisouSpider
 gotosocial
 FAST-WebCrawler
 Facebot
-Go-http-client
 MisskeyBot
 search-engine-indexer
 PixelFedBot
@@ -63,7 +62,6 @@ ws-bot-v1
 AhrefsBot
 ldspider
 Googlebot-Image
-bot
 ImagesiftBot
 Bytespider
 BW/1.2
@@ -75,7 +73,6 @@ facebook
 Barkrowler
 FediDB
 ev-crawler
-Everyone
 FediFetcher
 CDSCbot
 PerplexityBot
@@ -116,10 +113,8 @@ FreshRSS
 YandexWebmaster
 LinkedInBot
 HeadlessChrome
-Push
 t3versionsBot
 ClaudeBot
-For
 Qwant
 msnbot
 Trident
@@ -127,7 +122,6 @@ rss-is-dead.lol
 SurdotlyBot
 MJ12bot
 YandexFavicon
-Engine
 AdsBot-Google
 GPTBot
 CyberFind