В моем журнале apache много чего такого:
<IP ADDRESS> - - <DATE> "GET /forward?path=http://vary_bad_link_not_for_children" <NUM1> <NUM2> "-" <String>
‹NUM1›: 302 или 404
‹NUM2›: 5XX, 6XX или 11XX
<Нить>:
"Mozilla / 5.0 (совместимый; AhrefsBot / 5.1; + http://ahrefs.com/robot/)"
"Mozilla / 5.0 (совместимый; MJ12bot / v1.4.5; http://www.majestic12.co.uk/bot.php?+) "
"Mozilla / 5.0 (совместимый; Googlebot / 2.1; + ... ссылка)"
"Mozilla / 5.0 (совместимый; Exabot / 3.0; + ... ссылка)"
так далее...
Я сделал тюрьму для fail2ban с этим регулярным выражением:
failregex = ^<HOST> .*"GET .*/forward\?path=
Все работает нормально, за исключением того, что заблокированные IP-адреса (см. ‹IP-АДРЕС› в журнале) являются IP-адресами Google и других очень известных компаний.
Я действительно не понимаю, почему это так; Я имею в виду, почему я должен запрещать Google и другие компании, и если нет, почему я должен принимать все эти несоответствующие запросы к моему серверу.
Я хотел бы уточнить свои вопросы, так как это было плохо объяснено:
1. Почему Google IP (и другие известные компании) выполняют такие «порнографические» запросы.
2-Есть ли смысл в "/ forward? Path = ...", это функция apache?
3-Как решить эту проблему, не останавливая "хороших" ботов для ссылки на мои сайты.
Заранее благодарим за любую помощь!
/forward
? В таком случае вам следует запретить его в своем robots.txt. Если нет, вы должны отредактировать вопрос, чтобы описать желаемое поведение. - person Leopold says Reinstate Monica   schedule 12.04.2016