经发现,虽然wget遵循 robots.txt 规则,但是那个还是可以绕过去,现在把我自己使用的屏蔽方法分享给大家:成都服务器托管

1. 屏蔽下载任何文件
.htaccess
1 2 3 4 5 6 | SetEnvIfNoCase User-Agent "^wget" bad_botOrder Allow,DenyAllow from allDeny from env=bad_bot |
2. 屏蔽下载部分文件
.htaccess
1 2 3 4 5 6 7 8 | SetEnvIfNoCase User-Agent "^Wget" bad_botSetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_botSetEnvIfNoCase User-Agent "^Wget/1.6" bad_botOrder Allow,DenyAllow from allDeny from env=bad_bot |