最新网站使用nginx来屏蔽垃圾蜘蛛访问抓取的配置文件

Z站站长今天给大家分享一个来自柴郡猫的资源,也是来自别的网站,希望大家喜欢,下载地址就在文中。

网站使用nginx来屏蔽垃圾蜘蛛访问抓取的配置文件

配置文件下载地址:

GitHub:https://github.com/vircloud/bots

蓝奏云:https://www.lanzous.com/i5am4cd

本站备份:点我下载

禁止垃圾蜘蛛的原因

这里垃圾蜘蛛指的大部分是采集工具的蜘蛛UA,这些垃圾工具的蜘蛛有可能是做信息收集过滤用来贩卖,有可能是直接抓取你网站内容然后发布到自己站点的蜘蛛。

屏蔽访问抓取的实现方式

利用nginx的的配置文件来实现,通过分析访问这的部分信息,来判断是否符合垃圾蜘蛛的条件从而决定是否禁止。

提醒

默认配置文件不建议大家直接用,建议根据自己站点的实际情况来进行修改。

比如这一段

#禁压缩包 location ~* /.(tgz|bak|zip|rar|tar|gz|bz2|xz|tar.gz)$ {   return 400;   break; }

这一段直接禁止了对压缩包的访问,如果你的网站有提供下载,就不能禁止他。使用时候直接将其删除或者注释掉即可。

使用教程

首先我们把配置文件下载到服务器上,存入一个不经常动的目录,可以跟nginx放一起

然后根据自己站点的情况把配置文件修改一下,保存即可

然后我们打开nginx的配置文件,在nginx的配置文件中引用我们修改过的垃圾蜘蛛配置文件

这样来引入:

server { ...... include deny-bots.conf; ...... }

然后重启我们的nginx

service nginx reload

 

其他

引入配置文件例子:

你如果直接在nginx引入,那么生效的就是所有使用nginx的站点

如果你单独在某个站点的配置文件中引入的话,那么生效的只是这个站点,其他nginx下的站点不受影响。

引入可以参考宝塔面板里面已有网站的配置文件来操作,下面截图中有带目录和不带目录的两种方式。

网站使用nginx来屏蔽垃圾蜘蛛访问抓取的配置文件

 

大家觉得Z站站长分享得这个资源怎么样?赶紧评论一下吧!

【小程序源码网资源版权风险说明】:
本站为避免不必要的纷争,分享的所有资源中一切可能有版权风险的资源将全部转载自第三方网站或平台,站长只为大家提供相关资源的介绍和跳转引导。 因可能有疏忽大意,所以如有遗漏资源侵犯了您的合法权利,请联系站长删除。
【小程序源码网资源下载使用说明】:
本站所分享的一切QQ小程序源码,thinkphp整站源码,微信小程序源码,图文教程等资源仅供用户学习参考使用,任何人不得作其他用途,违者自行承担所有责任。
【小程序源码网毫无人看的介绍】:
本站又称Z站,原名贼娘网,开站于2018年,换过三任站长,目前站长是第四任站长,本站是一个主要分享免费开源小程序源码/网站源码/免费素材/教程资源的网站,主要小程序资源有用于学习的小程序源码,也有正版原创可商用的小程序源码,是一个公益博客型网站。
【小程序源码网原创源码版权申明】:
未经小程序源码网许可,任何人不得擅自使用本站原创首发源码进行商业行为(除本站VIP用户在期限内,版权无使用限制),否则将依法承担相应赔偿责任。
【小程序源码网转载文章版权申明】:
本站所转载的QQ小程序或微信小程序源码与其他资源仅供学习,任何人不得作其他用途,违者自行承担所有责任。
【小程序源码网站长最后的屁话】:
如有您认为本站有任何侵犯您合法权益的文章,或者您有什么疑问需求,欢迎联系站长QQ,站长24小时在线,备注公司名称和源码版权问题或者需要小程序定制开发等站长业务类型可急速处理,如果您只是交流小程序的一些开发问题或源码问题可以加入QQ群讨论,就不用加站长啦,对于白嫖党,QQ群才是处理问题的天堂,当然站长也欢迎大家骚扰~
小程序源码网 » 最新网站使用nginx来屏蔽垃圾蜘蛛访问抓取的配置文件

发表评论

嘿,投喂下嘛!