NGINX 区分搜索引擎爬虫与用户并URL重写

前言

近期申请了个SSL证书玩玩，所以博客也启用了HTTPS（一方面也是因为垃圾评论太多，启用HTTPS也应该能防一些简单的灌水机吧？）。

然后听到某朋友提醒，百度等搜索引擎的爬虫是不抓HTTPS的，这样会带来收录问题。

开始

经过一番思考，想到通过NGINX规则来解决这个问题，便上网进行了搜索相关爬虫的UA，编写了以下规则。

需要注意的是，NGINX规则不像平时所写的代码，并不支持逻辑与/或，也不能条件嵌套。

代码如下

复制代码

set $flag 0;
if ($host != 'jerry.hk') {
    set $flag 1;
}
if ($server_port = 80) {
    set $flag 1;
}
if ($scheme = http) {
    set $flag 1;
}
if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)){
    set $flag 2;
}
if ($flag = 1){
    rewrite ^/(.*)$ https://jerry.hk/$1 redirect;
}
error_page 497 https://jerry.hk$request_uri;

效果
该规则能够简单区分爬虫和普通用户，起到下面的效果：

普通用户（正常访问）

1.访问带www的域名（www.111cn.net）跳转到不带www的域名（111cn.net）

2.强制启用HTTPS（用户使用HTTP访问将跳转到HTTPS）

搜索引擎爬虫

可以正常访问HTTP页面

时间： 2024-03-01 05:03:57

NGINX 区分搜索引擎爬虫与用户并URL重写的相关文章

Nginx限制搜索引擎爬虫频率、禁止屏蔽网络爬虫配置示例_nginx

复制代码代码如下: #全局配置 limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m; #某个server中 limit_req zone=anti_spider burst=30 nodelay; if ($http_user_agent ~* "xxspider|xxbot") { set $anti_spider $http_user_agent; } 超过设置的限定频率,就会给spider一个503. 上

nginx支持codeigniter的pathinfo模式url重写配置写法示例_nginx

开发环境 codeigniter 2.14 PHP 5.4.18 nginx 1.4.2 Codeigniter配置打开 codeignite 的 config.php 文件修改如下: $config['uri_protocol'] = "PATH_INFO"; nginx配置打开 nginx 的配置文件 nginx.conf 文件,修改如下: # 我使用的是虚拟主机配置 server { listen 80; server_name dev.example.com; rewrit

搜索引擎爬虫优先抓取哪些网页

网站的整体流量主要取决于网站页面的整体收录.网站页面的整体排名以及网站页面的整体点击率,这三个因素也是有先后顺序的,排名排一位的就是整体收录了,那么整体收录又是由哪些决定的呢?首先要想被收录,肯定页面要被搜索引擎抓取吧,没有抓取,也就不可能有收录.所以我们在优化收录的时候,一定要想办法让搜索引擎的爬虫程序去尽量抓取更多的页面,那么对于搜索引擎来说,它的源也是有限的,而且由于各种限制,它也只能抓取互联网上所有网页的一部分,而在抓取的这些页面中,它索引的也只是一部分,搜索引擎的蜘蛛程序会优先抓取哪些

搜索引擎越来越重视用户体验 SEO该怎么弄才好

搜索引擎越来越重视用户体验 SEO该怎么弄才好百度算法不断更新,特别是进入2013年以来,什么绿萝算法,石榴算法等等,据说这几天又出了一个知心搜索,百度的所有这些改变,归纳起来就是:越来越重视用户体验了,以往的排名规则统统甩在脑后吧,现在我们来研究一下,基于搜索引擎的这些发展趋势,作为中小站长的我们怎样才能做好SEO. 新形势下做好SEO,一壶清酒认为主要还是四个字--用户体验.可是用户体验四个字何其简单!网站没有排名,没有流量,根本就没有用户,何来的用户体验呢?别着急,我们从以下几点慢慢着手

nginx配置详解-url重写、反向代理、负载均衡

应用层的负载均衡 master/worker结构:一个master进程,生成一个或多个worker子进程 nginx请求的连接方式epoll 是Linux下多路复用IO接口select/poll的增强版本 select 遍历epoll无需遍历 1.nginx安装(未安装邮件服务器模块) ./configure --help查看编译选项配置文件中路径没加/以prefix指定的路径开始./configure \--prefix=/usr \--sbin-path=/usr/sbin/nginx \

SNS屏蔽搜索引擎为哪般用户隐私大过天

中介交易 SEO诊断淘宝客云主机技术大厅依靠熟人的熟人来发展网络社交的SNS网站目前正在遭遇一场隐私泄露危机.大多数SNS网站都采用实名制,并要求填写手机号码.邮箱.QQ.MSN.性别.出生日期等多项个人信息,在掌握了大量用户隐私的同时,也遭到了许多不法分子的觊觎.现在的隐私泄露已经不仅限于木马病毒的窃取,而更多的是来至于出于商业目的的数据搜集. 搜索引擎作为最常用.最直接获取网站信息的工具,虽然方便了用户,但也常被某些人利用,非法搜集用户私人信息,然后卖给商家.为了保护用户隐私,如今国

如何在搜索引擎中提高用户体验度

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断淘宝客云主机技术大厅这个问题被很多站长忽略,但这是一个很主要的问题,他关系着你在搜索引擎是否被用户点击,你凭什么就可以在5秒钟内就可以让浏览搜索结果的用户选择住你的网站. 从今天看了一段视频,感触颇深,用户在搜索引擎中检索出的结果,只要5秒钟就可以选择到为知信任的站点并点击了,但你知道这5秒钟用户在做什么吗? 用户在看,在看你的主题,和描述,还有网址,如果把这三

nginx、php-fpm、mysql用户权限解析

前几天学习了,在nginx下搭建wordpress博客.在<烂泥:使用nginx利用虚拟主机搭建WordPress博客>文章中,我们特别提到了有关程序运行在哪个用户下面. 这篇文章我们就特别来讲解下,nginx.php-fpm以及mysql运行在各个用户下的配置. 先来做个说明:nginx本身不能处理PHP,它只是个web服务器.当接收到客户端请求后,如果是php请求,则转发给php解释器处理,并把结果返回给客户端.如果是静态页面的话,nginx自身处理,然后把结果返回给客户端. Nginx下

搜索引擎优化与用户体验失联了怎么办？

在准备写这篇文章的时候,我们先祈祷一下马航失联到今天已经刚好11天时间了,在失联的时间到现在大家都是绷紧了神经祷告希望能出现奇迹,笔者借A5站长网这个平台来为"马航失联事件"祈祷一下,马航平安回家. 好了言归正传,今天写此文章的时候,太极拳的笔者一直都在关注这"马航失联事件"为此才想到今天我们要写的主题,如果搜索引擎优化和用户体验失联了,会出现什么情况? 首先我们先说说用户体验对网站的重要性在很多新手站长在优化自己的网站的时候,往往会忽略了许多细节的问题,就当初我