seo优化网这里讲了robots的概念及以及操作方法

发布时间:2020-09-05 19:04 编辑:西极电力网

魔贝课凡这节课来学习第二阶段名词解释里边的技术部分,主要讲解robots的概念,还有robots的演示。

我们先来看robots的概念,文本文件,它其实就是一个协议,魔贝课凡讲解:spider爬虫什(edg-4396,mide-503) 么可以抓取,什么不可以抓取。我们知道搜索引擎是不产出内容的,它会派出大量的爬虫来抓取我们网站的内容,网站有些内容是不允许它抓取的,有些内容是可以让它抓取的,所以我们要写一个规则来限制。一般搜索引擎会遵循这个规则,也就是这个文本协议,但是百度往往会跳过这个规则。robots协议就相当于一个公司门口贴的公告,这个公告会允许哪些人可以进入,哪些人免进。robots文件国内很多人喜欢叫做萝卜丝文件

robots文件是以txt结尾的文档,存于网站的根目录,这个就是robots文本协议。搜索引擎爬虫访问网站的第一站就会看这个协议,然后遵循协议去抓取文件,所以我们要屏蔽一些无用信息节省蜘蛛资源,(易搜seo,vdd083) 以及屏蔽一些隐私信息不公布于网络,这样不至于搜索引擎把你的内容全部都给你抓取过去。屏蔽掉无用信息的话,把更多的爬虫引向有用页面,从而提升你的收录。后面的课程中会详细给大家讲写法,屏蔽哪些文件,开放哪些文件。这就是robots文件的位置,在根目录

(ssni-152,ssni-043)

我们回到桌面打开浏览器,打开我们的演示站点www.moocfan.com,我们在网址后方输入一个斜杠,然后输入robots.txt,回车访问,这里就是我们seo教学演示站点里边的robots文件。这里是允许所有的爬虫来访问,不允许访问的是这个目录,还有这一个目录,这两个目录是我们网站的重要两个目录。这里仅仅屏蔽掉的是程序里面的一些函数文件、动态文件等。robots写法示例

接下来再演示一个屏蔽了百度爬虫的网站,也就是万能的淘宝网。回到浏览器里面输入,我们看到这里他屏蔽掉的百度的写法是这样子,这是淘宝的一个政策,整站不允许百度来爬取,因为它压根就不需要搜索引擎流量。而且百度向来是违反robots协议抓取,seo优化网所以淘宝还要在服务器(ssni-127,磁力链) 里设置一些屏蔽措施。

可能很多同学不知道这个该怎么用,简单讲一下。seo优化网我们该如何使用百度站长平台生成robots文件?方法很简单,就是桌面上建立一个txt文档,然后把这个名字改成robots,然后通过ftp工具上传到空间。里边的内容你可以直接去模仿其他网站,或者直接用百度站长平台功能生成,如果你已经有了账号可以直接登录,如果没有账号,(什么是seo网络推广,mkbd-03 kirari) 就去注册一个。选择验证过的站点,检测更新就出来了,怎么写一目了然。

我们一般用到的都是不允许抓取,比如说不允许所有的爬虫抓取整站,seo优化网只需要Disall(黑冒seo,mdyd-413) ow:/,然后点击创建就可以了。D(nhdta-141,pppd-308) isallow:/是不允许所有的网爬虫来抓取,可以直接把文件保存到桌面上,自己动手试试。当然了,你也可以复制内容到自己建的robots文件里,它和淘宝的萝卜丝文件是一样的。另外还可以不允许所有(seo排行榜,star-456) 的爬虫来访问具体的一个目录,比如说我们有一个目录是admin目录,写成Disallow:/admin/,爬虫就不会抓取这个目录了。国内的几个爬虫都(南昌seo,mimk-015) 挺垃圾的

还可以不允许抓取目录中的第一篇文章,直接Disallow:/链接地址就行了,seo优化网创建后搜索引擎就不会再抓取这篇文章了。根目录下不要存在两个以上的robots文件,我们要删掉其中(ipz-209,ipz-275) 一个,不然会对搜索引擎爬取造成困扰,对seo也不好。

我们把这个协议通过ftp上传到网站根目录,这个协议就开始生效了,seo优化网这里讲了robots的概念及以及操作方法。

本文robots.txt文件作用由SEO讲师团队原创编辑,我们专注于seo优化网,所以专业。

TAG: seo收徒 seo照片 好人哥seo SEO怎样赚钱 seo产讯 德州seo公司 沈阳网站seo 逐鹿seo 株洲网站seo 求seo教程 上海seo服务 宋雷seo 枫林seo 海南seo培训 seo链接 seo服务器 袁飞seo 新手seo seo学多久 seo的优缺点

上一篇:专业网站优化奠定科学的思想基础 下一篇:windows7优化大师官网频繁的修改网站内容,对SE

相关阅读

精彩推荐