标签：robots

大部分网站都有一个robots协议，也称为，爬虫协议或机器人协议。以文本文件格式存在，一般都叫做robots.txt，是网站告诉搜索引擎蜘蛛程序哪些页面是可以抓取，哪些页面是拒绝抓取的。当搜索引擎蜘蛛来访问网站的时候，第一件事就是先读取ro...

赞(0)他是个大冬瓜2021-03-04蜘蛛技巧 robots搜索引擎蜘蛛蜘蛛抓取阅读(13)

有没有担心过自己的隐私会在强大的搜索引擎面前无所遁形？想象一下，如果要向世界上所有的人公开你的私人日记，你能接受吗？的确是很矛盾的问题，站长们大都忧虑“如何让搜索引擎收录的我的网站？”，而我们还是要研究一下“如何让搜索引擎不收录我们的网站”...

赞(0)他是个大冬瓜2019-05-07SEO优化 robots搜索引擎蜘蛛阅读(14)

一、robots概述 ①robots.txt纯文本文件，网站管理员可以在这里声明该网站不想robots访问的部分，所以robots优化直接影响着搜索引擎对网站的收录情况； ②robots.txt必须放置在一个站点的根目录下，并且文件名必须全...

赞(0)他是个大冬瓜2017-03-12SEO优化 robots搜索引擎百度抓取阅读(10)