如何在Django项目中添加robots.txt
小楼一夜听春语 6年前 (2018-09-19) 7098浏览 0评论
在Django项目中添加robots.txt,是为了让搜索引擎只爬取我们想让它爬取的内容。 一般搜索引擎在爬取网站内容时都会先爬取这个文件,然后根据这个文件的设置进行内容的爬取。 首先,先来看一下robots.txt文件的写法。 在robots.tx...
小楼一夜听春语 6年前 (2018-09-19) 7098浏览 0评论
在Django项目中添加robots.txt,是为了让搜索引擎只爬取我们想让它爬取的内容。 一般搜索引擎在爬取网站内容时都会先爬取这个文件,然后根据这个文件的设置进行内容的爬取。 首先,先来看一下robots.txt文件的写法。 在robots.tx...