西区代码小仓库 - Python，爬虫与深度学习（12）——sitemap与robots.txt 的评论
type: channel
link: https://www.lisper517.top/archives/50/
description: 步骤/目录：1.介绍 （1）sitemap （2）robots.txt2.使用scrapy生成sitemap