如何强制scrapy爬行重复的URL?


问题内容

我正在学习Scrapy一个Web爬网框架。
默认情况下,它不会抓取重复的网址或scrapy已经抓取的网址。

如何使Scrapy抓取重复的URL或已经抓取的URL?
我尝试在Internet上查找,但找不到相关的帮助。

我发现DUPEFILTER_CLASS = RFPDupeFilterSgmlLinkExtractorScrapy-蜘蛛抓取重复网址,但这个问题是相反的我在寻找什么


问题答案:

你可能正在寻找关于的dont_filter=True论点Request()