Web Scraper教程(四):多URL爬取

2022年6月6日 476点热度 0人点赞 0条评论

Web Scraper 真的能满足大多数场景的数据爬取。当我们有多个拥有相同页面结构的URL,想要获取页面的某些特定字段时,可以在创建Sitemap的时候,点击➕号添加多个URL。但是当我们有成百上千个URL时,肯定不想一个个复制粘贴成百上千次,这个时候可以先输入几个URL。


图片


选取好要爬取的字段。


图片


点击Export Sitemap。


图片


复制这段代码,扩展URL。


图片


点击Import Sitemap。


图片

粘贴(成百上千的URL粘贴在代码里)。

图片

点击Scrape后就可以开始爬取数据了。

图片

图片

结果如下:

图片

76650Web Scraper教程(四):多URL爬取

这个人很懒,什么都没留下

文章评论