爬虫实操，使用web scraper 批量获取UPC(三)

2022年6月26日 354点热度 0人点赞 0条评论

▲点击蓝色“刘大白的跨境日记”▲

继前面得内容过后今天完善了这个upc爬虫，没有看过的可以先看看前面的内容

什么是爬虫，学会使用爬虫第一步需要学会看懂网页（一）

爬虫实操，使用web scraper 批量获取UPC(二)

今天有视频，有点吵，身边没有耳机，用的笔记本自带的话筒，见谅。

爬取的页面是这个

https://www.dsw.com/en/us/category/womens-sandals/N-1z141jrZ1z128ugZ1z141ju

今天先简单得爬取，只在单页面点击后，爬取里面得内页得标题，价格和upc，

我们打开网站，然后按F12 ，选择web scraper

如果不在底下，需要调整一下位置

像这样

输入域名，和爬虫名，这里需要多页面爬取得时候用到，明天说

{"_id":"dsw11","startUrl":["https://www.dsw.com/en/us/category/womens-sandals/N-1z141jrZ1z128ugZ1z141ju"],"selectors":[{"id":"items","parentSelectors":["_root"],"type":"SelectorLink","selector":"a.product-tile--link","multiple":true,"delay":0},{"id":"title","parentSelectors":["items"],"type":"SelectorText","selector":"[itemprop='name'] span","multiple":false,"delay":0,"regex":""},{"id":"price","parentSelectors":["items"],"type":"SelectorText","selector":"span#price","multiple":false,"delay":0,"regex":""},{"id":"upc","parentSelectors":["items"],"type":"SelectorText","selector":"#tabpanel-pdp-product-description-accordion > div > div > div.description > ul > li:nth-child(2)","multiple":false,"delay":0,"regex":""}]}

这是我爬虫得代码，你们可以直接导入