vnsc5858威尼斯城官网 > vnsc5858威尼斯城官网 > 我的第一个Python爬虫

原标题:我的第一个Python爬虫

浏览次数:115 时间:2019-10-09

接下来要定位商品信息,对商品名称检查,在<a>标签中,copy selector,在查找里粘贴,去掉前面部分,只留下父级标签,共有39条搜索结果,与网页上商品数目一致

我的第一个Python爬虫,第一个Python爬虫

零基础学习Python,学习的时间加起来有一个多月了,作为一个没有学过编程语言,只懂if语句的初学者,刚开始学习的时候看懂语法花了不少时间,语法基本没问题之后又发现有好多第三方库,这学起来真的是从入门到入坟。后来发现爬虫挺好玩的,经过不懈努力,死了不少脑细胞,在做其他事的时候还在想代码,在这样的状态下终于写出了第一个爬虫并成功抓取了数据,虽然代码很烂(烂到不敢看),但还是想记录下来,让以后的自己看看以前的自己多么水!

这个爬虫要爬的是某生鲜品牌在天猫旗舰店上的所有商品信息(包括商品名称、价格、销量和评价),在Chrome上打开网站,在商品名那个使用检查,看到是在一个<a>标签中,复制商品名称到网页源代码中查找发现没有结果,尝试了一下价格也是一样没有结果,说明这些信息都是通过js异步加载的。这时就切换到network,重新载入页面,再去type是xhr、JavaScript、json的项逐项查看,终于在一个xhr的headers里看到一个与原网址相似但多了一些东西的url,多的东西估计是该旗舰店的店铺id,尝试打开url,发现是一个没有图片,排版也很简单的网页,源代码里也有商品信息,OK,这就是要爬取的真正目标。这里也尝试了把url里一些信息比如callback、json等去掉,只留下id有关信息,有两个id相关,一个mid,一个wid,分别去试,发现店铺id是mid,即只留下mid信息,网页也能成功打开。

然后开始写代码,用到的库有requests、BeautifulSoup、csv,

1 import requests
2 from bs4 import BeautifulSoup
3 import csv
4 
5 wb_data = requests.get(url)
6 soup = BeautifulSoup(wb_data.text, 'lxml')

运行,出错,错误原因:HTTPError: HTTP Error 302: The HTTP server returned a redirect error that would lead to an infinite loop.

被重定向了,考虑要加入headers,对要爬取的网页检查,切换到network,重新载入,去复制里面headers里的user-agent和cookie信息,这样就可以伪装成浏览器在发送request,添加了headers之后重试,print(soup)可以得到网页源代码。

接下来要定位商品信息,对商品名称检查,在<a>标签中,copy selector,在查找里粘贴,去掉前面部分,只留下父级标签,共有39条搜索结果,与网页上商品数目一致

图片 1

 

 

1 name_list = soup.select('dd.5c 22 detail5c 22 > a')

运行,出错,错误原因:不规范的selector,考虑是"detail"这里的问题,于是使用soup.select('dd."detail" > a'),还是不行,不知道怎么处理“”这样的特殊字符,试过正则,soup.find(),都不行,没辙了就想不写css样式了,只用标签dd > a,先查找,发现39条搜索结果,与之前一样,对于这样数据少的网页竟然被我取巧了(汗颜,水平太次)。同样的方法来定位其他信息,价格用的是div > span,查找到117条,正好39的3倍,仔细看第一个span标签文本是¥,第二个是价格,第三个是销量,这样使用list的切片功能就可以分别得到价格和销量的信息了。再查找评价,h4 > a > span,找到29条,回网页看了下,发现39天商品信息里最后10条是本店推介,即共有29件商品,10件推介,没有关系,后面使用zip函数可以去掉不对称的10条信息。

图片 2

1 name_list = soup.select('dd > a')
2 price_list = soup.select('div > span')[1::3]
3 salenum_list = soup.select('div > span')[2::3]
4 evaluatenum_list = soup.select('h4 > a > span')

最后把数据导入csv

1 writer = csv.writer(open('', 'w', newline=''))
2 field = ('商品名称','价格','销量','评价数')
3 writer.writerow(field)
4 for name,price,salenum,evaluatenum in zip(name_list,price_list,salenum_list,evaluatenum_list):
5     row = (name.text,price.text.strip(),salenum.text,evaluatenum.text)
6     writer.writerow(row)

newline=''是为了csv里没有空行,strip()去掉价格文本里的空格,运行,打开csv文件,看到里面有29条商品信息,第一个简陋的爬虫完成。

零基础学习Python,学习的时间加起来有一个多月了,作为一个没有学过编程语言,只懂if语句的初学...

1 name_list = soup.select('dd.5c 22 detail5c 22 > a')

这个爬虫要爬的是某生鲜品牌在天猫旗舰店上的所有商品信息(包括商品名称、价格、销量和评价),在Chrome上打开网站,在商品名那个使用检查,看到是在一个<a>标签中,复制商品名称到网页源代码中查找发现没有结果,尝试了一下价格也是一样没有结果,说明这些信息都是通过js异步加载的。这时就切换到network,重新载入页面,再去type是xhr、JavaScript、json的项逐项查看,终于在一个xhr的headers里看到一个与原网址相似但多了一些东西的url,多的东西估计是该旗舰店的店铺id,尝试打开url,发现是一个没有图片,排版也很简单的网页,源代码里也有商品信息,OK,这就是要爬取的真正目标。这里也尝试了把url里一些信息比如callback、json等去掉,只留下id有关信息,有两个id相关,一个mid,一个wid,分别去试,发现店铺id是mid,即只留下mid信息,网页也能成功打开。

然后开始写代码,用到的库有requests、BeautifulSoup、csv,

零基础学习Python,学习的时间加起来有一个多月了,作为一个没有学过编程语言,只懂if语句的初学者,刚开始学习的时候看懂语法花了不少时间,语法基本没问题之后又发现有好多第三方库,这学起来真的是从入门到入坟。后来发现爬虫挺好玩的,经过不懈努力,死了不少脑细胞,在做其他事的时候还在想代码,在这样的状态下终于写出了第一个爬虫并成功抓取了数据,虽然代码很烂(烂到不敢看),但还是想记录下来,让以后的自己看看以前的自己多么水!

运行,出错,错误原因:不规范的selector,考虑是"detail"这里的问题,于是使用soup.select('dd."detail" > a'),还是不行,不知道怎么处理“”这样的特殊字符,试过正则,soup.find(),都不行,没辙了就想不写css样式了,只用标签dd > a,先查找,发现39条搜索结果,与之前一样,对于这样数据少的网页竟然被我取巧了(汗颜,水平太次)。同样的方法来定位其他信息,价格用的是div > span,查找到117条,正好39的3倍,仔细看第一个span标签文本是¥,第二个是价格,第三个是销量,这样使用list的切片功能就可以分别得到价格和销量的信息了。再查找评价,h4 > a > span,找到29条,回网页看了下,发现39天商品信息里最后10条是本店推介,即共有29件商品,10件推介,没有关系,后面使用zip函数可以去掉不对称的10条信息。

图片 3

1 import requests
2 from bs4 import BeautifulSoup
3 import csv
4 
5 wb_data = requests.get(url)
6 soup = BeautifulSoup(wb_data.text, 'lxml')

本文由vnsc5858威尼斯城官网发布于vnsc5858威尼斯城官网,转载请注明出处:我的第一个Python爬虫

关键词:

上一篇:numpy的axis的理解和检验,对numpy中轴与维度的理解

下一篇:没有了