解决python写的爬虫程序抓取到的网页是乱码的问题

在开发自用爬虫过程中，有的网页是utf-8，有的是gb2312,有的是gbk，怎么办？

下面所说的都是针对python2.7

如果不加处理，采集到的都是乱码，解决的方法是将html处理成统一的utf-8编码。

#chardet 需要下载安装

import chardet

#抓取网页html

html_1 = urllib2.urlopen(line,timeout=120).read()
#print html_1
mychar=chardet.detect(html_1)
#print mychar
bianma=mychar['encoding']
if bianma == 'utf-8' or bianma == 'UTF-8':
   #html=html.decode('utf-8','ignore').encode('utf-8')
  html=html_1
else :
   html =html_1.decode('gb2312','ignore').encode('utf-8')

有以上处理，整个html就不会是乱码。

以上是小编为您精心准备的的内容，在的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索html
， 爬虫
， 乱码
， utf-8
， webmagic 爬虫
， 网页 爬虫
， 处理
， utf-8python
， 解决方案python爬虫
， HTML抓取
， python抓取百度
， python写的记事本
， python2.7中文乱码
chardet
python爬虫抓取图片、python爬虫抓取数据、python3爬虫抓取图片、python爬虫抓取视频、python 爬虫抓取文本，以便于您获取更多的相关知识。