简单爬虫案例——爬取中国侨网经济类新闻

admin2024-05-15  0

网址:

aHR0cHM6Ly9jaGFubmVsLmNoaW5hcXcuY29tL3UvcXcvcXN0ei5zaHRtbD9wYWdlcj0w

抓包分析

简单爬虫案例——爬取中国侨网经济类新闻,第1张

发现返回的数据是Unicode编码格式,因此提取编码后,还要进行字符串转换。 

代码展现:

import requests
import re
import time
import parsel
for page in range(100):
    time.sleep(1)
    link= f'https://channel.chinaqw.com/u/qw/qstz.shtml?pager={page}'
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    }
    response = requests.get(url=link,headers=headers).text
    # 用正则提取所有的数据
    data = re.findall('var docArr=\[(.*?)]',response)[0]
    # 用正则提取标题和文章链接
    title_list = re.findall('"title":"(.*?)"',data)
    url_list = re.findall('"url":"(.*?)"',data)
    for title,url in zip(title_list,url_list):
        # 对url进行处理
        url = url.replace('\','')
        # 将unicode编码转为中文字符串
        decoded_str = bytes(title, 'utf-8').decode('unicode_escape')
        print(decoded_str,url)
        response = requests.get(url=url,headers=headers)
        response.encoding=response.apparent_encoding
        selector = parsel.Selector(response.text)
        # 用css选择器提取文章正文内容
        content = selector.css('div.editor_content p::text').getall()
        # 针对不同的格式,选择不同的 提取内容
        if len(content) == 0:
            content = selector.css('div.left_zw p::text').getall()
        print(content)

Unicode编码转换代码

原始显示的是

简单爬虫案例——爬取中国侨网经济类新闻,第2张

用python提取之后是这样

简单爬虫案例——爬取中国侨网经济类新闻,第3张 

title = '\u4E0A\u6D77\u4FA8\u5546\u4FA8\u9886\u4FA8\u9752\u8D74\u6D59\u6C5F\u6E56\u5DDE\u5F00\u5C55\u5408\u4F5C\u5BF9\u63A5'
coded_str = bytes(title, 'utf-8').decode('unicode_escape')

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明原文出处。如若内容造成侵权/违法违规/事实不符,请联系SD编程学习网:675289112@qq.com进行投诉反馈,一经查实,立即删除!