博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python爬虫 百度新闻列表20条的标题、链接、日期
阅读量:4129 次
发布时间:2019-05-25

本文共 605 字,大约阅读时间需要 2 分钟。

待爬取的20条新闻部分如下:

通过观察审查元素发现,标题,链接和时间都藏在class=result里面,一个页面共有20条新闻,只要循环20遍,每次取其中div的相应元素即可。

#coding:utf-8

#引入相关模块
import requests
from bs4 import BeautifulSoup

url = 

"http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=%E4%B8%8A%E6%B5%B7%E6%B5%B7%E4%BA%8B%E5%A4%A7%E5%AD%A6"

#请求搜索上海海事大学关键字新闻网页的URL,获取其text文本
response = requests.get(url)  #对获取到的文本进行解析
html = response.text
soup=BeautifulSoup(html,features='lxml')  #根据HTML网页字符串创建BeautifulSoup对象
news=soup.find_all('div', {"class": "result"})
for t in news:
    data = {
        "标题":t.find('a').text,
        "链接":t.find('a')['href'],
        "时间":t.find('p').get_text()
    }

    print(data)     

运行结果如下:

你可能感兴趣的文章
1062 Talent and Virtue (25 分)
查看>>
1061 Dating (20 分)
查看>>
1060 Are They Equal (25 分)
查看>>
83. Remove Duplicates from Sorted List(easy)
查看>>
88. Merge Sorted Array(easy)
查看>>
leetcode刷题191 位1的个数 Number of 1 Bits(简单) Python Java
查看>>
leetcode刷题198 打家劫舍 House Robber(简单) Python Java
查看>>
NG深度学习第一门课作业2 通过一个隐藏层的神经网络来做平面数据的分类
查看>>
leetcode刷题234 回文链表 Palindrome Linked List(简单) Python Java
查看>>
NG深度学习第二门课作业1-1 深度学习的实践
查看>>
Ubuntu下安装Qt
查看>>
Qt札记
查看>>
我的vimrc和gvimrc配置
查看>>
hdu 4280
查看>>
禁止使用类的copy构造函数和赋值操作符
查看>>
C++学习路线
查看>>
私有构造函数
查看>>
组队总结
查看>>
TOMCAT使用SSL(https)
查看>>
校验码的计算方法说明
查看>>