爬虫，从入门到放弃

Posted on Edited on In Views: 119
Symbols count in article: 794 Reading time ≈ 2 mins.
爬虫学好，牢饭管饱

概念介绍

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# coding=utf-8
from bs4 import BeautifulSoup
import requests

# 使用requests抓取页面内容，并将响应赋值给page变量
html = requests.get('https://yuanyuspace.cn/tags/')

# 使用content属性获取页面的源页面
# 使用BeautifulSoap解析，把内容传递到BeautifulSoap类
soup = BeautifulSoup(html.content, 'lxml')
links = soup.find_all('div', class_= 'tag-cloud-tags')

# link的内容就是div，我们取它的span内容就是我们需要段子的内容
for link in links:
    print(link.get_text())

得到结果 

1
2
3
4
5
6
D:\ananconda\python.exe "D:\pycharmm\PyCharm Community Edition 2020.3.4\plugins\python-ce\helpers\pydev\pydevd.py" --multiproc --qt-support=auto --client 127.0.0.1 --port 3450 --file C:/Users/11734/PycharmProjects/pythonProject1/main.py
Connected to pydev debugger (build 203.7717.65)

AI CS CV docker 写给CC 卡尔曼滤波 图像融合 好玩的 正则化表达式 爬虫 目标跟踪 自动驾驶

Process finished with exit code 0

资料

爬虫基本原理