分类目录归档：python学习

2020
04-24

Python的系统交互subprocess模块

早期的Python版本中，主要是通过os.system()、os.popen().read()等函数来执行命令行指令的。从Python2.4开始官方建议使用subprocess模块。 os.system(command)：返回命令执行状态码，而将命令执行结果输出到屏幕 os.popen(command).read()：可以获取命令执行结果，但是无法获取命令执行状态码 subpro.... Read More >

2020
04-23

使用slenium + driver实现万能爬虫

通常各大网站都会有一定的反爬机制，既为了数据安全，也为了减小服务器压力，而常见反爬的手段都是识别非浏览器客户端，而selenium所做的事情，就是驱动真正的浏览器去执行请求和操作，只不过信号不是来源于鼠标，而是来源于selenium的API(selenium本是一个自动化的测试工具) 自然人用户能做的一切，selenium几乎都可以通过API驱动浏览器去做，包括输入、点击、滑动，删除cook.... Read More >

2020
04-06

python中实现XPath的lxml模块

lxml是一个HTML/XML的解析器，主要功能是解析和提取数据，在解析HTML的时候，如果HTML代码不规范，该模块会自动补全。 使用pip install lxml安装模块 1、导入模块 from lxml import etree 2、解析文件或字符串为HTML文档并返回 etree.parse(filename,parser=None) 加载指定文件内容并使用par.... Read More >

2020
04-06

python中实现队列的queue模块

python中的queue模块提供了同步的、线程安全的队列类，包括FIFO(先进先出)的Queue类和LIFO(后进先出，栈结构)LifoQueue类和优先队列PriorityQueue类，它们都实现了锁原语(可以理解为原子操作，要么不做，要么就全部做完)，解决了python多线程编程中的线程不安全。 队列与列表的区别 队列中数据只有一份，取出就没有了，列表数据取出只是复制了一份 1.... Read More >

2020
03-30

python中的requests库

python中内置的urllib模块用于访问网络资源，但是它用起来比较麻烦，而且缺少很多实用的高级功能。 更好的方案是使用requests，它是一个Python第三方库，处理URL资源特别方便。 使用pip install requests安装requests模块 一、发送请求 发送get请求： requests.get(url,params=None,**kwargs).... Read More >

2020
03-30

urllib模块中处理cookie信息

在python中使用urllib库处理cookie，一般通过http.cookiejar模块和urllib模块的HTTPCookieProcessor处理器类一起使用 http.cookiejar模块主要作用是提供用于存储cookie到对象 HTTPCookieProcessor处理器的主要作用是处理这些cookie对象，并构建handler对象 http.cookiejar模块.... Read More >

2020
03-05

python中pandas模块的数据对象和数据透视

我们一般都是预定将pandas库加载为pd(import pandas as pd)，这种方式也是官网推荐的方式。 pandas模块依赖于numpy模块(在pip安装pandas时会自动安装)，也需要引入import numpy as np pandas的数据结构有Series和DataFrame Series是一维数据结构 DataFrame表示为具有行和列的二维.... Read More >

2020
03-04

python使用openpyxl模块操作excel

python中的openpyxl模块可以操作excel文件。 使用pip安装pip install openpyxl 支持流行的lxml库(如果已安装)。这在创建大文件时特别有用。 为了能够将图像(jpeg，png，bmp等)包含到文件中，需要安装'pillow'库：pip install pillow 1、创建一个excel对象 import openpyxl wb=op.... Read More >

2020
03-03

python操作excel表格的xlrd、xlwt模块

python中的xlrd、xlwt模块可以操作excel文件。其中xlrd模块实现对excel文件内容读取，xlwt模块实现对excel文件的写入。 xlrd模块下载地址：http://pypi.python.org/pypi/xlrd xlwt模块下载地址：https://pypi.python.org/pypi/xlwt 推荐直接使用pip安装：pip install xlr.... Read More >

2019
09-11

python操作redis

安装redis模块：pip install redis redis提供两个类Redis和StrictRedis用于实现Redis的连接和操作命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py，推荐使用StricRedis。 StrictRedis尽量使用官方语法和命令，除了以下命令： select没有实现，考虑到了线程安全 del是.... Read More >