-
python中实现XPath的lxml模块
lxml是一个HTML/XML的解析器，主要功能是解析和提取数据，在解析HTML的时候，如果HTML代码不规范，该模块会自动补全。使用pip install lxml安装模块1、导入模块 from lxml import etree 2、解析文件或字符串为HTML文档并返回 etree.parse(filename,parser=None) 加载指定文件内容并使用parser指定的解析器解析，默认使用XML解析器 myparser=etree.HTMLParser(encoding="utf-8") etree.HTMLParser方法返回HTML解析器 ...
2020-04-06 -
python中实现队列的queue模块
python中的queue模块提供了同步的、线程安全的队列类，包括FIFO(先进先出)的Queue类和LIFO(后进先出，栈结构)LifoQueue类和优先队列PriorityQueue类，它们都实现了锁原语(可以理解为原子操作，要么不做，要么就全部做完)，解决了python多线程编程中的线程不安全。队列与列表的区别队列中数据只有一份，取出就没有了，列表数据取出只是复制了一份1、初始化一个队列 Queue(maxsize=0) 或者 LifoQueue(maxsize=0) 或者 PriorityQueue(maxsize=0) maxsize是个整数，指...
2020-04-06 -
python中的requests库
python中内置的urllib模块用于访问网络资源，但是它用起来比较麻烦，而且缺少很多实用的高级功能。更好的方案是使用requests，它是一个Python第三方库，处理URL资源特别方便。使用pip install requests安装requests模块一、发送请求发送get请求： requests.get(url,params=None,**kwargs) params是一个字典，表示要传递的数据(get方法可以直接在url中传递数据但是数据需要进行urlencode编码，使用该属性值不需要编码)发送post请求： requests.post(url,data...
2020-03-30 -
urllib模块中处理cookie信息
在python中使用urllib库处理cookie，一般通过http.cookiejar模块和urllib模块的HTTPCookieProcessor处理器类一起使用http.cookiejar模块主要作用是提供用于存储cookie到对象HTTPCookieProcessor处理器的主要作用是处理这些cookie对象，并构建handler对象http.cookiejar模块主要的类有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJarCookieJar类管理HTTP cookie值、存储HTTP请求生成到cookie、向传出的HTTP...
2020-03-30 -
python中pandas模块的数据对象和数据透视
我们一般都是预定将pandas库加载为pd(import pandas as pd)，这种方式也是官网推荐的方式。pandas模块依赖于numpy模块(在pip安装pandas时会自动安装)，也需要引入import numpy as nppandas的数据结构有Series和DataFrameSeries是一维数据结构 DataFrame表示为具有行和列的二维数据 DataFrame的每个column就是一个Series 一、创建数据对象创建Series数据Series(data=None,index=None,dtype=None,name=None)data：创建的Series对象的...
2020-03-05