-
python中的parsel模块
parsel是一个python的第三方库，常用于html或者xml的解析，相当于css选择器+xpath+reparsel由scrapy团队开发，是将scrapy中的parsel独立抽取出来的，可以轻松解析html，xml等内容获取需要的数据安装：pip install parsel引入：import parsel 我们更经常使用 from parsel import Selector创建选择器对象：sel = parsel.Selector(text=None,type=None) 参数text为要解析的文本字符串 type可选值"html"...
2022-04-02 -
office文件老版本转换为新版本
office在2007版本之前使用的是专有二进制格式，其他程序是不能读取到其内容的，但是在2007版本之后使用了占用体积更小的新版格式新版的office格式文件本质上是一个ZIP文件，主要内容保存为XML格式，保存在一个扩展名改为docx|xlsx|ppts等的ZIP文件中新版格式的文件后缀改为ZIP后解压，可以看到解压出来的文件夹中多个文件夹，包含了文档的全部内容所以office的新旧版本操作完全不同，操作新旧版本的python库也不相同针对新版本openpyxl等库可以方便的进行操作，但是如果文档为旧版本，需要我们将旧版本转换为新版本格式我们可以使用的win32模块调用office的...
2022-03-24 -
python中asyncio库的低层级API
在python中，我们甚至完全不用管事件循环，只需要使用高层API，很少直接与事件循环打交道，但是为了更加熟悉asyncio的运行原理，最好还是了解EventLoop的设计原理，可以实现更加复杂更加精细化的操作创建事件循环asyncio.get_running_loop()返回当前线程中正在运行的事件循环 如果没有正在运行的事件循环则会引发 RuntimeError 此函数只能由协程或回调来调用 asyncio.get_event_loop()获取当前线程中的事件循环 如果当前线程没有事件循环且该线程为主线程，则创建一个新的事件循环并将其设为当前事件循环 asyn...
2022-02-11 -
python中的asyncio库的高层级API
asyncio库自python3.4版本开始加入标准库，用于基于协程来实现异步IO协程又称微线程，作用是在执行函数时可以中断去执行其他函数，整个过程看似像多线程创建一个协程不用调用系统功能，程序自身就能完成，所以协程也被称作用户态线程 协程是在线程中模拟出来的，也就是说协程是由线程生成的 一个线程生成的所有协程始终只在这一个线程中运行 协程之间的切换是由程序来决定的，也就是说我们可以人为的控制协程的切换，且切换开销很小 不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在控制共享资源时也不需要加锁，因此执行效率高很多使用async关键字创建协程函数，在协程函数中使用awai...
2022-02-11 -
python中的httpx模块
我们常用的网站访问库是requests，但是该库仅支持同步，在有些场景中就显得力不从心，现在有一个新的httpx库，同时支持同步和异步两种方式访问网络同步方式几乎和requests的使用方式完全相同，点击查看，以下我也列出来几点和requests不同的点响应流在requests中使用参数stream=True即可打开相应流，在httpx中将该参数改为stream()方法，在上下文中使用。除了第一个参数需要是定访问方法外，其他参数和正常访问相同，返回一个流对象close()：由于使用的上下文，该方法很少使用 read()：读取所有内容，既然使用了响应流，那么就不应该一次读取所有内容，所以很...
2022-01-21