BeautifulSoup html与xml解析库使用详解
furl链接解析库使用详解
furl简介
|
|
- scheme is the scheme string (all lowercase) or None. None means no scheme. An empty string means a protocol relative URL, like
//www.google.com
. - username is the username string for authentication.
- password is the password string for authentication with username.
- host is the domain name, IPv4, or IPv6 address as a string. Domain names are all lowercase.
- port is an integer or None. A value of None means no port specified and the default port for the given scheme should be inferred, if possible.
- path is a Path object comprised of path segments.
- query is a Query object comprised of query arguments.
- fragment is a Fragment object comprised of a Path and Query object separated by an optional
?
separator.
|
|
Redis学习笔记
Redis简介
Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。
特点:
- Redis是完全在内存中保存数据的数据库,使用磁盘只是为了持久性目的
- Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
- Redis支持数据的备份,即master-slave模式的数据备份。
优点:
- 异常快速: Redis是非常快的,每秒可以执行大约110000设置操作,81000个/每秒的读取操作。
- 支持丰富的数据类型: Redis支持最大多数开发人员已经知道如列表,集合,可排序集合,哈希等数据类型。
这使得在应用中很容易解决的各种问题,因为我们知道哪些问题处理使用哪种数据类型更好解决。 - 操作都是原子的 : 所有 Redis 的操作都是原子,从而确保当两个客户同时访问 Redis 服务器得到的是更新后的值(最新值)。
- MultiUtility工具: Redis是一个多功能实用工具,可以在很多如:缓存,消息传递队列中使用(Redis原生支持发布/订阅),在应用程序中,如:Web应用程序会话,网站页面点击数等任何短暂的数据
PyMongo芒果库使用详解
PyMongo简介
MongoDB官方出的针对python平台的库,相当于数据库的客户端,所以需要安装MongoDB的服务器端,按照Install MongoDB Community Edition on Windows说明可以在windows平台上安装MongoDB
并在管理员权限的cmd窗口运行:
|
|
将会产生系统服务,mongod.cfg
文件内容:
|
|
MongoDB学习笔记
MongoDB简介
MongoDB是对象型数据库,mysql等关系型数据库的表格式固定,如果想增添带有更多信息的属性就需要重新建一张表,然后用外键进行关联,这样查询也会造成表之间的join
,效率低,而且结构越复杂,表越多,表之间的关系就越紧密,会影响表之间的清晰度。而对象型数据库将每条记录看作是一个文档,以json格式存放在一个文件中,并且每个文档结构可以不同,一个文档中就包含了这条记录的所有相关信息,以面对对象的思维来看就是一个对象,文档的集合也就是关系型数据库记录的集合,也就是表
dataset简易数据库包使用详解
dataset简介
dataset号称是为懒人所写的数据库,并说明了很多程序员存储数据都会使用不易查询和更新的CSV和JSON格式,而不是数据库,主要原因是数据库的相关代码比较复杂,而dataset正式解决这个问题,为程序员提供更方便的数据库操作
|
|
PyMySQL库使用详解
PyMySQL简介
一个比较方便的连接mysql使用的python库,官网给的例子很简单,但是看下源码发现内容还是很多的,很多函数都没有介绍,所以只有在使用的时候查看源代码了。从github上该项目所获得的星数来看,该库还是很出名的。
geopy地理查询库使用详解
geopy简介
可以使用geopy库来查询地址,国家,城市,地标,geopy使用的是第三方的geo解析器(包括谷歌地图,必应地图,Nominatim等)和一些数据源来获取地理信息
Each geolocation service you might use, such as Google Maps, Bing Maps, or Yahoo BOSS, has its own class in geopy.geocoders
abstracting the service’s API. Geocoders each define at least ageocode
method, for resolving a location from a string, and may define a reverse
method, which resolves a pair of coordinates to an address.
moviepy视频处理库使用详解
moviepy简介
moviepy能够对音频,视频,以及git图片进行剪切,合并,标题插入等处理,并支持多种格式。
moviepy也是基于ffmpeg,如果没有安装ffmpeg,moviepy会在第一次使用moviepy的时候自动下载安装ffmpeg,如果本机安装有ffmpeg,建议修改config_defaults.py
文件中的配置为FFMPEG_BINARY = 'auto-detect'
至于其他工具,则是对应相应的工具自行决定要不要安装,比如增加文字需要ImageMagick,预览音频和视频需要PyGame