技术开发 频道

Python开发者应该知道的7个开发库

        【IT168 技术】在我多年的Python编程经历以及在Github上的探索漫游过程中,我发掘到一些很不错的Python开发包,这些包大大简化了开发过程,而本文就是为了向大家推荐这些开发包。

  请注意我特别排除了像SQLAlchemy和Flask这样的库,因为其实在太优秀了,无需多提。

  下面开始:

  1. PyQuery (with lxml)

  安装方法 pip install pyquery

  Python 解析 HTML 时最经常被推荐的是Beautiful Soup ,而且它的确也表现很好。提供良好的 Python 风格的 API,而且很容易在网上找到相关的资料文档,但是当你需要在短时间内解析大量文档时便会碰到性能的问题,简单,但是真的非常慢。

  下图是08年的一份性能比较图:

PyQuery以及dateutil

  这个图里我们发现 lxml 的性能是如此之好,不过文档就很少,而且使用上相当的笨拙!那么是选择一个使用简单但是速度奇慢的库呢,还是选择一个速度飞快但是用起来巨复杂的库呢?

  谁说二者一定要选其一呢,我们要的是用起来方便,速度也一样飞快的 XML/HTML 解析库!

  而 PyQuery 就可以同时满足你的易用性和解析速度方面的苛刻要求。

  看看下面这几行代码:

from pyquery import PyQuery  
page
= PyQuery(some_html)  

last_red_anchor
= page('#container > a.red:last')

  很简单吧,很像是jQuery,但它却是Python。

  不过也有一些不足,在使用迭代时需要对文本进行重新封装:

for paragraph in page('#container > p'):  
    paragraph
= PyQuery(paragraph)  
    text
= paragraph.text()

  2. dateutil

  安装方法:pip install dateutil

  处理日期很痛苦,多亏有了 dateutil

from dateutil.parser import parse  

>>> parse('Mon, 11 Jul 2011 10:01:56 +0200 (CEST)')  
datetime.datetime(
2011, 7, 11, 10, 1, 56, tzinfo=tzlocal())  

# fuzzy ignores unknown tokens  

>>> s = """Today is 25 of September of 2003, exactly  
...        at 10:49:41 with timezone -03:00.
"""
>>> parse(s, fuzzy=True)  
datetime.datetime(
2003, 9, 25, 10, 49, 41,  
                  tzinfo
=tzoffset(None, -10800))

  3. fuzzywuzzy

  安装方法:pip install fuzzywuzzy

  fuzzywuzzy 可以让你对两个字符串进行模糊比较,当你需要处理一些人类产生的数据时,这非常有用。下面代码使用Levenshtein 距离比较方法来匹配用户输入数组和可能的选择。

from Levenshtein import distance  

countries
= ['Canada', 'Antarctica', 'Togo', ...]  

def choose_least_distant(element, choices):  
    
'Return the one element of choices that is most similar to element'
    
return min(choices, key=lambda s: distance(element, s))  

user_input
= 'canaderp'
choose_least_distant(user_input, countries)  
>>> 'Canada'

  这已经不错了,但还可以做的更好:

from fuzzywuzzy import process  

process.extractOne(
"canaderp", countries)  
>>> ("Canada", 97)
${PageNumber}

  4. watchdog

  安装方法:pip install watchdog

  watchdog 是一个用来监控文件系统事件的 Python API和shell实用工具。

  5. sh

  安装方法:pip install sh

  sh可让你调用任意程序,就好象是一个函数一般:

from sh import git, ls, wc  

# checkout master branch  
git(checkout="master")  

# print(the contents of this directory  
print(ls("-l"))  

# get the longest line of this file  
longest_line = wc(__file__, "-L")

  6. pattern

  安装方法:pip install pattern

  Pattern 是 Python 的一个 Web 数据挖掘模块。可用于数据挖掘、自然语言处理、机器学习和网络分析。

  7. path.py

  安装方法:pip install path.py

  当我开始学习 Python 时,os.path 是我最不喜欢的 stdlib 的一部分。尽管在一个目录下创建一组文件很简单。

import os  

some_dir
= '/some_dir'
files
= []  

for f in os.listdir(some_dir):  
    files.append(os.path.joinpath(some_dir, f))

  但listdir在os而不是os.path中。

  而有了path.py ,处理文件路径变得简单:

from path import path  

some_dir
= path('/some_dir')  

files
= some_dir.files()

  其他的用法:

>>> path('/').owner  
'root'

>>> path('a/b/c').splitall()  
[path(
''), 'a', 'b', 'c']  

# overriding __div__  
>>> path('a') / 'b' / 'c'
path(
'a/b/c')  

>>> path('ab/c').relpathto('ab/d/f')  
path(
'../d/f')

  是不是要好很多?

0
相关文章