10. Python 标准库概览

10.1. 操作系统接口

os 模块提供了很多与操作系统交互的函数:

  1. >>> import os
  2. >>> os.getcwd()      # Return the current working directory
  3. 'C:\\Python35'
  4. >>> os.chdir('/server/accesslogs')   # Change current working directory
  5. >>> os.system('mkdir today')   # Run the command mkdir in the system shell
  6. 0

应该用 import os 风格而非 from os import *。这样可以保证随操作系统不同而有所变化的 os.open() 不会覆盖内置函数 open()。

在使用一些像 os 这样的大型模块时内置的 dir() 和 help() 函数非常有用:

  1. >>> import os
  2. >>> dir(os)
  3. <returns a list of all module functions>
  4. >>> help(os)
  5. <returns an extensive manual page created from the module's docstrings>

针对日常的文件和目录管理任务，shutil 模块提供了一个易于使用的高级接口:

  1. >>> import shutil
  2. >>> shutil.copyfile('data.db', 'archive.db')
  3. 'archive.db'
  4. >>> shutil.move('/build/executables', 'installdir')
  5. 'installdir'

10.2. 文件通配符

glob 模块提供了一个函数用于从目录通配符搜索中生成文件列表:

  1. >>> import glob
  2. >>> glob.glob('*.py')
  3. ['primes.py', 'random.py', 'quote.py']

10.3. 命令行参数

通用工具脚本经常调用命令行参数。这些命令行参数以链表形式存储于 sys 模块的 argv 变量。例如在命令行中执行 python demo.py one two three 后可以得到以下输出结果:

  1. >>> import sys
  2. >>> print(sys.argv)
  3. ['demo.py', 'one', 'two', 'three']

getopt 模块使用 Unix getopt() 函数处理 sys.argv。更多的复杂命令行处理由 argparse 模块提供。

10.4. 错误输出重定向和程序终止

sys 还有 stdin， stdout 和 stderr 属性，即使在 stdout 被重定向时，后者也可以用于显示警告和错误信息:

  1. >>> sys.stderr.write('Warning, log file not found starting a new one\n')
  2. Warning, log file not found starting a new one

大多脚本的直接终止都使用 sys.exit()。

10.5. 字符串正则匹配

re 模块为高级字符串处理提供了正则表达式工具。对于复杂的匹配和处理，正则表达式提供了简洁、优化的解决方案:

  1. >>> import re
  2. >>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
  3. ['foot', 'fell', 'fastest']
  4. >>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')
  5. 'cat in the hat'

只需简单的操作时，字符串方法最好用，因为它们易读，又容易调试:

  1. >>> 'tea for too'.replace('too', 'two')
  2. 'tea for two'

10.6. 数学

math 模块为浮点运算提供了对底层C函数库的访问:

  1. >>> import math
  2. >>> math.cos(math.pi / 4.0)
  3. 0.70710678118654757
  4. >>> math.log(1024, 2)
  5. 10.0

random 提供了生成随机数的工具:

  1. >>> import random
  2. >>> random.choice(['apple', 'pear', 'banana'])
  3. 'apple'
  4. >>> random.sample(range(100), 10)   # sampling without replacement
  5. [30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
  6. >>> random.random()    # random float
  7. 0.17970987693706186
  8. >>> random.randrange(6)    # random integer chosen from range(6)
  9. 4

SciPy <http://scipy.org> 项目提供了许多数值计算的模块。

10.7. 互联网访问

有几个模块用于访问互联网以及处理网络通信协议。其中最简单的两个是用于处理从 urls 接收的数据的 urllib.request 以及用于发送电子邮件的 smtplib:

  1. >>> from urllib.request import urlopen
  2. >>> for line in urlopen('http://tycho.usno.navy.mil/cgi-bin/timer.pl'):
  3. ...     line = line.decode('utf-8')  # Decoding the binary data to text.
  4. ...     if 'EST' in line or 'EDT' in line:  # look for Eastern Time
  5. ...         print(line)
  6.  
  7. <BR>Nov. 25, 09:43:32 PM EST
  8.  
  9. >>> import smtplib
  10. >>> server = smtplib.SMTP('localhost')
  11. >>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',
  12. ... """To: jcaesar@example.org
  13. ... From: soothsayer@example.org
  14. ...
  15. ... Beware the Ides of March.
  16. ... """)
  17. >>> server.quit()

(注意第二个例子需要在 localhost 运行一个邮件服务器。)

10.8. 日期和时间

datetime 模块为日期和时间处理同时提供了简单和复杂的方法。支持日期和时间算法的同时，实现的重点放在更有效的处理和格式化输出。该模块还支持时区处理。

  1. >>> # dates are easily constructed and formatted
  2. >>> from datetime import date
  3. >>> now = date.today()
  4. >>> now
  5. datetime.date(2003, 12, 2)
  6. >>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
  7. '12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'
  8.  
  9. >>> # dates support calendar arithmetic
  10. >>> birthday = date(1964, 7, 31)
  11. >>> age = now - birthday
  12. >>> age.days
  13. 14368

10.9. 数据压缩

以下模块直接支持通用的数据打包和压缩格式：zlib， gzip， bz2， lzma， zipfile 以及 tarfile。

  1. >>> import zlib
  2. >>> s = b'witch which has which witches wrist watch'
  3. >>> len(s)
  4. 41
  5. >>> t = zlib.compress(s)
  6. >>> len(t)
  7. 37
  8. >>> zlib.decompress(t)
  9. b'witch which has which witches wrist watch'
  10. >>> zlib.crc32(s)
  11. 226805979

10.10. 性能度量

有些用户对了解解决同一问题的不同方法之间的性能差异很感兴趣。Python 提供了一个度量工具，为这些问题提供了直接答案。

例如，使用元组封装和拆封来交换元素看起来要比使用传统的方法要诱人的多。timeit 证明了后者更快一些:

  1. >>> from timeit import Timer
  2. >>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
  3. 0.57535828626024577
  4. >>> Timer('a,b = b,a', 'a=1; b=2').timeit()
  5. 0.54962537085770791

相对于 timeit 的细粒度，profile 和 pstats 模块提供了针对更大代码块的时间度量工具。

10.11. 质量控制

开发高质量软件的方法之一是为每一个函数开发测试代码，并且在开发过程中经常进行测试。

doctest 模块提供了一个工具，扫描模块并根据程序中内嵌的文档字符串执行测试。测试构造如同简单的将它的输出结果剪切并粘贴到文档字符串中。通过用户提供的例子，它发展了文档，允许 doctest 模块确认代码的结果是否与文档一致:

  1. def average(values):
  2.     """Computes the arithmetic mean of a list of numbers.
  3.  
  4.     >>> print(average([20, 30, 70]))
  5.     40.0
  6.     """
  7.     return sum(values) / len(values)
  8.  
  9. import doctest
  10. doctest.testmod()   # automatically validate the embedded tests

unittest 模块不像 doctest 模块那么容易使用，不过它可以在一个独立的文件里提供一个更全面的测试集:

  1. import unittest
  2.  
  3. class TestStatisticalFunctions(unittest.TestCase):
  4.  
  5.     def test_average(self):
  6.         self.assertEqual(average([20, 30, 70]), 40.0)
  7.         self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
  8.         with self.assertRaises(ZeroDivisionError):
  9.             average([])
  10.         with self.assertRaises(TypeError):
  11.             average(20, 30, 70)
  12.  
  13. unittest.main() # Calling from the command line invokes all tests

10.12. “瑞士军刀”

Python 展现了“瑞士军刀”的哲学。这可以通过它更大的包的高级和健壮的功能来得到最好的展现。列如:

  • xmlrpc.client 和 xmlrpc.server 模块让远程过程调用变得轻而易举。尽管模块有这样的名字，用户无需拥有 XML 的知识或处理 XML。

  • email 包是一个管理邮件信息的库，包括MIME和其它基于 RFC2822 的信息文档。

不同于实际发送和接收信息的 smtplib 和 poplib 模块，email 包包含一个构造或解析复杂消息结构（包括附件）及实现互联网编码和头协议的完整工具集。

  • xml.dom 和 xml.sax 包为流行的信息交换格式提供了强大的支持。同样， csv 模块支持在通用数据库格式中直接读写。

综合起来，这些模块和包大大简化了 Python 应用程序和其它工具之间的数据交换。