Python从入门到网络爬虫（OS模块详解）

前言

本章介绍python自带模块os，os为操作系统 operating system 的简写，意为python与电脑的交互。os?模块提供了非常丰富的方法用来处理文件和目录。通过使用?os?模块，一方面可以方便地与操作系统进行交互，另一方面页可以极大增强代码的可移植性。如果该模块中相关功能出错，会抛出?OSError?异常或其子类异常。

在前面的讲解中我们学习过open()、write()、read()等方法来打开文件和读写文件，那我们需要什么时候用Python内置函数，什么时候用OS模块呢？

注意：模块提供了一种使用与操作系统相关的功能的便捷式途径。如果是读写文件的话，建议使用内置函数?open()?；如果是路径相关的操作，建议使用?os?的子模块?os.path?；如果要逐行读取多个文件，建议使用?fileinput?模块；要创建临时文件或路径，建议使用?tempfile?模块；要进行更高级的文件和路径操作则应当使用?shutil?模块。

此外，导入?os?模块时还要小心一点，千万?不要?为了图调用省事儿而将os?模块解包导入，即不要使用：?

from os import *

来导入os?模块；否则?os.open()?将会覆盖内置函数?open()?，从而造成预料之外的错误。?

?下面总结了OS模块最常用的一些方法

listdir( )	返回path指定的文件夹包含的文件或文件夹的名字的列表。
mkdir( )	创建目录
makedirs( )	递归创建目录
remove( )	删除文件
rmdir( )	删除指定目录
removedirs( )	递归删除目录
rename( )	重命名文件或目录，从 src 到 dst
getcwd( )	获取当前工作目录，即当前python脚本工作的目录路径
chdir( )	改变当前脚本工作目录；相当于shell下cd
stat( )	获取文件/目录信息

?更多方法请参考：Python OS 文件/目录方法 | 菜鸟教程Python OS 文件/目录方法 os 模块提供了非常丰富的方法用来处理文件和目录。常用的方法如下表所示： 序号方法及描述 1os.access(path, mode)检验权限模式 2os.chdir(path)改变当前工作目录 3os.chflags(path, flags)设置路径的标记为数字标记。 4os.chmod(path, mode)更改权限 5os.chown(path, uid, gid)更改文件所有者 6..https://www.runoob.com/python/os-file-methods.html

1. os模块常用函数讲解?

1.1 os.listdir( )，返回目录下的所有文件、目录列表

listdir?即?list directories，列出（当前）目录下的全部路径（及文件）。该函数存在一个参数，用以指定要列出子目录的路径，默认为?.，即“当前路径”。

函数返回值是一个列表，其中各元素均为字符串，分别是各路径名和文件名。

import os

def getFileLists(path):
    list_dir = os.listdir(path)
    for item in list_dir:
        print(item)

getFileLists(".")

1.2 os.mkdirs( )，创建目录

mkdir，即?make directory，用处是?新建一个路径。需要传入一个类路径参数用以指定新建路径的位置和名称，如果指定路径已存在，则会抛出?FileExistsError?异常。

该函数只能在已有的路径下新建一级路径，否则（即新建多级路径）会抛出?FileNotFoundError?异常。

def createDir(dir_path):
    os.mkdir(dir_path)

createDir("mkdirTest")

1.3 os.makedirs( )，递归创建目录

在需要新建多级路径的场景下，可以使用?os.makedirs()?来完成任务。函数?os.makedirs()?执行的是递归创建，若有必要，会分别新建指定路径经过的中间路径，直到最后创建出末端的 “叶子路径”。

def createDirs(dir_path):
    os.makedirs(dir_path)

createDirs("dirs/test/makedirs")

1.4 os.remove( )，删除文件

如果指定路径是目录而非文件的话，就会抛出?IsADirectoryError?异常。

1. 5 os.rmdir( )，删除目录

1.6 os.removedirs( )，递归删除目录。

1.7 os.rename( )，函数的作用是将文件或路径重命名

一般调用格式为?os.rename(src, dst)?，即将?src?指向的文件或路径重命名为?dst?指定的名称。

1.8 os.chdir( ) 改变当前工作目录

2. os.path常用方法

其实这个模块是?os?模块根据系统类型从另一个模块导入的，并非直接由?os?模块实现，比如?os.name?值为?nt，则在?os?模块中执行?import ntpath as path?；如果?os.name?值为?posix?，则导入posixpath。

使用该模块要注意一个很重要的特性：os.path?中的函数基本上是纯粹的字符串操作。换句话说，传入该模块函数的参数甚至不需要是一个有效路径，该模块也不会试图访问这个路径，而仅仅是按照“路径”的通用格式对字符串进行处理。

更进一步地说，os.path?模块的功能我们都可以自己使用字符串操作手动实现，该模块的作用是让我们在实现相同功能的时候不必考虑具体的系统，尤其是不需要过多关注文件系统分隔符的问题。

2.1 os.path.join()?

可以将多个传入路径组合为一个路径。实际上是将传入的几个字符串用系统的分隔符连接起来，组合成一个新的字符串，所以一般的用法是将第一个参数作为父目录，之后每一个参数即使下一级目录，从而组合成一个新的符合逻辑的路径。

os.path.join("aiyc", "do", "python", "dot", "top")

// aiyc\\do\\python\\dot\\top

2.2?os.path.abspath()

也就是说当传入路径符合“绝对路径”的格式时，该函数仅仅将路径分隔符替换为适应当前系统的字符，不做其他任何操作，并将结果返回。所谓“绝对路径的格式”，其实指的就是一个字母加冒号，之后跟分隔符和字符串序列的格式：

os.path.abspath("a:/aiyc/do//python")
# 'a:\\aiyc\\do\\python'

2.3 os.path.basename()

该函数返回传入路径的 “基名”，即传入路径的最下级目录。

2.4 os.path.dirname()

与上一个函数正好相反，返回的是最后一个分隔符前的整个字符串：

2.5 os.path.split()

函数?os.path.split()?的功能就是将传入路径以最后一个分隔符为界，分成两个字符串，并打包成元组的形式返回；

前两个函数?os.path.dirname()?和?os.path.basename()?的返回值分别是函数?os.path.split()?返回值的第一个、第二个元素。

2.6 os.path.exists() 路径是否存在

这个函数用于判断路径所指向的位置是否存在。若存在则返回?True?，不存在则返回?False?：