linux文件系统与日志分析

linux文件系统与日志分析

一、inode与block

1、inode与block概述

1.1 bolck（块）

• 连续的八个扇区组成一个block（4K）
• 是文件存取的最小单位

1.2 inode（索引节点）

inode号在同一个设备（如：分区、逻辑卷等）上是唯一的，在不同设备上是可能一样的

• 中文译名为“索引节点”，也叫 i节点
• 用于存储文件元信息

注：一个文件必须占用一个 inode，但至少占用一个block

• 文件是存储在硬盘上的，硬盘的最小存储单位叫做“扇区”（sector），每个扇区存储512字节。
• 一般连续八个扇区组成一个“块”（block），一个块是4K大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性读取多个扇区，即一个块一个块的读取的。
• 文件数据包括实际数据与元信息（类似文件属性）。文件数据存储在”块“中，存储文件元信息（比如文件的创建者、创建日期、文件大小、文件权限等）的区域叫做inode。因此，一个文件必须占用一个inode，并且至少占用一个block。
• inode不包含文件名。文件名是存放在目录当中的。linux系统中一切皆文件，因此目录也是一种文件
• 每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。
• 当用户在Linux系统中试图访问一个文件时，系统会根据文件名去查找它对应的inode 号码，通过Inode号码。获取Inode 信息；根据inode信息，看该用户是否具有访问这个文件的权限；如果有，就指向相对应的数据block，并读取数据。

2、inode的内容

2.1 inode包含文件的元信息，包括

• 文件的字节数
• 文件拥有者的User ID
• 文件的Group ID
• 文件的读、写、执行权限
• 文件的时间戳
• ……

注：文件拥有着的User ID不包含文件名

2.2 用 stat命令可以查看某个文件的 inode信息

stat  文件名   #查看文件的inode信息（如：stat  abc.txt

3、查看文件名对应的inode号码

ls -i  文件名    #查看文件对应的inode号
#只显示文件对应的 inode号，不能显示指定目录的 inode号，可以显示目录内所有文件的目录的inode号

stat  文件名    #查看文件对应的inode号
#会显示文件的元信息，也可以指定目录显示

cp 和 inode

cp 命令：

• 分配一个空闲的inode号，在inode表中生成新条目
• 在目录中创建一个目录项，将名称与inode编号关联
• 拷贝数据生成新的文件

rm 命令

• 硬链接数递减，从而释放的inode号可以被重用
• 把数据块放在空闲列表中
• 删除目录项
• 数据实际上不会马上被删除，但当另一个文件使用数据块时将被覆盖

mv和inode

• 如果mv命令的目标和源在同一设备
• 不影响inode表（除时间戳）或磁盘上的数据位置：没有数据被移动！
• 删除旧的目录对应关系新建目录对应关系

4、Linux系统文件三个主要的时间属性

• 当新创建一个文件时，这个文件的最后访问时间、最后内容修改时间、最后状态更新时间都是一致的

• 修改一个文件的权限状态信息，只会更新这个文件的最后状态修改时间

4.1 ctime（change time）

• 最后一次改变文件或目录（属性）的时间（文件权限最后变动时间）

4.2 atime（access time）

• 最后一次访问文件或目录的时间（最后被查看时间）

4.3 mtime（modification time）

• 最后一次修改文件或目录（内容）的时间（有没有被修改过）

5、目录文件的结构

1. Linux系统中，一切皆为文件。因此，目录也是一种文件

2. 目录文件的结构

   文件名	inode号
   文件名1	inode号1
   文件名2	inode号2
   ……	……

   注：每一行称为一个目录项。

3. 每个inode都有一个号码，操作系统用inode号码来识别不同的文件。

4. Linux系统内部不适用文件名，而使用inode号码来识别文件。

5. 对于用户，文件名只是inode号码便于识别的别称。

6、用户通过文件名打开文件时，系统内部的过程

• 系统找到这个文件名对应的inode号码
• 通过inode号码，获取inode信息
• 根据inode信息，找到文件数据所在的block，读出数据

7、银盘分区后结构和访问文件简单流程

硬盘分区后的结构

• 根据文件夹中的文件名和inode号的关系找到对应的inode表，再根据inode表当中的指针找到磁盘上的真实数据

访问文件的简单流程

8、inode的大小

inode也会消耗硬盘空间

• 每个inode的大小；
• 一般是128字节或者256字节

格式化文件系统时确定inode的 总数

df-i 命令

• 查看每个硬盘分区对应的inode总数以及使用数

注意：

• inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据; 另一个是 inode区，存放 inode 所包含的信息。每个 inode 的大小，一般是 128 字节或 256 字节。
• 通常情况下不需要关注单个 inode 的大小，而是需要重点关注 inode 总数。inode 的总数在格式化时就给定了，执行"df-i"命令即可查看每个硬盘分区对应的的 inode 总数和已经使用的inode 数量。

9、inode的特殊作用

由于inode号码与文件名分离，导致一些Unix/Linux系统具有以的现象：

• 当文件名包含特殊字符，可能无法正常删除文件，直接删除inode，也可以删除文件
• 移动或重命名文件时，只改变文件名，不影响inode号码
• 打开一个文件后，系统通过inode号码来识别该文件，不再考虑文件名
• 文件数据被修改保存后，会生成一个新的inode号码

10、通过inode号删除文件命令

find / -inum 68767553 -exec rm {} \;    #根据inode号找到文件并删除

find / -inum 68767553 -delete    #根据inode号找到文件并删除

删除文件，空间不释放时：
lsof |grep delete    #过滤出被删除的文件，（再用kill杀掉进程）

echo " " > /boot/bigfile    #将文件/boot/bigfile变成一个字符

11、inode节点耗尽故障模拟处理

inode号是有限的资源，它的多少和磁盘大小有关

inode号用完了：删除没有用的空文件

使用fdisk创建分区/dev/sdb1，分区大小30M即可：
fdisk /dev/sdb    #新建分区

mkfs.xfs /dev/sdb1    #格式化

mount .dev/sdb1 /opt    #挂载

df -i    #查看磁盘可用inode号

模拟inode节点耗尽故障：
touch {1..15500}|xargs -n1 touch    #建立文件，耗尽inode号

df -i    #查看可用inode号

df -hi    #查看可用inode号和容量

删除文件恢复inode：
rm -rf *    #删除没有用的空文件夹

df -i    #查看可用inode号

df -hi    #查看可用inode号和容量

inode节点耗尽故障模拟处理（图文详解）

二、硬链接与软链接

1、链接文件的分类

对比项	硬连接	软连接
本质	本质是同一个文件	本质不是同一个文件
inode	相同	不同
连接数	创建新的硬链接,链接数会增加,删除硬链接,链接数减少	删除新建不会改变
文件夹	不支持	支持
删除源文件	只是链接数减一,但链接文件的访问不受影响	无法访问连接文件
文件类型	和源文件相同	链接文件,和源文件无关
文件大小	和源文件相同	源文件的路径的长度

2、如何建立链接

2.1 硬链接

• ln 源文件 目标位置

2.2 软链接

• ln -s 源文件或目录 链接文件或目标位置

三、恢复误删除的文件

1、恢复EXT类型的文件

1.1 extundelete工具

• extundelete是一个开源的Linux数据恢复工具，支持ext3、ext4文件系统。（ext4只能在CentOS 6版本恢复）

1.2 模拟删除并执行恢复操作

#使用fdisk创建分区/dev/sdc1,格式化ext3文件系统：
fdisk /dev/sdcpartprobe /dev/sdc

mkfs.ext3 /dev/sdc1

mkdir /test

mount /dev/sdc1 /test

df -hT

#安装依赖包：
yum -y inatll e2fsprogs-devel e2fsprogs-libs

#编译安装extundelete：
cd /test

wget http://nchc.dl.sourceforge.net/project/extundelete/extundelete/0.2.4/extundelete-0.2.4.tar.bz2   ## 下载文件

tar jxvf extundelete-0.2.4.tar.bz2

cd extundlete-0.2.4/

./configure --prefix=/usr/local/extundelete && make && make install

ln -s /usr/local/extundelete/bin/* /usr/bin/

#执行恢复操作：
cd /test

echo a>a

echo a>b

echo a>c

echo a>d

ls

extundelete /dev/sdc1 --inode 2  ##查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录

rm -rf a b    #模拟删除

extundelete /dev/sdc1 --inode 2    #查看该分区下的存在哪些文件

cd ~    #切换

umount /test    #解挂载

extundelete /dev/sdc1 --restore -all    #恢复/dev/sdc1文件系统下的所有内容

在当前目录下会出现一个RECOVERD_FILES/目录，里面保存了已经恢复的文件

ls RECOVERD_FILES/

2、XFS文件的备份和恢复

2.1 xfsdump工具

• CentOS 7系统默认采xfs文件系统，xfs类型的文件可使用xfsdump与xfsrestore工具进行备份恢复。
• xfsdump的备份级别有两种：0表示完全备份，1-9表示增量备份。xfsdump的默认备份级别为0。

2.2 xfsdump的命令格式

• xfsdump -f 备份存放位置 要备份的路径或设备文件

2.3 xfsdump命令的常用选项

常用选项	说明
-f	指定备份文件目录
-L	指定标签session label
-M	指定设备标签media label
-s	备份单个文件，-s后面不能直接跟路径

2.4 xfsdump的使用限制

• 只能备份已挂载的文件系统
• 必须使用root的权限才能操作
• 只能备份xfs文件系统
• 备份后的数据只能让xfsdump解析
• 不能备份两个具有相同UUID的文件系统（可用blkid命令查看）

2.5 模拟数据丢失并恢复

使用fdisk创建分区/dev/sdb1，格式化xfs文件系统：
fdisk /dev/sdb

partprobe /dev/sdb    #刷新分区

mkfs.xfs [-f] /dev/sdb1    #-f强制格式化

mkdir /data

mount /dev/sdb1 /data/    #挂载

cd /data

cp /etc/passwd ./    #将passwd文件拷入

mkdir test

touch test/a

使用xfsdump命令备份整个分区：
rpm -qa | grep xfsdump    #查看是否已安装

yum install -y xfsdump    #未安装可以使用yum安装

xfsdump -f /opt/dump_sdb1 /dev/sdb1 [-L dump_sdb1 -M sdb1]    #使用 xfsdump 命令备份整个分区并打上标记

模拟数据丢失并使用xfsrestore命令恢复文件：
cd /data

rm -rf ./*

ls

xfsrestore -f /opt/dump_sdb1 /data/    # 使用 bak文件 将数据恢复到 /data 下

四、日志文件

1、日志的功能

• 用于记录系统、程序运行中发生的各种事件
• 通过阅读日志，有助于诊断和解决系统故障

2、日志文件的分类

2.1 内核及系统日志

• /var/log/massages：系统大部分文件存放位置
• /var/log/secure：与安全有关的信息（用户登录）

2.2 用户日志

• /var/log/btmp：查看用户登录失败的信息（lastb命令查看，因为btmp是一个二进制文件）
• /var/log/wtmp：哪些用户正常登录到系统中（last命令查看）
• /var/log/lastlog：记录用户最后一次登录信息（lastlog命令查看）

2.3 程序日志

• 由各种应用程序独立管理的日志文件，记录格式不统一
• 是和程序本身有关，有的有独立日志，有的没有独立日志

3、日志的保存位置

• 默认位于：/var/log目录下

日志文件位置	日志文件说明
/var/log/messages内核和公共日志	它是核心系统日志文件，其中包含了系统启动时的引导信息，以及系统运行时的其他状态消息。I/O 错误、网络错误和其他系统错误都会记录到此文件中。其他信息，比如某个人的身份切换为 root，已及用户自定义安装软件的日志，也会在这里列出。
/var/log/cron 计划任务日志	记录与系统定时任务相关的曰志
/var/log/dmesg 系统引导日志	记录了系统在开机时内核自检的信息，也可以使用dmesg命令直接查看内核自检信息
/var/log/maillog 邮件日志	记录邮件信息的曰志
/var/log/lastlog	记录系统中所有用户最后一次的登录时间的曰志。这个文件也是二进制文件.不能直接用Vi 查看。而要使用lastlog命令查看
/var/log/secure	记录验证和授权方面的倍息，只要涉及账户和密码的程序都会记录，比如系统的登录、ssh的登录、su切换用户，sudo授权，甚至添加用户和修改用户密码都会记录在这个日志文件中
/var/log/wtmp	永久记录所有用户的登陆、注销信息，同时记录系统的启动、重启、关机事件。同样，这个文件也是二进制文件.不能直接用Vi查看，而要使用last命令查看
/var/tun/ulmp	记录当前已经登录的用户的信息。这个文件会随着用户的登录和注销而不断变化，只记录当前登录用户的信息。同样，这个文件不能直接用Vi查看，而要使用w、who、users等命令查看

vim /etc/rsyslog.conf      #查看rsyslog.conf配置文件

*.info;mail.none;authpriv.none;cron.none      /var/log/messages

*.info      #表示info等级及以上的所有等级的信息都写到对应的日志文件里

mail.none  #表示某事件的信息不写到日志文件里 （这里比如是邮件）

4、内核及系统日志

由系统服务rsylog统一管理

• 软件包：rsylog-7.4.7-16.el7.x86_6
• 主要程序：/sbin/rsyslohd
• 配置文件：/etc/rsyslog.conf

修改 rsyslog 软件的配置文件（实现日志管理）

• /data/sshd.log：/data表示路径 sshd.log自定义文件名

5、网络日志（远程日志功能）

• 通过网络日志服务器，可以将多台机器的日志放到一台机器上，从而实现日志的统一管理

将192.168.10.11设备的日志放到192.168.12设备上，由192.168.10.12管理

#先关闭两台设备的防火墙和中心防护

#192.168.10.11设备操作：

vim /etc/rsyslog.conf    #编辑修改配置文件
$ModLoad imtcp
$InputTCPServerRun 514
#启动19、20行（tcp协议）

systemctl restart rsyslog.service    #重新启动rsyslog

ss -natp|grep 514    #查看514进程信息

vim /etc/rsyslog.conf    #编辑修改配置文件
*.info;mail.none;authpriv.none;cron.none                @@192.168.10.12    #将该设备的日志文件到给192.168.10.12设备
#一个@表示udp协议；两个@@表示tcp协议

systemctl restart rsyslog.service    #重新启动rsyslog

logger "this is ri zhi from 192.168.10.11"    #随意编辑一个日志（用于验证操作是否成功）

#192.168.10.12设备操作：

vim /etc/rsyslog.conf    #编辑配置文件
$ModLoad imtcp
$InputTCPServerRun 514
#启动19、20行（tcp协议）

systemctl restart rsyslog.service    #重新启动rsyslog

ss -natp|grep 514    #查看514进程信息

tail -f /var/log/messages    #实时查看日志

远程日志功能（图文详解）

• 192.168.10.11设备操作步骤

• 192.168.10.12设备操作步骤

6、日志消息的级别

• 日志内的信息等级越高（数值越小等级越高），说明此信息越重要，要优先处理。按0-7分为8级

级别	说明
0	EMERG(紧急):会导致主机系统不可用的情况
1	ALERT(警告):必须马上采取措施解决的问题
2	CRIT(严重):比较严重的情况
3	ERR(错误):运行出现错误
4	WARNING(提醒):可能影响系统功能，需要提醒用户的重要事件。
5	NOTICE(注意):不会影响正常功能，但是需要注意的事件
6	INFO(信息):一般信息
7	DEBUG(调试):程序或系统i调试信息等

7、日志文件的记录格式

• 时间标签、主机名、子系统名、消息字段组成

字段	说明
时间标签	消息发出的日期和时间
主机名	生成消息的计算机的名称
子系统名称	发出消息的应用程序的名称
消息	消息的具体内容

8、用户日志分析

保存了用户登录、退出系统等相关信息

• /var/log/lastlog：最近的用户登事件
• /var/log/wtmp：用户登录、注销及系统开、关机事件
• /var/run/utmp：当前登录的每个用户的详细信息
• /var/log/secure：与用户验证相关的安全性事件

分析工具

• users、who、w、last、lastb
• last命令用于查询成功登录到系统的用户记录
• lastb命令用于查询登陆失败的用户记录

9、程序日志分析

由相应的应用程序独立进行管理

Web服务：/var/log/httpd/

• access_log // 记录客户访问事件
• error_log // 记录错误事件

代理服务：/var/log/squid/

• access.log
• cache.log

分析工具

• 文本查看、grep过滤检索、Webmin管理套件中查看
• awk、sed等文本过滤、格式化编辑工具
• Webalizer、Awstats等专用日志分析工具

10、日志管理策略

及时做好备份和归档

延长日志保存期限

• find ./ -mtime +30 -exec rm -rf {} ; 删除30天以前的日志文件

控制日志访问权限

• 日志中可能会包含各类敏感信息，如账户、口令等

集中管理日志

• 将服务器的日志文件发到统一的日志文件服务器
• 便于日志信息的统一收集、整理和分析
• 杜绝日志信息的意外丢失、恶意篡改或删除