linux常用的组合命令--文本处理、文件监控和数据统计等

在Linux中，组合命令可以让你以强大的方式执行多个任务。以下是一些常用的命令组合和管道操作的例子

1. 查找并计算文件数量

find /path/to/directory -type f | wc -l

这个组合使用 find 命令来搜索特定目录下的所有文件（不包括目录），然后通过管道将结果传递给 wc -l 命令来计算文件的数量。

2. 搜索文本并高亮显示

grep 'pattern' /path/to/file | grep --color 'pattern'

这个命令使用 grep 在文件中搜索文本模式，并通过另一个 grep 实例来高亮显示匹配的文本。

3. 逐行处理文本文件内容

cat file.txt | while read line; do echo $line; done

这里，cat 命令读取文件内容，然后通过管道逐行传递给 read 命令，echo 命令在每次循环时打印当前行。

4. 结合使用 find 和 xargs

find /path/to/directory -type f -name "*.log" -print0 | xargs -0 grep 'error'

这个组合命令查找所有以 .log 结尾的文件，并使用 xargs 命令向 grep 传递路径，搜索包含 ‘error’ 的文件。

5. 使用 ps 和 grep 查找进程

ps aux | grep 'httpd'

使用 ps 列出所有进程，然后通过 grep 过滤出含有 ‘httpd’ 的行。

6. 排序和去重

sort file.txt | uniq

通过 sort 对文件内容进行排序，并使用 uniq 去除重复行。

7. 监控日志文件的实时更新

tail -f /var/log/syslog | grep 'error'

使用 tail -f 实时跟踪日志文件的更新，并且通过 grep 过滤出包含 ‘error’ 的行。

8. 查找最常用的命令

history | awk '{print $2}' | sort | uniq -c | sort -nr | head -10

这个组合命令分析用户的命令历史，找出最常用的10个命令。

9. 从多个文件中删除空行

grep -v '^$' file1.txt file2.txt > merged.txt

使用 grep -v '^$' 查找非空行，并将其输出到新文件 merged.txt 中。

10. 结合使用 cut 和 sort 统计IP访问

cat access.log | cut -d' ' -f1 | sort | uniq -c | sort -nr

这个组合命令提取日志文件中的IP地址，并统计每个IP地址的访问次数。

继续探索Linux中的命令组合，这里是一些进一步的例子：

11. 备份当前目录下所有.conf文件

tar czf backup.tar.gz *.conf

使用 tar 命令来创建一个压缩的tar包，包含当前目录下所有扩展名为 .conf 的文件。

12. 实时监控新建的文件

watch -n 1 'ls -lrt | tail'

使用 watch 命令每秒执行一次 ls -lrt | tail 组合，ls -lrt 会按时间倒序列出文件，而 tail 则显示最新的几个文件。

13. 批量改变文件扩展名

for file in *.html; do mv "$file" "${file%.html}.txt"; done

使用 for 循环和参数扩展来将目录下所有 .html 文件的扩展名改成 .txt。

14. 统计一个文本文件中单词的数量

cat file.txt | tr -s ' ' '\n' | sort | uniq -c | sort -nr

将文件中的空格替换为换行符，使得每行只有一个单词，然后进行排序和唯一计数。

15. 转换文件编码

iconv -f ISO-8859-1 -t UTF-8//TRANSLIT file.txt -o file_utf8.txt

使用 iconv 命令转换文件编码从 ISO-8859-1 到 UTF-8。

16. 检查远程主机的端口是否开放

nc -zv remote_host 22

通过 nc (netcat) 命令检查远程主机的22端口（SSH端口）是否开放。

17. 打印出最常用的404错误页面

awk '$9 == 404 {print $7}' access.log | sort | uniq -c | sort -nr | head -10

分析nginx或apache访问日志，找出返回最多404错误的页面。

18. 终止所有名为“my_process”的进程

pkill my_process

或者

kill $(pgrep my_process)

使用 pkill 或 pgrep 与 kill 组合来终止所有名为“my_process”的进程。

19. 从多个文本文件中删除所有空白行

sed -i '/^\s*$/d' *.txt

使用 sed 命令来就地（不创建备份）删除所有匹配模式 ^\s*$（空白行）的行。

20. 创建一个包含指定内容的文本文件

echo -e "line 1\nline 2\nline 3" > myfile.txt

使用 echo 命令和输出重定向来创建一个新文件，并写入几行文本。

---

这些组合命令利用Linux命令行的强大功能，可以帮助你快速有效地完成各种复杂的任务。通过熟练地使用管道和重定向，你可以将简单的单个命令组合成功能强大的数据处理流程。