【python】合并具有相同数字前缀的 CSV 文件

发布时间:2024年01月07日

一、问题

有一个文件目录,目录下有类似下列文件名:1_a.csv、1_b.csv、1_c.csv、2_a.csv、2_b.csv、2_c.csv......即下划线前面数字相同的不同csv文件有几个,他们的行数相同,列名不同。

想把这个目录下,数字相同的几个文件都合并成1个文件,例如:1_a.csv、1_b.csv、1_c.csv合并成1.csv,2_a.csv、2_b.csv、2_c.csv合并成2.csv......

二、实现

为了合并具有相同数字前缀的 CSV 文件,需要遵循以下步骤:
1. 读取目录中所有的文件名。
2. 根据文件名中的数字前缀进行分类。
3. 合并具有相同数字前缀的 CSV 文件到一个新的 CSV 文件中。
下面是实现上述步骤的 Python 脚本:

import os
import pandas as pd

# 目标目录
directory = "/home/test/datas"
directory_d = "/home/test/d"

files = os.listdir(directory)
sorted_files = {}

#print(files)

# 对文件分类,基于数字前缀
for file in files:
    if file.endswith('.csv'):
        prefix = file.split('_')[0]
        sorted_files.setdefault(prefix, []).append(file)

# 合并具有相同前缀的文件
for prefix, file_list in sorted_files.items():
    dataframes = []
    for filename in file_list:
        filepath = os.path.join(directory, filename)
        df = pd.read_csv(filepath)
        dataframes.append(df)

    # 可以假设所有数据列相同,并按顺序相同,如果不是这样,需要进行额外处理
    merged_df = pd.concat(dataframes, axis=1)
    # 处理合并后的数据列中可能存在的重复
    merged_df = merged_df.loc[:,~merged_df.columns.duplicated()]

    # 保存新的合并文件
    merged_filename = f"{directory_d}/{prefix}.csv"
    merged_df.to_csv(merged_filename, index=False)
    print(f"{directory_d}/{prefix}.csv");

print("合并完成.")

这个脚本将按照数字前缀合并所有的 CSV 文件,最后将它们保存为一个新的文件(例如 1.csv,其中包含了所有 1_*.csv 的合并数据)。该脚本假设每组文件的列数相同,仅列名称不同,并且每个文件具有相同的行顺序。合并时使用了 concat 函数,去除了重复的列名(如果存在)。

三、代码解释

这段代码是一个Python脚本,用于合并指定目录下的多个CSV文件。以下是代码的详细解释:

  1. 导入必要的库:

    • os: 用于与操作系统交互,例如读取目录内容。
    • pandas as pd: 用于数据处理和分析的库,特别是DataFrame操作。
  2. 定义目标目录:

    • directory = "/home/test/tdx_datas_min": 这是源目录,其中包含要合并的CSV文件。
    • directory_d = "/home/test/d": 这是目标目录,合并后的CSV文件将保存在这里。
  3. 获取目录中的文件列表:

    • files = os.listdir(directory): 使用os.listdir函数获取directory目录下的所有文件名。
  4. 基于数字前缀对文件进行分类:

    • 循环遍历所有文件。
    • 如果文件以.csv结尾,则使用_作为分隔符获取文件名的第一个部分(数字前缀),并将该文件添加到具有相同前缀的列表中。
  5. 合并具有相同前缀的文件:

    • 循环遍历每个前缀及其对应的文件列表。
    • 对于每个文件,读取其内容并将其存储为一个pandas DataFrame。
    • 所有具有相同前缀的文件的内容都存储在一个列表中。
    • 使用pd.concat函数按列(axis=1)合并这些数据框。这意味着它将尝试将具有相同列名的列合并在一起。
    • 使用merged_df.loc[:,~merged_df.columns.duplicated()]处理可能存在的重复列名,删除重复的列。
  6. 保存合并后的文件:

    • 使用前缀作为新文件名的一部分,将合并后的数据框保存为CSV文件在目标目录中。
  7. 输出信息:

    • 打印“合并完成.”表示操作已完成。

注意事项:

  • 这个脚本假设所有要合并的CSV文件都有相同的列,并且列的顺序也是相同的。如果不是这样,合并操作可能会导致错误或意外的结果。在实际应用中,可能需要更多的检查和处理步骤来确保合并的正确性。

四、代码段1的解释

代码段1

f"{directory_d}/{prefix}.csv"

解释

这是一个Python字符串格式化的例子。在Python中,使用f-string(格式化字符串字面量)可以方便地插入变量的值到字符串中。

f"{directory_d}/{prefix}.csv" 的意思是:

  • {directory_d}:这个位置将被 directory_d 变量的值替代。
  • {prefix}:这个位置将被 prefix 变量的值替代。
  • .csv:这个部分是一个固定的字符串,表示文件的后缀名。

所以,如果 directory_d 的值是 /home/data,而 prefix 的值是 20230917,那么整个字符串的值将是 /home/data/20230917.csv

五、代码段2的解释

代码段2

merged_df = merged_df.loc[:,~merged_df.columns.duplicated()] 

解释

这句代码使用了Pandas库的几个功能来删除重复的列。

  1. merged_df.columns: 返回一个包含DataFrame所有列名的Index对象。
  2. merged_df.columns.duplicated(): 对列名进行判断,返回一个布尔值的Series,其中重复的列名对应的位置为True,不重复的列名对应的位置为False。
  3. ~: 逻辑非操作符。它反转布尔值的Series,所以重复的列名对应的位置变为False,不重复的列名对应的位置变为True。
  4. merged_df.loc[:, ~merged_df.columns.duplicated()]: 使用loc函数选择那些在上述布尔Series中为True的列,即不重复的列。

这句代码的作用是删除merged_df中重复的列。

六、代码段3的解释

代码段3

or file in files:
    if file.endswith('.csv'):
        prefix = file.split('_')[0]
        sorted_files.setdefault(prefix, []).append(file) 

解释

这段代码主要是对一个文件列表进行分类,基于文件名中的特定前缀。

  1. for file in files::这是一个for循环,遍历files列表中的每一个文件名。

  2. if file.endswith('.csv')::检查当前文件名是否以.csv结尾。这通常用来确定一个文件是否为CSV格式。

  3. prefix = file.split('_')[0]:这里使用split方法来分割文件名。假设文件名是prefix_data.csv,那么split('_')会返回一个列表,如['prefix', 'data.csv']。然后通过索引[0]获取第一个元素,即文件名前面的部分(前缀)。

  4. sorted_files.setdefault(prefix, []).append(file)

    • sorted_files是一个字典,用于存储不同前缀的文件列表。
    • setdefault(prefix, []):如果字典中已经有了键prefix,则返回其对应的值(一个列表)。如果字典中没有这个键,则添加一个新键并为其分配一个空列表作为值。
    • .append(file):将当前文件名添加到与前缀对应的列表中。

这段代码的目的是将所有以.csv结尾的文件按照其文件名中的前缀进行分类,并将这些文件存储在sorted_files字典中,其中键是前缀,值是具有相同前缀的文件列表。

七、代码段4的解释

代码段4

for prefix, file_list in sorted_files.items():
    dataframes = []
    for filename in file_list:
        filepath = os.path.join(directory, filename)
        df = pd.read_csv(filepath)
        dataframes.append(df)  

解释

这段代码主要负责读取每个文件并将其内容存储为一个pandas DataFrame,然后将其添加到一个列表中。

  1. for prefix, file_list in sorted_files.items()::这是一个for循环,遍历sorted_files字典中的键值对。其中,prefix是键(前缀),file_list是值(具有相同前缀的文件列表)。
  2. dataframes = []:初始化一个空列表,用于存储每个文件的内容作为一个DataFrame。
  3. for filename in file_list::对于每个文件名,执行以下操作。
  4. filepath = os.path.join(directory, filename):使用os.path.join函数连接目录路径和文件名,得到完整的文件路径。
  5. df = pd.read_csv(filepath):使用pandas的read_csv函数读取CSV文件,并将其内容存储为一个DataFrame。
  6. dataframes.append(df):将这个DataFrame添加到dataframes列表中。

这段代码的目的是读取每个文件的内容,并将其存储为一个DataFrame,然后将这些DataFrame添加到dataframes列表中。

文章来源:https://blog.csdn.net/eidolon_foot/article/details/135434122
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。