【Python】—— pandas数据处理

Pandas 提供了丰富的数据处理功能，涵盖了从数据导入、清理、转换到分析和可视化的方方面面。以下是一份关于 Pandas 数据处理的主要内容：

1. 数据导入和导出

• 导入数据：

  import pandas as pd
  
  # 从 CSV 文件导入
  df = pd.read_csv('data.csv')
  
  # 从 Excel 文件导入
  df = pd.read_excel('data.xlsx')
  

• 导出数据：

  # 导出到 CSV 文件
  df.to_csv('output.csv', index=False)
  
  # 导出到 Excel 文件
  df.to_excel('output.xlsx', index=False)
  

2. 数据清理

• 处理缺失值：

  # 删除包含缺失值的行
  df.dropna(inplace=True)
  
  # 填充缺失值
  df.fillna(value, inplace=True)
  

• 删除重复值：

  df.drop_duplicates(inplace=True)
  

3. 数据选择和过滤

• 选择列：

  df['Column1']
  

• 条件过滤：

  selected_data = df[df['Column1'] > 2]
  

4. 数据转换

• 新增列：

  df['NewColumn'] = df['Column1'] + df['Column2']
  

• 映射和替换：

  df['Category'] = df['Category'].map({'A': 1, 'B': 2, 'C': 3})
  
  # 替换特定值
  df.replace({'old_value': 'new_value'}, inplace=True)
  

5. 数据分组和聚合

• 按列分组：

  grouped_data = df.groupby('Category')['Value'].mean()
  

• 多列分组和多个聚合函数：

  grouped_data = df.groupby(['Category', 'SubCategory']).agg({'Value': 'mean', 'Count': 'sum'})
  

6. 数据合并和连接

• 合并两个 DataFrame：

  merged_df = pd.merge(df1, df2, on='common_column', how='inner')
  

• 连接操作：

  concatenated_df = pd.concat([df1, df2], axis=0)
  

7. 时间序列处理

• 处理日期数据：

  df['Date'] = pd.to_datetime(df['Date'])
  

• 时间索引：

  df.set_index('Date', inplace=True)
  

• 滚动窗口计算：

  df['RollingMean'] = df['Value'].rolling(window=3).mean()
  

8. 数据可视化

• 基本图表：

  import matplotlib.pyplot as plt
  
  df['Column1'].plot(kind='line')
  df['Column2'].plot(kind='bar')
  

这些功能只是 Pandas 提供的众多数据处理功能的一部分。根据具体的数据和分析目标，还需要深入学习 Pandas 文档并结合其他库（如 Matplotlib、Seaborn、NumPy）进行更复杂的数据处理和分析。

---

第1关：将超市销售excel文件根据商品的类别筛选存储

任务描述
本关任务：超市销售数据如图所示

建立excel 文件“类别销售”，根据不同类别建立多个工作表，将相同类别的销售信息存放在相应的工作表中。

相关知识
为了完成本关任务，你需要掌握：1.读取 excel 文件；2.筛选 dataframe 数据；3.将数据写入工作簿和工作表。

从 excel 文件读入数据

pd.read_excel(filename,sheet_name=0,header=0,index_col=None,names=None,dtype=None)

filename:指定电子表格的具体路径
sheet_name:指定需要读取电子表格中的第几个 sheet，既可以传递整数也可以传递具体的 Sheet 名称
header：是否需要将数据集的第一行用作表头，默认为是需要的
index_col:指定哪些列用作数据框的行索引（标签）
names:如果原数据集中没有字段，可以通过该参数在数据读取时给数据框添加具体的表头
dtypes:通过字典的形式，指定某些列需要转换的形式

向 excel 文件写入数据

DataFrame.to_excel(excel_writer, sheet_name='Sheet1', na_rep='',
 float_format=None, columns=None, header=True, index=True, 
 index_label=None, encoding=None)

excel_writer: 文件路径或现有的 ExcelWriter。
sheet_name:字符串,表的名称。默认“Sheet1”。
na_rep: 字符串,默认‘ ’,缺失数据表示方式。
float_format: 字符串,默认None，格式化浮点数的字符串。
columns: 列表，要写入的列。
header: 布尔或字符串列表，默认为Ture。如果给定字符串列表，则它是列名。
index:布尔,默认的Ture，行名（索引）。
index_label: 字符串或序列，默认为None。
注意：通过 ExcelWriter 写入后要同执行save()保存。

DataFrame

• 唯一值函数
  unique()是以数组形式返回列的所有唯一值

• 筛选数据
  Pandas 的.loc 参数可以对多列数据进行筛选，并且支持不同筛选条件逻辑组合。
  常用的筛选条件包括等于(==)，不等于(!)，大于(>)，小于(<)，大于等于(>=) ，小于等于(<=)等等。逻辑组合包括与(&)和或(|)。

list1=[["张三",'男'],["李四",'女'],["王五",'男'],["赵六",'女']]
import panda as pd
df=pd.DataFrame(list1,columns=["姓名","性别"])

则 df
   姓名 性别
0  张三  男
1  李四  女
2  王五  男
3  赵六  女

df["性别"].unique()

“男”,"女"

df.loc[df["性别"]=="男"]

   姓名 性别
0  张三  男
2  王五  男

编程要求
根据提示，在右侧编辑器补充代码，建立 excel 文件“类别销售”，根据不同类别建立多个工作表，将相同类别的销售信息存放在相应的工作表中。

测试说明
平台会对你编写的代码进行测试：
输入类别，系统将显示该类别工作表的日期，商品编码,商品名称和合计金额四列信息

测试输入：调料；
预期输出：

          日期            商品编码              商品名称  合计金额
0 2000-05-30  \t090202010048  \t裕荣虾味先虾条(原味)80g   7.7
1 2000-06-22  \t090202010071    \t四季宝颗粒花生酱340g  13.3
2 2000-06-24  \t090202010035       \t牛头牌鸡汤块66g   7.7
3 2000-07-18  \t090202010024     \t金兰拌面拌饭酱370g  20.4

测试输入：电池；
预期输出：

          日期            商品编码              商品名称  合计金额
0 2000-06-14  \t010105010002         \t金霸王7号2粒   5.2
1 2000-06-14  \t010105010005  \t金霸王超能量（m3）7号2粒   6.2
2 2000-07-16  \t010105010007       \t南孚电池7号5粒装   8.9

运行代码

import pandas as pd
df=pd.read_excel("xlscl/step1/超市销售数据.xlsx",dtype={"商品编码":str,"商品条码":str})
writer = pd.ExcelWriter("xlscl/step1/类别销售.xlsx")
#代码开始
x=df["类别"].unique()  #获取商品类别
for i in x:  
    leibie=df.loc[df["类别"]==i]
    leibie.to_excel(writer,sheet_name=i,index=False)  
writer.save()
#代码结束

---

第2关：将银行信息excel文件按地区筛选

任务描述
本关任务：编写一个将银行信息的 excel 文件筛选存储的小程序
银行分布 excel 文件如图所示

请编写程序，在 test 文件夹下建立 excel 文件银行一线城市，将北京市、上海市、广州市、深圳市的银行编号、名称按银行编号从小到大的顺序放置到不同的excel 工作表中

提示：可以将城市的名字放入列表

运行代码

import pandas
writer = pandas.ExcelWriter('test/银行一线城市.xlsx')
data=pandas.read_excel("test/银行信息.xlsx",dtype={"银行编号":str})
#代码开始
list1 = ["北京市","上海市","广州市","深圳市"]
for i in list1:
    ans = data.loc[data["城市"]==i,["银行编号","名称"]]
    ans = ans.sort_values("银行编号")
    ans.to_excel(writer,sheet_name=i,index=False)
#代码结束
writer.save()

---

第3关：将gdpecxcel文件按年份筛选存储

任务描述
本关任务：编写一个将 GDP 信息的 excel 文件筛选存储的小程序
各省 GDPexcel 文件如图所示

请编写程序，在 test 文件夹下建立 excel 文件 GDP 分年份，将2000-2016年每年建一个工作表，将该年各省的省份、GDP 称按 GDP 从大到小的顺序放置
注意：工作表的名称为字符形

DataFrame 类型的排序数据
pandas 中的sort_values()函数，可以将数据集依照某个字段中的数据进行排序，该函数即可根据指定列数据也可根据指定行的数据排序。

DataFrame.sort_values(by=”列名”,axis=0,ascending=True，inplace=False)

by:axis轴上的某个索引或索引列表。
axis=0按列排序 axis=1按行排序 默认按列。
ascending是否按指定列的数组升序排列，默认为True，即升序排列。
inplace是否用排序后的数据集替换原来的数据，默认为False，即不替换。

运行代码

import pandas
writer = pandas.ExcelWriter('test/GDP分年份.xlsx')
data=pandas.read_excel("test/各省GDP.xlsx",dtype={"年份":str},)
#代码开始
for i in range(2000,2017):
    ans = data.loc[data["年份"] == str(i), ["省份","GDP"]]
    ans = ans.sort_values("GDP", ascending = False)
    ans.to_excel(writer, sheet_name = str(i), index = False)
#代码结束
writer.save()

---

第4关：统计超市销售excel文件各类别和各日的数据，并将统计结果存入新的工作簿

任务描述
本关任务：打开超市销售数据工作簿

使用 excel 建立一个统计数据工作簿，建立一个工作表类别统计，按合计金额降序显示不同类别销售金额的和。

建立一个工作表日期统计，按日期升序显示不同日期销售金额的和

相关知识
为了完成本关任务，你需要掌握：1.DataFrame 如何汇总数据；2.DataFrame 如何排序数据。

DataFrame 类型的汇总数据
Groupby 可以根据一个或多个键对 DataFrame 计算分组摘要统计，
如计数、求和、平均值、标准差，或用户自定义函数。

例如

list1=[["张三",'男'],["李四",'女'],["王五",'男'],["赵六",'女']]
import pandas as pd
df=pd.DataFrame(list1,columns=["姓名","性别"])

则df

   姓名 性别
0  张三  男
1  李四  女
2  王五  男
3  赵六  女

df.groupby(["性别"])["姓名"].count()

性别
女    2
男    2

DataFrame.groupby(by=None, axis=0, as_index=True)

by :标签或标签列表；用于确定分类的列。
axis: 接收 0/1；用于表示沿行(0)或列(1)分割。
as_index：默认Ture，汇总后会建立一个序列存放汇总的结果。汇总的列是序列的index 索引，统计值的列是序列的数值。
指定为 False 则汇总结果是一个数据集，汇总列和统计值都是列。

序列类型的排序
序列的sort_values() 函数，可以将序列依照数据进行排序。

series1.sort_values(ascending=True，inplace=False)

ascending是否按指定列的数组升序排列，默认为 True，即升序排列。
inplace 是否用排序后的数据集替换原来的数据，默认为 False，即不替换。
序列的 sort_index() 函数，可以将序列依照索引列进行排序。

编程要求
根据提示，在右侧编辑器补充代码，使用 excel 建立一个统计数据工作簿，建立一个工作表类别统计，按合计金额降序显示不同类别销售金额的和；
建立一个工作表日期统计，按日期升序显示不同日期销售金额的和。

测试说明
平台会对你编写的代码进行测试：
输出两个工作类别统计工作表和日期统计工作表的数据

运行代码

import pandas as pd
df=pd.read_excel("xlscl/step1/超市销售数据.xlsx")
writer = pd.ExcelWriter('xlscl/step2/统计数据.xlsx')
#代码开始
excel1 = df.groupby("类别")["合计金额"].sum()  
excel1.sort_values(ascending = False, inplace = True)  
excel1.to_excel(writer, sheet_name= "类别统计") 
 
excel2 = df.groupby("日期")["合计金额"].sum()  
excel2.sort_index(inplace = True)  
excel2.to_excel(writer, sheet_name = "日期统计")  
writer.save()  
#代码结束

---

第5关：将超市销售excel文件分别存放在多个日期工作簿的不同类别工作表中

任务描述
本关任务：
超市销售数据如图所示
在 xlscl/step3/rq 文件夹下根据销售的日期建立不同的 excel 文件，

将同一类别的销售信息存放在 excel 文件的不同工作表中。

并建立类别统计工作表，显示该日各类别的合计金额的和，按合计金额的降序排列。

编程要求
根据提示，在右侧编辑器补充代码。
注意：由于文件名只能是字符形，所以需要将日期型数据转换为字符形
可以使用 str(日期时间数据).replace('-',"")[:8]
将日期时间的字符的-删除再取前8个字符
此外，文件需要保存再 xlscl 的 step3 文件夹下的 rq 文件夹下

测试说明
平台会对你编写的代码进行测试：

测试输入：

20000525
零食

预期输出：

商品编码                 商品名称  合计金额
0   90101030095  \t康师傅苏打夹心香草巧克力饼干96g   4.5
1   90101030100         \t百力滋巧克力味50G   3.6
2   90101070032          \t糙米馆荞麦150g   6.9
3   90101090052         \t益民盐津杨梅180g   6.9
4   90101090054         \t益民精盐桃肉160g   6.9
5   90101090055          \t益民咸话梅110g   6.9
6   90101090057         \t益民多味山楂180g   6.9
7   90101090058    \t益达无糖口香糖蓝莓味13.5g   1.9
8   90102010035          \t黑塘麦芽饼500g  27.8
9   90103010048          \t渝业烧烤豆干80g   1.9
10  90103010053      \t金锣Q香香肠老汤味100g   2.1
    类别   合计金额
0    酒  384.0
1    烟  344.5
2   零食   76.3
3   饮料   38.2
4   冷饮   22.0
5  奶制品   15.5
6  方便面    3.5
7  纸制品    2.1

测试输入：

20000530
烟

预期输出：

          商品编码         商品名称  合计金额
0  90501000012   \t黄鹤楼（硬雅香）    40
1  90501000016  \t黄金叶（软大金圆）    20
2  90501000021      \t南京（红）    22
    类别   合计金额
0   零食  115.1
1    烟   82.0
2   饮料   49.2
3   冷饮   22.5
4  奶制品    9.8
5   调料    7.7
6  纸制品    6.1
7  方便面    3.5

运行代码

import pandas as pd
df=pd.read_excel("xlscl/step1/超市销售数据.xlsx",dtype={"商品编码":str,"商品条码":str})
#代码开始
data =df["日期"].unique()
for i in data:
    file_name = str(i).replace('-', "")[:8]
    writer = pd.ExcelWriter('xlscl/step3/rq/'+file_name+'.xlsx')
    excel1 = df.loc[df["日期"] == i]
    Class = df["类别"].unique()
    for j in Class:
        excel2 = excel1.loc[df["类别"] == j]
        excel2.to_excel(writer, sheet_name = j, index = False)
    excel3 = excel1.groupby("类别")["合计金额"].sum()
    excel3.sort_values(ascending = False, inplace = True)
    excel3.to_excel(writer, sheet_name = "类别统计", index_label = "类别")
    writer.save()
#代码结束