Python 中 ParserError: Error Tokenizing Data C Error 错误

发布时间:2024年01月21日


无论出于何种目的玩数据时,都必须对数据进行清理,即填充空值并删除无效条目以清理数据,因此不影响结果,程序运行流畅。

此外,ParserError 的原因:错误标记数据。 C 错误可能是在文件中提供了错误的数据,例如混合数据、不同数量的列或将多个数据文件存储为一个文件。

如果您将 CSV 文件读取为 read_csv 但提供不同的分隔符和行终止符,您也会遇到此错误。


什么是Python中 ParserError: Error tokenizing data. C error 错误

如前所述, 当您的 Python 程序解析 CSV 数据但遇到无效值、空值、未填充列等错误时,会发生 ParserError: Error tokenizing data. C error 错误。

假设我们在 data.csv 文件中有这个数据,我们正在使用它在 pandas 的帮助下读取,尽管它有一个错误。

Name,Roll,Course,Marks,CGPA
Ali,1,SE,87,3
John,2,CS,78,
Maria,3,DS,13,,

代码示例:

import pandas as pd
pd.read_csv('data.csv')

输出:

ParserError: Error tokenizing data. C error: Expected 5 fields in line 4, saw 6

如您所见,上面的代码从 data.csv 文件中读取数据时抛出了一个 ParserError: Error tokenizing data.C error 错误,表示编译器期望第 4 行中有 5 个字段,但得到的却是 6 个。

错误本身是不言自明的; 它指出了错误的确切位置并显示了错误的原因,因此我们可以修复它。


如何修复Python中 ParserError: Error tokenizing data.C error 错误

到目前为止,我们已经了解了 ParserError: Error tokenizing data。 Python 中的 C 错误; 现在让我们看看如何修复它。

始终建议在分析数据之前清理数据,因为它可能会影响结果或使程序无法运行。

数据清理有助于删除无效数据输入、空值和无效条目; 基本上,它是数据分析的预处理阶段。

在 Python 中,我们有不同的函数和参数来帮助清理数据并避免错误。


跳过行以修复 ParserError: Error tokenizing data. C error 错误

这是最常见的跳过行的技术之一,会导致错误; 从上面的数据可以看出,最后一行导致了错误。

现在使用参数 on_bad_lines = ‘skip’,它忽略了有问题的行并将剩余的存储在数据帧 df 中。

import pandas as pd
df = pd.read_csv('data.csv', on_bad_lines='skip')
df

输出:

	Name	Roll	Course	Marks	CGPA
0	Ali		1		SE		87		3.0
1	John	2		CS		78		NaN

上面的代码将跳过所有导致错误的行并打印其他行; 正如您在输出中看到的那样,最后一行被跳过,因为它导致了错误。

但是我们得到了需要修复的 NaN 值; 否则会影响我们统计分析的结果。


使用正确的分隔符修复 ParserError: Error tokenizing data. C error 错误

使用无效的分隔符也可能导致 ParserError,因此根据您提供的数据使用正确且合适的分隔符很重要。

有时我们使用制表符来分隔 CSV 数据或空格,因此在您的程序中指定该分隔符也很重要。

import pandas as pd
pd.read_csv('data.csv', sep=',',on_bad_lines='skip' ,lineterminator='\n')

输出:

	Name	Roll	Course	Marks	CGPA\r
0	Ali		1		SE		87		3\r
1	John	2		CS		78		\r

分隔符是 , 这就是我们提到 sep=',' 和行 lineterminator ='\n' 的原因,因为我们的行以 \n 结尾。


使用 dropna() 修复 ParserError: Error tokenizing data. C error 错误

dropna 函数用于删除包含任何 Null 或 NaN 值的所有行。

import pandas as pd
df = pd.read_csv('data.csv', on_bad_lines='skip')
print("      **** Before dropna ****")
print(df)

print("\n      **** After dropna ****")
print(df.dropna())

输出:

      **** Before dropna ****
   Name  Roll Course  Marks  CGPA
0   Ali     1     SE     87   3.0
1  John     2     CS     78   NaN

      **** After dropna ****
  Name  Roll Course  Marks  CGPA
0  Ali     1     SE     87   3.0

由于我们只有两行,其中一行包含所有属性,但第二行包含 NaN 值,因此 dropna() 函数跳过了包含 NaN 值的行,只显示了一行。


使用 fillna() 函数填充 NaN 值

当您在数据中获得 NaN 值时,可以使用 fillna() 函数替换其他使用默认值 0 的值。

代码示例:

import pandas as pd

print("      **** Before fillna ****")
df = pd.read_csv('data.csv', on_bad_lines='skip')
print(df,"\n\n")

print("      **** After fillna ****")
print(df.fillna(0))  # using 0 inplace of NaN

输出:

      **** Before fillna ****
   Name  Roll Course  Marks  CGPA
0   Ali     1     SE     87   3.0
1  John     2     CS     78   NaN


      **** After fillna ****
   Name  Roll Course  Marks  CGPA
0   Ali     1     SE     87   3.0
1  John     2     CS     78   0.0

fillna() 已将 NaN 替换为 0,因此我们可以正确分析数据。

文章来源:https://blog.csdn.net/fengqianlang/article/details/135627345
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。