spark中 write.csv时, 添加第一行的标题title

发布时间:2023年12月21日

在 Spark 中使用 write.csv 写入 CSV 文件时,默认情况下是不会在文件中添加标题行的。但是,你可以通过设置 header 选项来控制是否包含标题行。

下面是一个示例:

val data = Seq(
  (1, "John", 28),
  (2, "Alice", 22),
  (3, "Bob", 32)
)

val columns = Seq("id", "name", "age")

val df = data.toDF(columns: _*)

df.write
  .options(Map("header" -> "true", "encoding" -> "UTF-8"))
  .csv("/path/to/output")
  • "header" -> "true" 添加标题
  • "encoding" -> "UTF-8" 中文

如果 header 选项设置为 false 或省略,默认情况下将不包含标题行。

请注意,header 选项适用于多种文件格式,不仅仅是 CSV。你可以使用相同的方法在其他格式(例如 Parquet、JSON 等)中添加或禁用标题。

文章来源:https://blog.csdn.net/qq_44810930/article/details/135125095
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。