Windows中处理PySpark报错:SparkException: Python worker failed to connect back

发布时间:2024年01月09日

Windows中处理PySpark报错:SparkException: Python worker failed to connect back

这个问题可能是发送在windows10以上的版本,使用datafram的方法是没问题,但是使用rdd算子出现这个问题,报错SparkException: Python worker failed to connect back。环境变量的设置一下PYSPARK_PYTHON 改成自己的python环境
在这里插入图片描述

就可以解决这个问题

文章来源:https://blog.csdn.net/qq_36579777/article/details/135474208
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。