如何将 PyCharm 与 PySpark 链接？

使用 PySpark 包（Spark 2.2.0 及更高版本）

合并 SPARK-1267 后，您应该能够通过 pip 在用于 PyCharm 开发的环境中安装 Spark 来简化流程。

转到文件-> 设置-> 项目解释器单击安装按钮并搜索 PySpark 单击安装包按钮。

手动使用用户提供的 Spark 安装

创建运行配置：

转到运行 -> 编辑配置 添加新的 Python 配置 设置脚本路径，使其指向要执行的脚本 编辑环境变量字段，使其至少包含：SPARK_HOME - 它应该指向安装 Spark 的目录。它应该包含诸如 bin（使用 spark-submit、spark-shell 等）和 conf（使用 spark-defaults.conf、spark-env.sh 等）之类的目录 PYTHONPATH - 它应该包含 $SPARK_HOME/python 和可选$SPARK_HOME/python/lib/py4j-some-version.src.zip 否则不可用。 some-version 应该匹配给定 Spark 安装使用的 Py4J 版本（0.8.2.1 - 1.5、0.9 - 1.6、0.10.3 - 2.0、0.10.4 - 2.1、0.10.4 - 2.2、0.10.6 - 2.3、0.10。 7 - 2.4) 应用设置

将 PySpark 库添加到解释器路径（代码完成所需）：

转到 File -> Settings -> Project Interpreter 打开要与 Spark 一起使用的解释器的设置 编辑解释器路径，使其包含 $SPARK_HOME/python 的路径（如果需要，可以使用 Py4J） 保存设置

可选

安装或添加到与已安装 Spark 版本匹配的路径类型注释以获得更好的完成和静态错误检测（免责声明 - 我是该项目的作者）。

最后

使用新创建的配置来运行您的脚本。

---

这是我在mac osx上解决这个问题的方法。

brew install apache-spark 将此添加到 ~/.bash_profile export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ |排序 | tail -1` export SPARK_HOME="/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec" export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src .zip:$PYTHONPATH 将 pyspark 和 py4j 添加到内容根目录（使用正确的 Spark 版本）：/usr/local/Cellar/apache-spark/1.6.1/libexec/python/lib/py4j-0.9-src.zip /usr /local/Cellar/apache-spark/1.6.1/libexec/python/lib/pyspark.zip

https://i.stack.imgur.com/8coKV.png

---

这是适合我的设置（Win7 64bit，PyCharm2017.3CE）

设置智能感知：

单击 File -> Settings -> Project: -> Project Interpreter 单击 Project Interpreter 下拉列表右侧的齿轮图标 从上下文菜单中单击 More... 选择解释器，然后单击“显示路径”图标（右下角）点击+图标二添加如下路径： \python\lib\py4j-0.9-src.zip \bin\python\lib\pyspark.zip 点击OK，OK，OK

继续测试您的新智能感知功能。

---

在pycharm中配置pyspark（windows）

File menu - settings - project interpreter - (gearshape) - more - (treebelowfunnel) - (+) - [add python folder form spark installation and then py4j-*.zip] - click ok

确保在 windows 环境中设置 SPARK_HOME，pycharm 将从那里获取。确认 ：

Run menu - edit configurations - environment variables - [...] - show

可选择在环境变量中设置 SPARK_CONF_DIR。

---

我使用以下页面作为参考，并且能够在 PyCharm 5 中导入 pyspark/Spark 1.6.1（通过自制软件安装）。

http://renien.com/blog/accessing-pyspark-pycharm/

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME']="/usr/local/Cellar/apache-spark/1.6.1"

# Append pyspark  to Python Path
sys.path.append("/usr/local/Cellar/apache-spark/1.6.1/libexec/python")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf
    print ("Successfully imported Spark Modules")
except ImportError as e:
    print ("Can not import Spark Modules", e)
sys.exit(1)

使用上述内容，pyspark 加载，但是当我尝试创建 SparkContext 时出现网关错误。自制程序中的 Spark 存在一些问题，所以我只是从 Spark 网站上获取了 Spark（下载 Pre-built for Hadoop 2.6 及更高版本）并指向其下的 spark 和 py4j 目录。这是pycharm中有效的代码！

import os
import sys

# Path for spark source folder
os.environ['SPARK_HOME']="/Users/myUser/Downloads/spark-1.6.1-bin-hadoop2.6"

# Need to Explicitly point to python3 if you are using Python 3.x
os.environ['PYSPARK_PYTHON']="/usr/local/Cellar/python3/3.5.1/bin/python3"

#You might need to enter your local IP
#os.environ['SPARK_LOCAL_IP']="192.168.2.138"

#Path for pyspark and py4j
sys.path.append("/Users/myUser/Downloads/spark-1.6.1-bin-hadoop2.6/python")
sys.path.append("/Users/myUser/Downloads/spark-1.6.1-bin-hadoop2.6/python/lib/py4j-0.9-src.zip")

try:
    from pyspark import SparkContext
    from pyspark import SparkConf
    print ("Successfully imported Spark Modules")
except ImportError as e:
    print ("Can not import Spark Modules", e)
    sys.exit(1)

sc = SparkContext('local')
words = sc.parallelize(["scala","java","hadoop","spark","akka"])
print(words.count())

我从这些说明中获得了很多帮助，这些说明帮助我在 PyDev 中进行故障排除，然后让它工作 PyCharm - https://enahwe.wordpress.com/2015/11/25/how-to-configure-eclipse-for-developing-with-python-and-spark-on-hadoop/

我敢肯定有人花了几个小时把头撞在他们的显示器上试图让它工作，所以希望这有助于挽救他们的理智！

---

我使用 conda 来管理我的 Python 包。所以我在 PyCharm 之外的终端中所做的只是：

conda install pyspark

或者，如果您想要更早的版本，例如 2.2.0，则执行以下操作：

conda install pyspark=2.2.0

这也会自动引入 py4j。 PyCharm 然后不再抱怨 import pyspark... 并且代码完成也起作用了。请注意，我的 PyCharm 项目已经配置为使用 Anaconda 附带的 Python 解释器。

---

最简单的方法是通过项目解释器安装 PySpark。

转到文件 - 设置 - 项目 - 项目解释器单击右上角的 + 图标。搜索 PySpark 和其他要安装的包 最后点击 install package 完成！！

---

查看this video.

假设您的 spark python 目录是：/home/user/spark/python

假设您的 Py4j 源是：/home/user/spark/python/lib/py4j-0.9-src.zip

基本上，您将 spark python 目录和其中的 py4j 目录添加到解释器路径中。我没有足够的声誉来发布屏幕截图，否则我会。

在视频中，用户在 pycharm 本身中创建了一个虚拟环境，但是，您可以在 pycharm 之外创建虚拟环境或激活预先存在的虚拟环境，然后使用它启动 pycharm 并将这些路径添加到虚拟环境解释器路径中在pycharm中。

我使用其他方法通过 bash 环境变量添加 spark，这在 pycharm 之外效果很好，但由于某种原因，它们在 pycharm 中无法识别，但这种方法效果很好。

---

在启动 IDE 或 Python 之前，您需要设置 PYTHONPATH、SPARK_HOME。

Windows，编辑环境变量，将 spark python 和 py4j 添加到

PYTHONPATH=%PYTHONPATH%;{py4j};{spark python}

Unix,

export PYTHONPATH=${PYTHONPATH};{py4j};{spark/python}

---

我用pycharm链接python和spark。我的电脑中预装了 Java 和 Spark。

这些是我遵循的步骤

在新项目的设置中创建新项目-> 我选择 Python3.7(venv) 作为我的 python。这是我的新项目中 venv 文件夹中的 python.exe 文件。你可以在你的电脑中提供任何可用的 python。在设置 --> 项目结构 --> 添加 Content_Root 我添加了两个 zip 文件夹作为 spark C:\Users\USER\spark-3.0.0-preview2-bin-hadoop2.7\python\lib\py4j-0.10 的目录。 8.1-src.zip C:\Users\USER\spark-3.0.0-preview2-bin-hadoop2.7\python\lib\pyspark.zip 在新项目中创建一个python文件。然后转到编辑配置（在右上角的下拉菜单中）并选择环境变量我使用了以下环境变量，它对我来说很好 PYTHONUNBUFFERED 1 JAVA_HOME C:\Program Files\Java\jre1.8.0_251 PYSPARK_PYTHON C:\Users\USER \PycharmProjects\pyspark\venv\Scripts\python.exe SPARK_HOME C:\Users\USER\spark-3.0.0-preview2-bin-hadoop2.7 HADOOP_HOME C:\Users\USER\winutils 您可能还想另外下载 winutils。 exe 并将其放在路径 C:\Users\USER\winutils\bin 在 Edit Configurations--> Templates 中提供相同的环境变量 Go to Settings--> Project Interpreter --> import pyspark 运行您的第一个 pyspark 程序！

---

从 documentation：

要在 Python 中运行 Spark 应用程序，请使用位于 Spark 目录中的 bin/spark-submit 脚本。该脚本将加载 Spark 的 Java/Scala 库并允许您将应用程序提交到集群。您还可以使用 bin/pyspark 启动交互式 Python shell。

您正在使用 CPython 解释器直接调用您的脚本，我认为这会导致问题。

尝试使用以下命令运行您的脚本：

"${SPARK_HOME}"/bin/spark-submit test_1.py

如果可行，您应该能够通过将项目的解释器设置为 spark-submit 来使其在 PyCharm 中工作。

---

我按照在线教程并将环境变量添加到.bashrc：

# add pyspark to python
export SPARK_HOME=/home/lolo/spark-1.6.1
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH

然后我将 SPARK_HOME 和 PYTHONPATH 中的值传递给 pycharm：

(srz-reco)lolo@K:~$ echo $SPARK_HOME 
/home/lolo/spark-1.6.1
(srz-reco)lolo@K:~$ echo $PYTHONPATH
/home/lolo/spark-1.6.1/python/lib/py4j-0.9-src.zip:/home/lolo/spark-1.6.1/python/:/home/lolo/spark-1.6.1/python/lib/py4j-0.9-src.zip:/home/lolo/spark-1.6.1/python/:/python/lib/py4j-0.8.2.1-src.zip:/python/:

然后我将它复制到脚本的运行/调试配置-> 环境变量。

---

pyspark_xray 中的本教程是一种在 PyCharm 上启用调试 pyspark 代码的工具，可以回答您的问题。它涵盖了 Windows 和 Mac。

准备

打开命令行，启动 java 命令，如果出现错误，则下载并安装 java（版本 1.8.0_221，截至 2020 年 4 月）

如果没有，请下载并安装 PyCharm 社区版（截至 2020 年 4 月的版本 2020.1）

如果没有，请下载并安装 Anaconda Python 3.7 运行时

下载安装 spark latest Pre-built for Apache Hadoop (spark-2.4.5-bin-hadoop2.7 as of April 2020, 200+MB size) Windows: 如果没有解压工具，请下载安装 7zip , 一个压缩/解压缩文件的免费工具将 spark tgz 文件的内容提取到 c:\spark-xxx-bin-hadoopx.x 文件夹按照本教程中的步骤将 winutils.exe 安装到 c:\spark-xxx-bin-hadoopx .x\bin 文件夹，没有这个可执行文件，你会在写引擎输出时遇到错误 Mac: extract contents of spark tgz file to \Users[USERNAME]\spark-xxx-bin-hadoopx.x 文件夹

Windows：如果您没有解压缩工具，请下载并安装 7zip，这是一个免费的压缩/解压缩文件的工具，将 spark tgz 文件的内容提取到 c:\spark-xxx-bin-hadoopx.x 文件夹，请按照以下步骤操作教程将winutils.exe安装到c:\spark-xxx-bin-hadoopx.x\bin文件夹，没有这个可执行文件，写引擎输出会出错

如果您没有解压缩工具，请下载并安装 7zip，一个免费的压缩/解压缩文件工具

将 spark tgz 文件的内容提取到 c:\spark-xxx-bin-hadoopx.x 文件夹

按照本教程中的步骤将 winutils.exe 安装到 c:\spark-xxx-bin-hadoopx.x\bin 文件夹中，没有这个可执行文件，在编写引擎输出时会遇到错误

将winutils.exe安装到c:\spark-xxx-bin-hadoopx.x\bin文件夹，没有这个可执行文件，写引擎输出会报错

Mac：将 spark tgz 文件的内容提取到 \Users[USERNAME]\spark-xxx-bin-hadoopx.x 文件夹

将 spark tgz 文件的内容提取到 \Users[USERNAME]\spark-xxx-bin-hadoopx.x 文件夹

通过 pip install pyspark 或 conda install pyspark 安装 pyspark

运行配置

您可以通过发出将 Spark 作业提交到集群的 spark-submit 命令从命令行在集群上运行 Spark 应用程序。但在本地笔记本电脑或 PC 上的 PyCharm 或其他 IDE 中，spark-submit 不能用于启动 Spark 作业。相反，请按照以下步骤在 PyCharm 上设置 pyspark_xray 的 demo_app 的运行配置

设置环境变量：将 HADOOP_HOME 值设置为 C:\spark-2.4.5-bin-hadoop2.7 将 SPARK_HOME 值设置为 C:\spark-2.4.5-bin-hadoop2.7

将 HADOOP_HOME 值设置为 C:\spark-2.4.5-bin-hadoop2.7

将 SPARK_HOME 值设置为 C:\spark-2.4.5-bin-hadoop2.7

使用 Github Desktop 或其他 git 工具从 Github 克隆 pyspark_xray

PyCharm > 打开 pyspark_xray 作为项目

打开 PyCharm > Run > Edit Configurations > Defaults > Python 并输入以下值： Environment variables (Windows): PYTHONUNBUFFERED=1;PYSPARK_PYTHON=python;PYTHONPATH=$SPARK_HOME/python;PYSPARK_SUBMIT_ARGS=pyspark-shell;

环境变量（Windows）：PYTHONUNBUFFERED=1;PYSPARK_PYTHON=python;PYTHONPATH=$SPARK_HOME/python;PYSPARK_SUBMIT_ARGS=pyspark-shell;

打开 PyCharm > Run > Edit Configurations，新建 Python 配置，将脚本指向 pyspark_xray > demo_app 的 driver.py 路径

driver-run-config

---

转到项目结构：

选项1：文件->设置->项目：->项目结构

选项 2：PyCharm -> 首选项 -> 项目： -> 项目结构

添加内容根目录：来自 $SPARK_HOME/python/lib 的所有 ZIP 文件

---

对于 MacOS 上的最新 Spark 和 Python 版本，如下所示：

SPARK_VERSION=3.1.1
PY4J=0.10.9
PYTHON=3.8.12

为 SPARK_HOME、PYTHONPATH 以及 PYENV_ROOT 添加以下环境变量到 ~/.bash_profile。此外，SPARK_HOME 和 PYENV_ROOT 被添加到 PATH。

export SPARK_VERSION=`ls /usr/local/Cellar/apache-spark/ | sort | tail -1`
export SPARK_HOME=/usr/local/Cellar/apache-spark/$SPARK_VERSION/libexec
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:$PYTHONPATH

export PYENV_ROOT=/usr/local/opt/pyenv
export PATH=$PYENV_ROOT/bin:$PATH

if command -v pyenv 1>/dev/null 2>&1; then
    eval "$(pyenv init -)"
fi

在 Project -> Preferences -> Python Interpreter 下，将 PyEnv Python 添加为新解释器并使用它来代替默认解释器。

在添加 Python 解释器下，转到 Virtual Environment -> Under Existing Environment ->选择 /usr/local/opt/pyenv/versions/3.8.12/bin/python 作为 PySpark 项目的 Python 解释器。

在 Python 代码中，在开头添加以下代码块（注意：pyspark、findspark 和 py4j 需要预先安装为包）

import findspark
from pyspark import SparkContext
findspark.init("/usr/local/Cellar/apache-spark/3.1.1/libexec") 

---

最简单的方法是

转到您的 anaconda/python 安装的 site-packages 文件夹，将 pyspark 和 pyspark.egg-info 文件夹复制粘贴到那里。

重新启动 pycharm 以更新索引。上述两个文件夹位于 spark 安装的 spark/python 文件夹中。这样，您也可以从 pycharm 获得代码完成建议。

站点包可以很容易地在你的 python 安装中找到。在 anaconda 中，它位于 anaconda/lib/pythonx.x/site-packages 下

---

我尝试通过 Project Interpreter 菜单添加 pyspark 模块，但还不够……为了读取本地数据文件，需要设置许多系统环境变量，如 SPARK_HOME 和 /hadoop/bin/winutils.exe 的路径。您还需要使用系统环境变量和 PATH 中可用的正确版本的 Python、JRE、JDK。在谷歌上搜索了很多之后，instructions in these videos 工作

---