如何在 PySpark 中查找 DataFrame 的大小或形状？

您可以通过以下方式获取其 shape：

print((df.count(), len(df.columns)))

---

使用 df.count() 获取行数。

---

将此添加到您的代码中：

import pyspark
def spark_shape(self):
    return (self.count(), len(self.columns))
pyspark.sql.dataframe.DataFrame.shape = spark_shape

然后你可以做

>>> df.shape()
(10000, 10)

但请提醒您，对于尚未持久化的非常大的表，.count() 可能会非常慢。

---

print((df.count(), len(df.columns)))

对于较小的数据集更容易。

但是，如果数据集很大，另一种方法是使用 pandas 和箭头将数据帧转换为 pandas df 并调用 shape

spark.conf.set("spark.sql.execution.arrow.enabled", "true")
spark.conf.set("spark.sql.crossJoin.enabled", "true")
print(df.toPandas().shape)

---

我认为 Spark 中没有类似 data.shape 的功能。但我会使用 len(data.columns) 而不是 len(data.dtypes)

---

我已经使用这个代码块解决了这个问题。请尝试一下，它有效。

import pyspark
def sparkShape(dataFrame):
    return (dataFrame.count(), len(dataFrame.columns))
pyspark.sql.dataframe.DataFrame.shape = sparkShape

print(<Input the Dataframe name which you want the output of>.shape())

---