从 Koalas 迁移到 Spark 上的 pandas API

  • 要导入的包名称应从 databricks.koalas 更改为 pyspark.pandas

    # import databricks.koalas as ks
    import pyspark.pandas as ps
    
  • Koalas DataFrame 中的 DataFrame.koalas 在 pandas-on-Spark DataFrame 中重命名为 DataFrame.pandas_on_sparkDataFrame.koalas 出于兼容性原因被保留,但在 Spark 3.2 中已被弃用。 DataFrame.koalas 将在未来的版本中删除。

  • PySpark DataFrame 中经过 Monkey-patch 的 DataFrame.to_koalas 在 PySpark DataFrame 中重命名为 DataFrame.pandas_apiDataFrame.to_koalas 出于兼容性原因被保留。DataFrame.to_koalas 将在未来的版本中删除。

  • PySpark DataFrame 中经过 Monkey-patch 的 DataFrame.to_pandas_on_spark 在 PySpark DataFrame 中重命名为 DataFrame.pandas_apiDataFrame.to_pandas_on_spark 出于兼容性原因被保留,但在 Spark 3.3 中已被弃用。DataFrame.to_pandas_on_spark 将在未来的版本中删除。

  • databricks.koalas.__version__ 已删除。应使用 pyspark.__version__ 代替。