执行“spark.sql()”报错Failed to start database ‘metastore_db’ with class loader

Last updated on June 27, 2020

如何解决windows下执行“spark.sql()”报错Failed to start database ‘metastore_db’ with class loader

现象描述

执行DataFrame的相关操作时可以正常运行，但是执行spark.sql()这个会出现下面的错误
Caused by: ERROR XJ040: Failed to start database ‘metastore_db’ with class loader org.apache.spark.sql.hive.client.IsolatedClientLoader$$anon$1@476fde05, see the next exception for details.

并且我启动spark时会有提示没有安装winutils的错误。

解决问题过程：

1. winutils.exe 是hadoop在windows下运行需要的一个文件。 可以去https://github.com/steveloughran/winutils 下载
   需要注意的是要注意版本，比如你的spark 版本是spark-2.xx-bin-hadoop-2.xx，就要去对应的hadoop版本bin目录下下载。

下载后放在spark的bin目录下，并且加到PATH的环境变量中

2. 创建一个环境变量HADOOP_HOME 指向spark的目录。否则启动spark时会有下面的错
   Could not locate executablenull\bin\winutils.exe …

执行完这两部启动spark已经不会报找不到winutils.exe的WARNing了

但是执行spark.sql()仍然会报错
spark.sql(“select * from employees”)
org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: ———;
这时需要执行第3步

3. 创建一个tmp\hive folder 并赋予权限
   winutils.exe chomd -R 777 path\tmp\hive

这样spark.sql执行报错的问题就解决掉了