博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark项目打jar包,不包含依赖包问题的解决方案
阅读量:6648 次
发布时间:2019-06-25

本文共 857 字,大约阅读时间需要 2 分钟。

mvn clean package打包maven-archetype-webapp项目时,打包后的jar包含项目中引用的jar包(解压后,在WEB-INF有一个lib目录,该目录下有所有依赖包)。

mvn clean package打包maven-archetype-quickstart项目时,打包后的jar为什么不包含项目中引用的jar包呢?这样就会导致,spark-submit运行spark应用时会报各种jar包找不到,还必须得人为地把依赖jar全部丢到${SPARK_HOME}/jars目录中,这显然是不可接受的。

解决方案是:

在pom.xml文件中添加一个名为assembly的maven jar,如下

sparkTestNew
maven-assembly-plugin
jar-with-dependencies

然后,不再用mvn clean package打jar包,采用命令:mvn assembly:assembly。在target目录中有一个后缀是jar-with-dependencies的jar,这个jar包含依赖的jar包(class文件),spark-submit使用这个jar就行了。

转载于:https://www.cnblogs.com/koushr/p/5873384.html

你可能感兴趣的文章