spark例子JavaSparkSQL，使用IDEA工具打包的时候报错程序包org.apache.spark.sql不存在

问题描述

在使用intellijidea测试一个简单的spark自带的一个例子JavaSparkSQL，打包或者知心runmain方法都会出现这样的一个问题，只要包含sql的导入的地方就会打包或者运行的时候遇到这个错误，请问有遇到过我这种问题的人吗，或者该怎么解决这个问题呢？Information:15-9-10下午4:25-Compilationcompletedwith21errorsand0warningsin978ms/root/workspace/MySpace/src/JavaSparkSQL.javaError:(26,28)java:程序包org.apache.spark.sql不存在Error:(27,28)java:程序包org.apache.spark.sql不存在Error:(28,28)java:程序包org.apache.spark.sql不存在Error:(57,5)java:找不到符号符号:类SQLContext位置:类JavaSparkSQL

解决方案

解决方案二：
检查pom，是否所有包都写到依赖中了
解决方案三：
谢谢楼主分享。来支持你了

时间： 2024-02-20 16:47:25

spark例子JavaSparkSQL，使用IDEA工具打包的时候报错程序包org.apache.spark.sql不存在的相关文章

java小白求解，下面的代码是按照书上的例子抄下来的，不明白为什么报错。

问题描述 java小白求解,下面的代码是按照书上的例子抄下来的,不明白为什么报错. 代码如下:主要问题就是报错的地方:已经用注释吧报错贴上:还看不懂这个报错,求大神帮助:package Calendar; import java.util.Scanner; public class Calendar { public static void main(String[] args) { Scanner in = new Scanner(System.in); System.out.println(

使用POI3.10里的在word里插入图片的例子，生成的word打不开报错，如何解决

问题描述 使用POI3.10里的在word里插入图片的例子,生成的word打不开报错,如何解决 XWPFDocument doc = new XWPFDocument();//获取文档信息 XWPFParagraph p = doc.createParagraph(); ArrayList list=new ArrayList(); list.add("C:UsersluDesktopPoiSampleimage1.png"); list.add("C:UsersluDesk

加入okhttp-3.2.0.jar后打包的时候报错

问题描述 加入okhttp-3.2.0.jar后打包的时候报错 自己添加的混淆 还是报错 解决方案 http://www.eoeandroid.com/thread-917734-1-2.html?_dsign=9a64ace5 解决方案二: 不要导入jar,直接用Gradle引用

Jsmooth打包exe启动报错

问题描述 写了一个很小的javaSE程序 照着网上的方法打包成一个exe程序点击打开的时候 会报错如图:我参考的jsmooth打包的方法是这个帖子的:http://yisufuyou.iteye.com/blog/403556用的jre也是他里面下载的greenjvm_make这个 我的目录结构是这样子的:不知道为什么报错..求帮助.... 解决方案 力推:用exe4j 打包exe解决方案二:我推荐launch4j.解决方案三:jsmooth 不支持64位http://stackoverflow

python （3）：wxPython打包app，报错

1,打包app报错 如图: 使用py2app,mac下打包成app,异常,程序直接退出. 没有具体的错误信息,客户端程序直接崩溃了. 2,原因 代码没有几行: #!/usr/bin/python # -*- coding: utf-8 -*- import wx app = wx.App(False) # Create a new app, don't redirect stdout/stderr to a window. frame = wx.Frame(None, wx.ID_ANY, "测

《 Apache Spark机器学习.》导读

本节书摘来自华章出版社< Apache Spark机器学习.>一书中作者[美] 刘永川(Alex Liu) 著 闫龙川 高德荃 李君婷 译  前 言 作为数据科学家和机器学习专业人员,我们的工作是建立模型进行欺诈检测.预测客户流失,或者在广泛的领域将数据转换为洞见.为此,我们有时需要处理大量的数据和复杂的计算.因此,我们一直对新的计算工具满怀期待,例如Spark,我们花费了很多时间来学习新工具.有很多可用的资料来学习这些新的工具,但这些资料大多都由计算机科学家编写,更多的是从计算角度来描述.

Apache Spark源码走读（九）如何进行代码跟读&amp;使用Intellij idea调试Spark源码

<一>如何进行代码跟读 概要 今天不谈Spark中什么复杂的技术实现,只稍为聊聊如何进行代码跟读.众所周知,Spark使用scala进行开发,由于scala有众多的语法糖,很多时候代码跟着跟着就觉着线索跟丢掉了,另外Spark基于Akka来进行消息交互,那如何知道谁是接收方呢? new Throwable().printStackTrace 代码跟读的时候,经常会借助于日志,针对日志中输出的每一句,我们都很想知道它们的调用者是谁.但有时苦于对spark系统的了解程度不深,或者对scala认识不

spark as a service :混入SparkJob 特质 SparkJobValidation报错

问题描述 报错:java.lang.NoClassDefFoundError:spark/jobserver/SparkJobValidation代码是spark-jobserver示例代码,在build.sbt中也加入了依赖 解决方案 解决方案二:求大神啊!!解决方案三:是在Idea中run的程序吗?如果是的话,我也出现同样的错误,但是sbtpackage之后到测试集群就没有问题,很奇怪....

Apache Spark机器学习.1.9　小结

1.9 小结 本章介绍了Apache Spark所有的基础知识,这也是所有想把Apache Spark应用于机器学习实际项目的从业者必须理解掌握的.我们重点探讨了Apache Spark计算,并涉及一些最重要的机器学习组件,以便把Apache Spark和机器学习关联起来,让开展机器学习项目的读者做好充分准备. 第一,我们作了Spark总体概述,还讨论了Spark优点以及面向机器学习的Spark计算模型. 第二,我们回顾了机器学习算法,Spark的MLlib库和其他机器学习库. 第三,讨论了Sp