【Spark Summit EU 2016】Apache Kudu&Spark SQL：对快数据进行快速分析

本讲义出自Debasish Das与Pramod Narasimha在Spark Summit EU 2016上的演讲,主要介绍了基于Spark和Lucene构建的近实时预测模型.

本讲义出自Stephan Kessler在Spark Summit EU 2016上的演讲,主要介绍了目前商业智能的相关技术蓝图,并且从业务应用和大数据以及数据科学的角度谈论了目前商业智能蓝图中的不足,并分享了在Spark上集成的业务功能以及如何在Spark上利用不同来源的数据,并对HANA Vora 1.3进行了介绍.

本讲义出自Stavros kontopoulos与Justin Pihony在Spark Summit EU 2016上的演讲,在演讲中他们分享了内存空间不足问题(OOM).该方法不存在问题.大小混乱问题以及安全的流恢复问题,以及如何使用Spark解决相应的问题.

本讲义出自Rolf Jagerman在Spark Summit EU 2016上的演讲,主要介绍了Spark的异步参数服务器Glint,随着机器学习的数据量越来越多,其所生成的模型的规模也越来越大,于是就出现了模型大小已经超出了一台机器的内存的情况,于是就需要参数服务器来解决这一问题.参数服务器其实是一个机器学习框架,它将机器学习模型分布到多台机器上进行计算实现.

本讲义出自Simon Whitear在Spark Summit EU 2016上的演讲,主要介绍了用于监控,识别并优化低效Spark的工具Sparklint.由于成功的Spark集群的规模往往会迅速扩张,往往会出现能力与任务不匹配的情况并造成资源竞争,为了使得Spark集群的效率得到提升,所以需要Sparklint这样的监控优化工具.

本讲义出自Oscar Castaneda在Spark Summit EU上的演讲,在使用ES-Hadoop进行开发的过程中,使Elasticsearch运行在Spark集群外部是一件非常繁琐的事情,为了在开发过程中更好地Elasticsearch实例,并且尽可能地降低开发团队之间的依赖关系,使用ES快照作为团队合作的接口,并且提高QA的效率,所以提出了在Spark集群中内置Elasticsearch的方式.

本讲义出自Brij Bhushan Ravat在Spark Summit EU上的演讲,主要介绍了爱立信公司研发的基于Spark与Cassandra的电信产品化解决方案Voucher Server. Brij Bhushan Ravat从什么是产品化这个命题入手,分享了关于产品和Voucher Server 进化的观点,并对Voucher Server这款产品进行了简单介绍,并分享了Voucher Server面对的挑战与其发展进化的过程以及关于产品的运行和维护的挑战.

本讲义出自Pat Patterson在Spark Summit EU上的演讲,他首先介绍了数据工程中的一个难点就是数据漂流(Data Drift),以及应对数据漂流所出现的一些解决方案.之后详细介绍了开发和操作复杂数据流的开源软件StreamSets,并分享了当前在Spark上比较流行的数据通道.

本讲义出自Dean Wampler在Spark Summit EU上的演讲,主要介绍了Scala在Spark上的使用,以及Scala能够在Spark上发挥的作用,并在讲义中提供在Spark上使用Scala的相关指导的网址. Scala是一门多范式的编程语言,一种类似java的编程语言,设计初衷是实现可伸缩的语言 .并集成面向对象编程和函数式编程的各种特性.Scala与Spark的搭配可以称得上完美,Scala的两大优点:1.基于JVM,和Hadoop.YARN等集成比较容易:2.函数式编程语言,

本讲义出自Luca Canali在Spark Summit EU 2016上的演讲,他首先对于Spark 1.6版本和Spark 2.0版本的区别进行了分析,并介绍了Spark SQL的相关内容,SparkSQL无论在数据兼容.性能优化.组件扩展方面都得到了极大的方便,他还着重介绍了对于使用Flame Graphs提升Spark 2.0性能的相关研究.