分组Dantzig选择器的大规模分布式求解

分组Dantzig选择器的大规模分布式求解

中国科学技术大学 李良

本文的主要工作包括： (1)利用Dantzig选择器的解路径分段线性的特质,以改进的DASSO算法来求解Dantzig选择器,通过与线性化的交替方向乘子法进行对比,突出了改进算法的优越性。 (2)克服了分组Dantzig选择器中约束条件给求解带来的困难,引入中间变量进行简化,并应用交替方向乘子法(ADMM)和线性化的交替方向乘子法(LADMM)算法,从而使分组Dantzig选择器的求解变为可能。 (3)在服务器上搭建分布式计算的平台,创建虚拟机,利用Spark实现求解分组Dantzig选择器的ADMM算法,并把集中式的计算与分布式的计算效率进行对比。 分组Dantzig选择器对于具有分组稀疏性的线性回归模型,在特征选择、模型预测等问题方面,都有很好地应用,比较著名的例子有脑电波医学实验。首先通过设置在人体头皮的64个微电极,以256Hz的频率测量人体头部脑电波,同时记录样本人群的疾病症状,建立回归模型。然后根据这些数据计算出模型参数,可以方便以后运行预测。而分布式计算对于处理当今越来越大规模的数据,有着不容忽视的重要意义,这也是本文研究和写作的重要出发点。

分组Dantzig选择器的大规模分布式求解

时间： 2024-04-19 01:58:52

分组Dantzig选择器的大规模分布式求解的相关文章

GPU训练的快速大规模分布式扩展-GPU多机多卡Machine Learning Middleware

在其他同学的文章中已经介绍过了,阿里新的自动语音识别系统的第一个落地点,被选定在客服电话语音识别上. 这个落地项目非常难,首先就在于我们面对的语音数据非常多样化:比如各种随意的对话.不完整的句子.各种话题以及各种传输差异和环境噪声.面对如此复杂的语音数据,我们后端的语音识别声学模型就一定要尽可能的覆盖各种可能的场景,包括各种对话.各种声道.各种噪音甚至各种口音,而要覆盖这些场景,就要求我们用海量的数据来训练语音识别声学模型.面对如此海量的数据,如何快速有效的.迭代式的训练语音识别声学模型.不断调

浅析阿里数据技术架构（下）大规模分布式知识图谱

阿里数据要做的是:把数据真正打通,深度挖掘数据的价值,为业务创新应用提供数据决策基础和依据. 下面具体介绍我们在大规模分布式知识图谱上的技术实践. 为什么需要知识图谱? 大规模知识图谱抽象也是一种图计算.基于大规模分布式知识图谱做了哪些工作?我们为什么要做这样一件事情? 阿里巴巴的生态非常丰富,而丰富的业态背后给我们数据工作者带来的困难就是,我们常常需要接入各种数据,并将他们有效地管理和整合起来,传统的方法,我们可能需要花几个月,投入几十个人做这样一件事情,对数据进行打标. 但是,假设我们已经知

基于Hadoop集群的大规模分布式深度学习

前言 在过去的十年里,Yahoo一直持续投资建设和扩展Apache Hadoop集群,到目前为止共有超过4万台服务器和600PB数据分布在19个集群上.正如在2015 Hadoop 峰会上介绍的,我们在自己的服务器上开发了可扩展的机器学习算法,用于分类.排序和计算词向量.目前,Hadoop集群已成为Yahoo大规模机器学习的首选平台. 深度学习(Deep Learning, DL)是雅虎很多产品的核心技术需求.在2015 RE.WORK深度学习峰会上,Yahoo Flickr团队(Simon O

大规模分布式存储系统原理与架构

概述 分布式存储概念 分布式存储系统是大量普通 PC 服务器通过 Internet 互联,对外作为一个整体提供存储服务. 特点 可扩展.低成本.高性能.易用 分布式存储涉及的设计主要来自两个领域:分布式系统以及数据库 数据分布.一致性.容错.负载均衡.事务与并发控制.易用性.压缩 / 解压缩 分布式存储分类 非结构化数据.结构化数据.半结构化数据 分布式存储系统分为四类: 分布式文件系统 :以对象的形式组织,对象之间没有关联,这样的数据一般称为 Blob(Binary Large Object,

谷歌大规模机器学习：模型训练、特征工程和算法选择 (32PPT下载)

  本文转自:http://mp.weixin.qq.com/s/Xe3g2OSkE3BpIC2wdt5J-A   谷歌大规模机器学习:模型训练.特征工程和算法选择 (32PPT下载) 2017-01-26 新智元 1新智元编译    来源:ThingsExpo.Medium 作者:Natalia Ponomareva.Gokula Krishnan Santhanam 整理&编译:刘小芹.李静怡.胡祥杰 新智元日前宣布,获6家顶级机构总额达数千万元的PreA轮融资,蓝驰创投领投,红杉资本中国基

PAI分布式机器学习平台编程模型演进之路

什么是PAI? PAI的全称是Platform of Artificial Intelligence,主要在使用机器学习做模型训练时提供整套链路.机器学习即服务,把机器学习作为服务对外推出,大家可以在平台上使用比较先进的机器学习算法.将多种深度学习框架集成到PAI中,同时基于深度学习框架包装成更加易用的组件.具备异构的计算服务能力,把CPU计算能力和GPU计算能力统一调度起来,异构的计算能力透明,大家的注意力是哪些机器学习算法可以帮助业务,不用关心底层资源的申请和分配.PAI也支持在线预测服务,

【对标TensorFlow】阿里公开内部超大规模分布式机器学习平台

近年来,随着"大"数据及"大"模型的出现,学术界和工业界对分布式机器学习算法引起了广泛关注.针对这一刚需,阿里集团和蚂蚁金服设计了自己的分布式平台--鲲鹏.鲲鹏结合了分布式系统及并行优化算法,解决了大规模机器学习算法带来的一系列问题,不仅囊括了数据/模型并行.负载平衡.模型同步.稀疏表示.工业容错等特性,而且还提供了封闭好的.宜于调用的 API 供普通的机器学习者开发分布式算法,降低使用成本并提升效率.相关论文在本届 KDD 以口头报告的形式发表(应用数据科学 Tr

双11数据大屏背后的秘密：大规模流式增量计算及应用

首先从理解什么是数据流开始今天的分享,其实在真实的世界中,大部分的数据都是连续产生的数据流,比如手机上产生的GPS信号.用户在互联网上的行为.在线搜索.用户的点击.社交网络分享.即时通信以及一些传感器和物联网设备采集的日志信息等,这些数据都是连续产生的,自然就形成了数据流,在这些数据流产生以后,在很多场景下对于数据流的实时分析就会产生很大的价值. 接下来从大家比较熟悉的数据场景切入,比如大家经常会关注的股市情况,股价的波动其实就是实时数据的分析和聚合,除此之外大家在日常生活中还可能比较关心天气预

女娲：阿里云分布式一致性协同服务架构详解

他的演讲内容主要分为四个方面:分布式协同服务背景.女娲服务架构以及技术演进.典型女娲服务应用场景分享.全球化架构下的女娲进化,下面是本次分享内容整理.点击查看回顾视频 分布式协同服务背景 分布式协同服务 在大规模云计算场景中,为保障数据分布式一致性,数量众多的计算节点往往依赖分布式协同服务来同步对共享资源的互斥访问,或者依赖分布式协同服务的消息通知功能来协调各自之间动作,使众多节点作为一个整体完成一项工作. 作为云计算分布式系统的核心,在设计分布式协同服务之初需要考虑互斥性.消息通知和扩展性三个