mahout源码分析之DistributedLanczosSolver（七）总结篇

Mahout版本：0.7，hadoop版本：1.0.4，jdk：1.7.0_25 64bit。

看svd算法官网上面使用的是亚马逊的云平台计算的，不过给出了svd算法的调用方式，当算出了eigenVectors后，应该怎么做呢？比如原始数据是600*60（600行，60列）的数据，计算得到的eigenVectors是24*60（其中的24是不大于rank的一个值），那么最后得到的结果应该是original_data乘以eigenVectors的转置这样就会得到一个600*24的矩阵，这样就达到了降维的目的。

本篇介绍一个可以直接使用svd工具类，可以在http://download.csdn.net/detail/fansy1990/6479451下载；

下载后一共有三个文件，其中一个是synthetic_control.data数据文件，一个svd.jar文件，一个crunch-0.5.0-incubating.jar文件（要放在云平台的lib下面）；

运行方式：1）把crunch-0.5.0-incubating.jar放在hadoop 的/lib下面，然后重启集群；

2）上传synthetic_control.data文件到HDFS；

3）运行svd.jar，参考下面的指令：

~/hadoop-1.0.4/bin$ ./hadoop jar ../../mahout_jar/svd.jar mahout.fansy.svd.SvdRunner -i /svd/input/ -o /svd/output1 -nr 600 -nc 60 -r 3 -sym square --cleansvd true --tempDir /svd/temp

下面给出设计思路即源文件代码：

1.刚开始由于数据是文本，所以要先把数据转为VectorWritable格式，作为临时输入文件prepareVector；

2. 针对转换后的数据，调用svd算法进行计算，得到eigenVectors；

3. 针对prepareVector和eigenVectors计算最后转换后的结果transVector；

算法最后产生的文件在：output/transformedVector中；

主类：

package mahout.fansy.svd;  

import java.io.IOException;
import java.util.List;
import java.util.Map;  

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.util.ToolRunner;
import org.apache.mahout.common.AbstractJob;
import org.apache.mahout.math.hadoop.decomposer.DistributedLanczosSolver;
import org.apache.mahout.math.hadoop.decomposer.EigenVerificationJob;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;  

/**
 * SVD runner use to run svd algorithm on input like:<br>
 * 1.1,2.4,1,4.3,...<br>
 * ...<br>
 * and reduce dimension<br>
 * There are three jobs in this section:<br>
 * (1) prepare the text input to vectors which the second job needed;<br>
 * (2) do the DistributedLanczosSolver job ,which is the same as in mahout;<br>
 * (3) dimension reduction : transform the input to the reduced output;<br>
 *
 * @author fansy
 *
 */
public class SvdRunner extends AbstractJob {  

    private static final String PREPAREVECTORPATH="/prepareVector";
    private static final String TRANSFORMEDVECTOR="/transformedVector";
    private Map<String, List<String>> parsedArgs;  

    private static final Logger log = LoggerFactory.getLogger(SvdRunner.class);
    @Override
    public int run(String[] args) throws Exception {
        if(prepareArgs(args)!=0){
            return -1;
        }  

        /*
         *  prepare vectors job
         */
        log.info("prepare Vector job begins...");
        String inputPath = AbstractJob.getOption(parsedArgs, "--input");
        String outputPath =AbstractJob.getOption(parsedArgs, "--tempDir")+SvdRunner.PREPAREVECTORPATH ;
        String regex=",";
        if(AbstractJob.getOption(parsedArgs, "--splitterPattern")!=null){
            regex=AbstractJob.getOption(parsedArgs, "--splitterPattern");
        }
        String column=AbstractJob.getOption(parsedArgs, "--numCols");
        String[] job1Args=new String[]{"-i",inputPath,"-o",outputPath,"-regex",regex,"-nc",column};
        int job1Result=ToolRunner.run(getConf(), new PrePareSvdVector(), job1Args);
        if(job1Result!=0){
            return -1;
        }  

        log.info("svd algorithm job begins...");
        // replace the input
        for(int i=0;i<args.length;i++){
            if(args[i].equals("-i")||args[i].equals("--input")){
                args[i+1]=AbstractJob.getOption(parsedArgs, "--tempDir")+SvdRunner.PREPAREVECTORPATH ;
                break;
            }
        }
        int job2Result=ToolRunner.run(new DistributedLanczosSolver().job(), args);
        if(job2Result!=0){
            return -1;
        }  

        log.info("transform job begins...");
        inputPath=outputPath;
        outputPath=AbstractJob.getOption(parsedArgs, "--output")+SvdRunner.TRANSFORMEDVECTOR;
        String eigenPath=AbstractJob.getOption(parsedArgs, "--output")+"/"+EigenVerificationJob.CLEAN_EIGENVECTORS;
        String[] job3Args=new String[]{"-i",inputPath,"-o",outputPath,"-nc",column,"-e",eigenPath};
        int job3Result=ToolRunner.run(getConf(), new SvdReductionTranform(), job3Args);
        if(job3Result!=0){
            return -1;
        }
        return 0;
    }  

    /**
     * prepare arguments
     * @param args: input arguments
     * @return 0 if nothing wrong;
     * @throws IOException
     */
    private int prepareArgs(String[] args) throws IOException{
        addInputOption();
        addOutputOption();
        addOption("numRows", "nr", "Number of rows of the input matrix");
        addOption("numCols", "nc", "Number of columns of the input matrix");
        addOption("rank", "r", "Desired decomposition rank (note: only roughly 1/4 to 1/3 "
                + "of these will have the top portion of the spectrum)");
        addOption("symmetric", "sym", "Is the input matrix square and symmetric?");
        addOption("workingDir", "wd", "Working directory path to store Lanczos basis vectors "
                                    + "(to be used on restarts, and to avoid too much RAM usage)");
        // options required to run cleansvd job
        addOption("cleansvd", "cl", "Run the EigenVerificationJob to clean the eigenvectors after SVD", false);
        addOption("maxError", "err", "Maximum acceptable error", "0.05");
        addOption("minEigenvalue", "mev", "Minimum eigenvalue to keep the vector for", "0.0");
        addOption("inMemory", "mem", "Buffer eigen matrix into memory (if you have enough!)", "false");  

        addOption("splitterPattern", "regex", "the char used to split the input text   Default Value:"
                + " \",\" ",false);
        this.parsedArgs = parseArguments(args);
        if (this.parsedArgs == null) {
            return -1;
        } else {
            return 0;
        }
    }  

    /**
     * SvdRunner main
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        ToolRunner.run(new Configuration(),new SvdRunner(), args);
    }
}

以上是小编为您精心准备的的内容，在的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索mahout
， hadoop
， string
，文件
， import
， loggerfactory
，新闻大数据hadoop算法
， java源码算法
， mahout
， Hadoop mahout kmeans
SVD
mahout源码分析、mahout源码、mahout源码下载、mahout kmeans源码、mahout实践指南源码，以便于您获取更多的相关知识。

时间： 2024-03-20 01:34:33

mahout源码分析之DistributedLanczosSolver（七）总结篇

mahout源码分析之DistributedLanczosSolver（七）总结篇的相关文章

mahout源码分析之DistributedLanczosSolver（五）

mahout源码分析之DistributedLanczosSolver（二） Job1

mahout源码分析之DistributedLanczosSolver（六）完结篇

mahout源码分析之DistributedLanczosSolver（四）rawEigen简介

mahout源码分析之DistributedLanczosSolver（三） Job2

mahout源码分析之DistributedLanczosSolver（一）实战

Spring AOP源码分析（七）ProxyFactoryBean介绍

android源码分析，下载

Yarn源码分析之如何确定作业运行方式Uber or Non-Uber？

mahout源码分析之DistributedLanczosSolver（七） 总结篇

mahout源码分析之DistributedLanczosSolver（七） 总结篇的相关文章

mahout源码分析之DistributedLanczosSolver（七）总结篇

mahout源码分析之DistributedLanczosSolver（七）总结篇的相关文章