链接MapReduce作业
1. 顺序链接MapReduce作业
顺序链接MapReduce作业就是将多个MapReduce作业作为生成的一个自己主动化运行序列，将上一个MapReduce作业的输出作为下一个MapReduce作业的输入。
MapReduce作业的链接就类似于Unix 的管道：
mapreduce – 1 | mapreduce – 2 | mapreduce – 3 | ···
顺序链接MapReduce作业的执行过程，就是driver为MapReduce作业创建一个带有配置參数的JobConf对象，并将该对象传递给JobClient.runJob()来启动这个作业。而当JobClient.runJob()执行到作业结尾处时会被阻止，MapReduce作业的链接就会在这个时候调用另外一个MapReduce作业的driver。每一个作业的driver都必须创建一个新的JobConf对象。并将其输入路径设置为前一个作业的输出路径。
2. 具有复杂依赖的MapReduce链接
假设两个或者多个MapReduce作业之间存在运行的先后顺序关系的话。那么这个时候就不能用顺序链接。
Hadoop怎样处理这样的MapReduce作业之间的关系的呢，Hadoop通过Job和JobControl类来管理这样的（非线性）作业之间的依赖。
Job对象是MapReduce作业的表现形式。
Job对象的实例化通过传递一个JobConf对象到作业的构造函数中来实现。也就是说通过public Job(JobConf jobConf){}来实现实例化一个MapReduce作业。Job通过Job1.addDependingJob(Job2)来维护作业间的依赖关系这也意味着Job1在Job2完毕之前是不会启动的。
JobControl对象负责管理并监视作业Job的运行。加入作业：addJob()方法。而当全部作业和依赖关系加入完毕之后，调用JobControl的run()方法。就会生成一个专门提交作业并监视作业运行的线程，这样就实现了JobControl对Job的管理和监视。
3. 预处理和后处理阶段的链接
Hadoop关于预处理和后处理作业的链接提供了两种解决方式。
方案一：为预处理和后处理步骤各自编写一个MapReduce作业。并将其链接起来。在这些步骤中能够使用IdentityReducer。而在此过程中每个步骤的中间结果都须要占用I/O和存储资源，所以这样的方案是很低效的，普通情况下Hadoop是不建议使用的。
方案二：自己组合mapper和reducer，也就是说自己写mapper去预先调用全部的预处理步骤，再让reducer调用全部的后处理步骤。在Hadoop中呢，是引入了ChainMapper和ChainReducer类来简化预处理和后处理的构成，生成的作业表达式类似于：MAP+ | REDUCE | MAP+ 通过依照这个顺序来运行运行多个mapper来预处理数据，并在reduce之后可选的地按序运行多个mapper来做数据的后处理。
比如：有4个mapper作业和一个reduce作业，顺序例如以下：
Map1 | Map2| Reduce | Map3 | Map4
在这个组合中呢。我们就能够把Map2和Reduce来作业MapReduce作业的核心，把Map1作业预处理步骤，把Map3和Map4作业后处理步骤。
... conf.setJobName("chain"); conf.setInputFormat(TextInputFormat.class); conf.setOutputFormat(TextOutputFormat.class); JobConf mapAConf = new JobConf(false); ...ChainMapper.addMapper(conf, AMap.class, LongWritable.class, Text.class,Text.class, Text.class, true, mapAConf); JobConf mapBConf = new JobConf(false); ...ChainMapper.addMapper(conf, BMap.class, Text.class, Text.class,LongWritable.class, Text.class, false, mapBConf); JobConf reduceConf = new JobConf(false); ...ChainReducer.setReducer(conf, XReduce.class, LongWritable.class, Text.class,Text.class, Text.class, true, reduceConf); ChainReducer.addMapper(conf, CMap.class, Text.class, Text.class,LongWritable.class, Text.class, false, null); ChainReducer.addMapper(conf, DMap.class, LongWritable.class,Text.class, LongWritable.class, LongWritable.class, true, null); FileInputFormat.setInputPaths(conf, inDir);FileOutputFormat.setOutputPath(conf, outDir); ... JobClient jc = new JobClient(conf); RunningJob job =jc.submitJob(conf); ...
值得注意的是：在ChainMapper.addMapper()方法的签名中：
publicstatic <k1,v1,k2,v2> void addMapper(JobConf job,
Class<?
extends Mapper<k1,v1,k2,v2> kclass,
Class<? extends k1> inputKeyClass,
Class<? extends v2> inputValueClass,
Class<?
extends k2> outputKeyClass,
Class<? extends v2> outputValueClass,
boolean byValue,
JobConf mapperConf)
第8个參数为boolean byValue，第一个和最后一个是全局和本地jobconf对象，第二个是mapper类，接下来四个mapper使用的类。
byValue參数：true表示值传递，false表示引用传递。
在标准Mapper中，<k2,v2>是採用值传递被洗牌到不同节点上（传递副本），可是眼下我们能够将mapper与还有一个链接，就在统一个JVM线程运行，就能够採取引用传递。可是一般来说，map1在调用context.write()写出数据后，这些数据是按约定不会更改的。
假设引用传递就会破坏约定。可是使用引用传递会提高效率。假设确定数据不会被破坏。能够设置为false，一般安全起见，设置为true就可以。。