提问者:小点点

何时使用标识映射器/还原器?


我有两个概念上的疑问,与mapduce和hadoop有关。我知道一个简单的一次迭代map-duce程序,知道什么是mapper、还原器、shaffler…但仍然想知道以下问题

1)迭代地图减少什么时候完成?

2)我知道标识映射器/还原器提供与馈送输入相同的输出。但是我们什么时候使用标识映射器/还原器?


共1个答案

匿名用户

1)迭代MR算法的一个例子是Dijkstra的最短路径算法。在每次迭代中,探索所有活动节点的最近邻居,减少阶段用于检查目标节点是否已经到达。其他例子是Facebook的朋友的朋友(FoF)算法,用于寻找建议新朋友。

2)如果您只想对输入进行排序,则可以使用标识映射器(以及其他!)。例如,可以使用标识简化器来实现令人尴尬的并行算法,其中您只使用映射器来执行并行任务,但您希望对输出键值对进行排序。

希望这能让你上路。

请注意,除了标识还原器之外,您还可以设置NO还原器(然后映射输出未排序)。