关于 hadoop：Hive 上的自定义 Map Reduce 程序，规则是什么？输入输出如何？


Custom Map Reduce Program on Hive, what's the Rule? How about input and output?

我被困了几天，因为我想根据我在 hive 上的查询创建一个自定义 map reduce 程序，我在谷歌上搜索后发现的例子不多，我仍然对规则感到困惑。

创建我的自定义mapreduce程序的规则是什么，mapper和reducer类呢？

谁能提供任何解决方案？

我想用Java开发这个程序，但我还是卡住了，然后在collector中格式化输出时，如何在mapper和reducer类中格式化结果？

有人想给我一些关于这种东西的例子和解释吗？

基本上有两种方法可以将自定义映射器/缩减器添加到 hive 查询。

  • 使用 transform

    • SELECT TRANSFORM(stuff1, stuff2) FROM table1 USING 'script' AS thing1,
    thing2

    其中 stuff1, stuff2 是 table1 中的字段，而 script 是接受我稍后描述的格式的任何可执行文件。 thing1, thing2 是 script

    的输出

  • 使用 map 和 reduce
    • 1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    FROM (
        FROM table
        MAP table.f1 table.f2
        USING 'map_script'
        AS mp1, mp2
        CLUSTER BY mp1) map_output
      INSERT OVERWRITE TABLE someothertable
        REDUCE map_output.mp1, map_output.mp2
        USING 'reduce_script'
        AS reducef1, reducef2;

    这稍微复杂一些，但提供了更多控制。这有两个部分。在第一部分中，映射器脚本将从 table 接收数据并将其映射到字段 mp1 和 mp2。然后将这些传递给 reduce_script，此脚本将接收我们在 CLUSTER BY mp1 中指定的键的排序输出。请注意，一个减速器将处理多个键。 reduce 脚本的输出将转到表 someothertable

    现在所有这些脚本都遵循一个简单的模式。他们将从标准输入中逐行读取。字段将被 \\t 分隔，它们将以相同的方式写回标准输出(由 \\'\\\\\\\\t\\' 分隔的字段)

    看看这个博客，有一些很好的例子。

    http://dev.bizo.com/2009/07/custom-map-scripts-and-hive.html

    http://dev.bizo.com/2009/10/reduce-scripts-in-hive.html

    相关讨论