Question

简言之,如果您的记录单像这样看待,那么,在绘制地图上的最佳方式是计算独一无二的访客。

DATE       siteID  action   username
05-05-2010 siteA   pageview jim
05-05-2010 siteB   pageview tom
05-05-2010 siteA   pageview jim
05-05-2010 siteB   pageview bob
05-05-2010 siteA   pageview mike

你们希望为每个网站找到独一无二的访客?

I was thinking the mapper would emit siteID username and the reducer would keep a set() of the unique usersnames per key and then emit the length of that set. However that would be potentially storing millions of usernames in memory which doesn t seem right. Anyone have a better way?

I m 采用按行方式流出

感谢

Answer 1

你们可以采取两阶段行动:

第一步,即<代码>(用户名称=>siteID),并且使用<代码> >set使网站ID多次出现故障,因为通常网站比用户少得多,因此应予罚款。

然后,在第二步中,你可以发送<代码>(siteID=>username),并且可以进行简单的计算,因为复制件已被删除。

Answer 2

我的一位导师也与前导师对一小的tw子一样。

map output : (username, siteid) => ("")
reduce output: (siteid) => (1)
map : identity mapper
reduce : longsumreducer (i.e. simply summarize)

请注意,第一次减少无需结转任何记录。你可以简单地审查关键因素并得出结果。

HTH

Answer 3

采用二级对用户补贴进行分类。这样,你就不需要记忆——仅仅通过数据流出,并且每当你看到某个特定地点的价值变化时,就把自己的数据加起来。

这里有文件。

Answer 4

往往更快地利用HiveQL来安排许多简单的任务。 Hadoop MapReduce。在这种情况下,可使用

SELECT COUNT(DISTINCT username) FROM logviews

You may find a more advanced example here: http://www.dataminelab.com/blog/calculating-unique-visitors-in-hadoop-and-hive/

友情链接