剑知北美生活快报   版面列表   admin登录
JiansNet Logo


美国hadoop面试和相关Big Data Job的情况

by JC, published: 2012-12-22 00:21 viewed: 524 times
想了解更多的美国生活窍门?请订阅: JC写的剑知北美生活快报。
在美国随着大数据(big data)的盛行,Hadoop也流行起来了。hadoop相关的公司在美国有cloudera, hortonworks, mapr, teradata, greenplum. 使用hadoop的company有: Apple, Expedia,comScore. 其他的还有facebook, twitter, Amazon等. 所以,这块的job机会还是非常多的。 下面分享一下hadoop相关的学习信息.

书籍, books
Hadoop: The Definitive Guide
这本书里面内容非常好,既有高层的知识,又有微观把握. 比如mapreduce各个子阶段. 经常问刀的join在里面也有代码实现.

入门:
知道MapReduce大致流程,map, shuffle, reduce. 知道combiner, partition作用,设置compression. 搭建hadoop集群,master/slave 都运行哪些服务. HDFS,replica如何定位等.

进阶:
Hadoop 参数调优,cluster level: JVM, map/reduce slots, job level: reducer #, memory, use combiner? use compression? pig latin, Hive简单语法. HBase, zookeeper搭建.

最新:
关注cloudera, hortonworks blog. next generation MR2框架.
高可靠性: namenode: avoid single point of failure.
数据流系统: streaming storm(twitter).

练习算法:
wordcount
terasort
字典同位词
翻译sql语句 select count(x) from a group by b
本文版权属于美国剑知信息网。如需转载,请先同我们联系。
订阅JC写的剑知北美生活快报,您会了解到更多的美国生活窍门。
Related Articles:
• Top IT Skills and Salaries In USA
• Interesting Info on Job, Salary and Work at Amazon
• Top Salary Research Sites In USA
• 在美国做合同工Contractor Job好不好?
• Java编程入门及进阶推荐书籍及评价
• 美国计算机Computer Science面试算法书比较
美国职业发展 | 返回顶部 | 返回首页
About Us | Advertise with Us | Privacy Policy
Copyright © 2007-2016, All Rights Reserved.