加入收藏 | 设为首页 | 会员中心 | 我要投稿 | RSS
您当前的位置:首页 > 大数据开发

大数据开发初学者应该从哪方面入手

时间:2017-11-06 18:12:52  来源:互联网  作者:光环大数据

  第一章:初识Hadoop

第二章:更高效的WordCount

第三章:把别处的数据搞到Hadoop上

第四章:把Hadoop上的数据搞到别处去

第五章:快一点吧,我的SQL

第六章:一夫多妻制

第七章:越来越多的分析任务

第八章:我的数据要实时

第九章:我的数据要对外

第十章:牛逼高大上的机器学习

现如今,正式为了应对大数据的这几个特点,开源的大数据框架越来越多,越来越强,先列举一些常见的:

文件存储:HadoopHDFS、Tachyon、KFS

离线计算:HadoopMapReduce、Spark

流式、实时计算:Storm、SparkStreaming、S4、Heron

K-V、NOSQL数据库:HBase、Redis、MongoDB

资源管理:YARN、Mesos

日志收集:Flume、Scribe、Logstash、Kibana

消息系统:Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务:Zookeeper

集群管理与监控:Ambari、Ganglia、Nagios、ClouderaManager

数据挖掘、机器学习:Mahout、SparkMLLib

数据同步:Sqoop

任务调度:Oozie

来顶一下
返回首页
返回首页
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
在线客服
推荐资讯
相关文章
栏目更新