Hadoop是Yahoo发起的一个开源分布式计算工具,大概起于2006年,最新版本为0.20版,但已经很流行了,这足以见得现在的IT届新技术发展是多么地迅猛,开源技术尤甚。不过整个计算机科学也才四十多年历史,整个理论体系离完善还很遥远,所以我辈也不用太自卑(怎么那些家伙这么厉害?),专注与自己的技术路线即可。这好像和Hadoop没啥关系,扯远了。。。
Hadoop主要包括一个分布式文件管理系统HDFS(GPS的一个轻量级实现),以及Map/Reduce(函数式编程)部分。目的主要用来海量数据的处理。
关注Hadoop也有几个月时间了,但一直没太大的进展,还处于一些文档的阅读和单机的实验。最近准备花点时间读读它的源代码,特别是那个分布式文件管理系统。以前研究过一段时间网格计算,但主要用Globus,所以分布式系统的实现还不甚了解,这次要好好整整。。。
Hadoop关联的项目,如Chukwa,HBase,Hive等应该也有点意思。。。
链接:
http://hadoop.apache.org/core/(项目负责人:Doug Cutting)
http://www.hadoop.org.cn/(搞过两次Hadoop沙龙,2009年没怎么更新,学生办的?)
http://cn.hadoop.org/ (Hadoop中文研究院 (群号:12934057)
研究Hadoop,MapReduce,HBase的中文社区,欢迎投稿!!!
)
http://www.hadoop.tw/
阿里ASC也有个网站,不过好像09年也没怎么更新。。。
分享到:
相关推荐
NULL 博文链接:https://lingqi1818.iteye.com/blog/908466
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期...Hadoop_Hadoop集群(第8期)_HDFS初探之旅 Hadoop_Hadoop集群(第9期)_MapReduce初级案例 Hadoop_Hadoop集群(第10期)_MySQL关系数据库 Web(Json-Lib类库使用手册)
Hadoop集群·HDFS初探之旅(第8期) Hadoop集群·MapReduce初级案例(第9期) Hadoop集群·MySQL关系数据库(第10期) Hadoop集群·常用MySQL数据库命令(第10期副刊) Hadoop集群·HBase简介及安装(第11期) ...
hadoop从零开始 细节问题细得不能再细 新手绝对入门的圣经 ...9.细细品味Hadoop_Hadoop集群(第8期)_HDFS初探之旅 10.细细品味Hadoop_Hadoop集群(第9期)_MapReduce初级案例 ........................
【Hadoop与大数据49】刘达-IBM 企业移动平台初探
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第8期_HDFS初探之旅 共29页.pdf
RPC(RemoteProcedureCall)——远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPCServer实现了一种抽象的RPC服务,同时提供Call队列。RPCServer作为服务提供者由两个...
#资源达人分享计划#
该文档是虾皮老师(博客园)自己撰写的,觉得很好就分享给大家。... 9)Hadoop集群_第8期_HDFS初探之旅_V1.0 8)Hadoop集群_第9期_MapReduce初级案例_V1.0 10)Hadoop集群_第10期_MySQL关系数据库_V1.0
特别好的Hadoop教程,基本上等于手把手教了,每一步都非常详细 (第6期)_WordCount运行详解 (第7期)_Eclipse开发环境设置 (第8期)_HDFS初探之旅 (第9期)_MapReduce初级案例 (第10期)_MySQL关系数据库
5、Java RMI + Lucene 构建分布式检索应用初探 ................ - 17 - 6、一对多的表关联在mapreduce中的应用(续) .................. - 26 - 7、InputSplit文件格式分析................................. - 32 -...
5、Java RMI + Lucene 构建分布式检索应用初探 ................ - 17 - 6、一对多的表关联在mapreduce中的应用(续) .................. - 26 - 7、InputSplit文件格式分析................................. - 32 -...
CSDN大数据学习班第一节分享:大数据入门技术初探
数据湖大多是相对于传统基于RDBMS的数据仓库,而从2011年前后,也就是数据湖概念出现的时候,很多数据仓库逐渐迁移到以Hadoop为基础的技术栈上,而且除了结构化数据,半结构化、非结构数据也逐渐的存储到数据仓库中...
kafka实时计算灵域内的一颗耀眼的新宠,与storm、spark等实时计算框架相整合,更好滴服务于互联网行业,同时亦可与离线批量计算hadoop相整合,方便数据源的采集,总之,kafka你值得学习......
认真对比了一下Hadoop,前者更擅长的是,实时流式数据处理,后者更擅长的是基于HDFS,通过MapReduce方式的离线数据分析计算。对于Hadoop,本身不擅长实时的数据分析处理。两者的共同点都是分布式的架构,而且,都...
10 Ubuntu 13.04 系统管理初探 文/曹江华 14 在 Windows 世界中使用Linux 文/William von Hagen 18 十大广泛使用的Linux发行版 文/Anusha Saive 编译/布加迪 22 Hadoop运维记录系列(五) 文/Slaytanic 24 极端环境下...