企业级大数据平台-创新互联

部署:分为测试环境、生产环境。
Hadoop发行版本:Apache、CDH(tar包、rpm包、parcel包,必须由cloudera manager进行管理)、HDP
注意:大数据框架内禁用IPV6;同时要修改用户的大进程数、单个进程打开的大文件数量;
Hadoop 2 三大组件:1. HDFS 2.MapReduce 3 YARN
HDFS:分布式文件系统,从功能上分为namenode、datanode。其中,namenode用于存放集群元数据,例如文件名称层、文件存放在哪个datanode之上、有没有进行切片等;数据是以block形式存储;namenode中数据存放在内存中、本地磁盘包括镜像文件、编辑日志;以块为单位存储,在V2中默认大小是128MB;datanode与namenode之间会发送心跳(证明存活状态,默认是每隔3秒钟,在心跳返回结果中含有namenode发送给datanode的指令,如复制或删除数据块)、块状态报告(默认是每隔一个小时上报一次)等,是通过底层协议如RPC进行通信;副本默认是3,默认策略是其中两个副本在同一个rack不同节点,第三个副本在不同的rack上;
YARN架构:分为node manager(每一个节点)、resource manager(管理整个集群)

成都创新互联专注于滨湖企业网站建设,响应式网站开发,购物商城网站建设。滨湖网站建设公司,为滨湖等地区提供建站服务。全流程按需定制网站,专业设计,全程项目跟踪,成都创新互联专业和态度为您提供的服务

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网站栏目:企业级大数据平台-创新互联
网站网址:http://abwzjs.com/article/jejee.html