hadoop2.9.2升级至3.3.1，对iserver的影响思维导图模板

本身hadoop能力的变化 https://hadoop.apache.org/docs/r3.0.0/index.html

Java 7 to Java 8

HDFS:更加节省空间开销，由3倍减少至1.4倍

MapReduce：shuffle 密集型作业，性能提高30%

YARN:改善时间轴服务的可伸缩性和可靠性

支持两个以上的namenode

重写shell脚本，解决部分老bug

支持阿里OSS

iserver端（client）

是否引入新的依赖冲突，是否可解决

引入了jersey-servlet-1.19.4（与当前iserver使用jersey 2.x冲突） 采用屏蔽jersey-servlet-1.19.4处理，使用最小测试集验证通过。结论是可以解决。

引入zookeeper-3.5.6(与当前hbase相关jar期望版本为3.4.6冲突。如达到3.5.6，hbase应从1.4.1升级至2.3.0） 由于geotrellis-hbase-spark_2.11:jar:3.3.0-sm和geomesa-hbase-datastore_2.11:jar:2.2.0-sm内部都引入了1.x版本的hbase，升级影响可能较大，所以了解hadoop升级zookeeper原因及能否保持3.4.6。经过查找相关资料，个人认为可以保持3.4.6的zookeeper版本。 采用继续使用原来的3.4.6版本的zookeeper处理，使用最小测试集验证通过，结论是可以解决。

是否新增标记为"弃用"的类的引入

无

是否存在类或方法变更引起的iserver编译或运行时异常

无

环境端（server）

环境搭建方式，配置文件，等是否变化

jdk最低1.8，部分端口变化，配置文件有变化

产品文档是否需要改动

如要支持3.x版本的Hadoop 集群搭建，则需要改动

用户升级环境，如何支持？

官方文档：https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsRollingUpgrade.html#Upgrade_with_Downtime 个人文档：https://www.cnblogs.com/luengmingbiao/p/11324801.html

iserver端与环境端不同版本适配

官方只保证中版本的客户端和服务端互相兼容，如：2.3.0client 兼容 2.5.0server http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/Compatibility.html#Hardware.2FSoftware_Requirements

升级后iserver 3.x client 是否兼容2.x server环境

最小测试集使用3.3.1的client，2.x版本的server，测试通过

部分非官方资料也显示可以兼容 https://blog.cloudera.com/upgrading-clusters-workloads-hadoop-2-hadoop-3/ https://blog.csdn.net/breakout_alex/article/details/95060378

注：橙色字体为iserver升级hadoop重点关注内容

Free Topic