岗位职责:
1、负责大数据平台数据治理(元数据、数据目录、数据政策、数据质量等)功能的技术方向评估和技术选型;
2、负责大数据平台数据治理(元数据、数据目录、数据政策、数据质量等)功能的架构设计;
3、协助大数据平台数据治理实施方案制定等工作;
4、参与大数据平台总体需求分析、架构设计;
5、构建相应的数据分析模型和方法。
任职资格:
1、本科及以上学历,2年以上大数据开发经验;
2、熟练掌握如Hadoop、HBase、Hive、zookeeper、Sqoop、Flume、Kafka、Storm、Spark、Impala等五种或五种以上组件;
3、有数据仓库项目实施经验,熟悉数据治理和数据仓库建模;
4、熟悉Linux 操作系统和 Shell编程,熟练掌握Java编程语言,熟悉springboot、springcloud开发;
5、熟悉一种以上关系数据库,熟练使用SQL语句,熟悉NOSQL编程,熟悉mongoDB数据库;熟悉数据处理ETL工具,例如:Kettle;
6、有ElasticSearch/Solr搜索引擎项目开发经验优先;
7、有分布式计算平台使用和海量数据处理经验优先;
8、有水利行业经验优先。