岗位职责:

1.数据处理与算法实现：

利用Spark进行大规模数据集的处理和分析，实现高性能的数据挖掘和机器学习算法。

使用Flink构建实时数据处理管道，确保数据的实时性、准确性和完整性，实现数据不丢不重且可恢复的高可用性架构。

2.技术研究与创新：

深入理解Spark和Flink的核心技术，包括内存管理、分布式计算模型、容错机制（如Spark的RDD机制和Flink的Checkpoint/State机制）等，并能根据业务需求进行技术创新和优化。

探索并引入新的大数据处理技术和工具，不断提升数据处理效率和质量。

3.数据模型设计与优化：

从业务需求出发，设计合理的数据模型，确保数据的高效存储和查询。

对现有数据处理流程进行性能评估与优化，提高数据处理的吞吐量和降低延迟。

4.团队合作与沟通：

与数据科学家、业务分析师紧密合作，理解业务需求并转化为技术解决方案。

协助团队成员解决技术难题，提升团队整体技术水平。
任职资格:

1.教育背景： 计算机科学或相关专业本科及以上学历。

2.工作经验： 至少2年以上大数据开发经验，熟悉Spark和Flink框架，有成功实施大数据项目的经验。

3.技术技能：

精通Java/Scala编程语言。

深入理解Spark和Flink的工作原理，熟练使用Spark SQL、Spark Streaming、Flink DataStream等组件。

熟悉Hadoop生态系统，包括但不限于HDFS、YARN、Kafka（用于消息队列和数据流传输）、HBase、Hive、Spark等。理解它们如何与Flink集成，以实现高效的数据存储、处理和分析。

深入理解Flink的核心概念，包括流处理和批处理模型、事件时间处理、状态管理、检查点与容错机制、窗口函数、数据流的转换操作等。

具有实际的Flink/Spark大数据项目开发经验，特别是那些涉及Flink或类似实时计算框架的项目，能够展示出从需求分析到系统上线的全周期项目管理能力。

了解大数据处理的实践，包括数据分区策略、资源分配与优化、故障恢复机制等。

4.软技能：

良好的团队协作能力和沟通技巧，能够跨部门有效沟通。

具备较强的解决问题能力和自主学习能力，对新技术保持好奇心和探索欲。

能够承受一定的工作压力，适应快速变化的技术环境。

其他信息

行业要求：全部行业