logo
更新:2024-03-27
数据开发工程师(数据集群和运维)
1.3-2.5万
福州晋安区  | 3-5年  | 本科  | 社招
去申请
收藏
举报
职位详情
带薪年假
节日福利
加班补助
免费班车
零食下午茶
年终奖
定期体检
五险一金
【公司坐标】:福州市区
【上班时间】:弹性工作制,周末双休
【公司提供福利】:五险一金、公司健身房、食堂、内部水吧、多种多样的内部培训机会、完善的晋升体系、广阔的发展平台等。

一、岗位职责:
1. 从0到1建设大数据计算和存储集群,包括但不限于Hadoop/Hive/Kafka/Spark/Elasticsearch/Flink/Doris/DolphinScheduler;
2. 负责公司大数据集群的运维工作,包括节点规划、部署、监控、权限管理和问题处理,确保可用性和稳定性;
3. 负责集群容量规划、扩容及版本迭代,大数据集群的性能分析和优化调整;
4. 设计和实现公司大数据集群的运维、监控和管理平台;
5. 持续学习和研究大数据分布式存储与计算相关运维技术,持续优化集群服务;
6. 负责数据采集工作,使用 Filebeat、Logstash 或其他组件完成服务器日志的实时采集,保证采集的及时性与完整性;
二、任职要求:
1. 本科及以上学历,计算机、软件相关专业,3年以上大数据平台或数据仓库运维经验;
2. 对 CDH大数据组件栈有深入了解与使用经验,或对开源Apache Hadoop生态圈有长期运维经验;
3. 熟悉 Linux/Unix 系统、网络、硬件等相关知识,能够独立排查及解决操作系统和网络层面的问题;
4. 具备脚本编程能力,如Shell、Python、Java 等,能够编写自动化运维脚本,提高工作效率;
5. 能够独立完成大数据集群的日常运维工作,包括部署、扩容缩容、监控、故障排查和性能优化等(主要包含Hadoop/Hive/Kafka/Spark/Elasticsearch/Flink/Doris/DolphinScheduler等组件);
6. 熟悉容器化技术docker,能编写dockerfile,有k8s经验者优先;
7. 对云平台有一定的了解,有阿里云使用经验者优先;
8. 有大数据运维平台开发和使用经验优先。
工作地址
福州鼓楼区亚太中心4楼
若用人单位提供虚假招聘信息,以担保或其他任何名义收取财物,扣押或以保管为名索要证件,都属于违法行为,应当提高警惕。
发布于boss直聘