岗位职责
1.负责数据采集平台建设和外部数据接入，满足业务多元的数据采集需求2.负责开发分布式数据采集框架，管理数据采集服务器
3.负责数据采集核心策略的优化和研究，提升数据采集效率和质量
4.能够利用主流的大数据相关技术，实现数据清洗加工和存储
岗位要求
1.本科及以上学历，计算机相关专业，3年及以上工作经验
2.有分布式数据采集系统的开发、架构经验，至少熟悉并使用过一种主流开源架构，如Scrapy、Gocoly等优先3.精通包括但不限于:Js防护、混淆、App防破解、防逆向、加固技术等技能4.有海星数据解析、清洗、存储相关项目经验，熟悉主流的大数据处理工具的使用
5.熟悉Linux系统环境
6.熟悉Mysql、Redis、MongoDB等数据库使用
点击查看地图
