岗位职责：

1.负责爬取互联网上允许搜索爬虫采集的公开数据的爬取、清洗、解析、入库；

2.针对需要的数据，寻找网站或app内可用的接口；

3.熟悉主流网站和app反爬机制；

4.负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量，提升网页抓取的效率和质量；

4.设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、JS加密等难点攻克；

5.利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求；

6.有RPA研发经验优先考虑。



任职要求：

1.本科及以上学历，计算机相关专业，5年及以上工作经验；

2.熟练使用Python语言，至少3年相关的开发经验 ；

3.熟悉前端页面技术，如html、js、ajax等；

4.有海量数据爬取、解析、清洗、存储相关项目经验；

5.熟悉反爬策略的应对，能够解决封账号、封IP、验证码、JS加密等问题；

6.熟悉Mysql、Redis、MongoDB等数据库，有过数据库调优和海量数据存储经验者优先。

其他信息

行业要求：全部行业
所属部门：静博士集团