职位详情
五险一金
交通补助
餐费补贴
领导好
扁平管理
弹性工作
带薪年假
休闲餐点
子女福利
定期体检
工作职责：
1、负责超大规模通用爬虫、定向数据采集系统平台架构设计研发；
2、负责开发并优化海量爬虫系统整体设计，包括数据流程、任务调度、数据存储等核心模块；
3、负责优化爬虫系统的性能、时效性、稳定性和易用性，通过技术手段不断提升系统的整体质量和用户体验；
4、研究并实践如何应对非传统HTML数据的采集需求，包括但不限于移动应用数据、动态渲染数据等，提供解决方案并实现相应的数据采集策略。
任职要求：
1、计算机相关专业本科及以上学历，5年以上爬虫工作经验，具备独自开发大规模数据抓取项目的能力；
2、熟悉Python/Java/Go/C++其中两种语言，掌握一种或多种爬虫库（如Requests, BeautifulSoup, Scrapy等），具备扎实的编码能力，精通网络通信，对HTTPS、TCP有深入理解；
3、精通各端爬虫原理，对反爬、逆向、风控、安全有深刻的见解，能够应对动态内容抓取和反反爬虫技术，熟悉使用Selenium、Puppeteer或Playwright等工具，熟悉分布式爬虫的开发及部署，有爬虫相关系统的架构设计经验；
4、能够独立分析和解决技术难题，能够迅速掌握新技术和新工具。
加分项：
精通移动应用逆向工程，熟悉常见爬虫框架。
具备OCR、图像识别和大模型AI抓取经验。
有大规模、高频数据抓取经验者优先。
其他信息
行业要求：全部行业
所属部门：产品技术中心
