资深采集系统研发工程师
你将有机会参与：
从0-1打造业界一流水平的数据采集架构，挑战和优化大数据获取和处理的极限，支持小红书在全球数据智能领域的战略布局。
设计和实施复杂的反爬虫策略和算法，确保信息获取的高效性和数据的安全性。
利用最新的人工智能和机器学习技术，提升爬虫系统的智能化水平，从而实现自动化内容识别和分类
技术挑战点：万亿级别数据&百万级并发
职位描述
1、 参与大数据采集、合作对接、服务相关的系统架构设计和开发工作，推动业务和技术的融合落地，建设数据中台核心平台能力;
2、 负责分布式爬虫系统架构的设计与研发，优化数据调度、抓取、解析、存储全栈流程；
3、 帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能；
4、 保障技术系统稳定可靠，熟练运用合适技术对复杂场景做出合理技术设计，深入分析解决系统疑难问题;
职位要求
1、具备扎实的计算机基础，本科及以上学历，2年以上经验，未来发展潜力高;
2、熟悉Java研发技术栈，具备良好的编程素养，有强烈的技术热情，能够持续学习提升;
3、有主流互联网/软件公司工作经验，具备良好的执行拿结果能力，敢于担当，善于协同合作；
4、有反爬对抗、移动安全、业务安全、了解风控各类防御措施等经验者优先；
5、熟悉主流爬取技术及爬虫框架/工具者优先，如Puppeteer/Scrapy/Webmagic等。
加分项：逆向、混淆、脱壳、反爬对抗