岗位职责：
1. 设计和开发高效、可靠的数据爬虫系统，能够抓取大量的数据。
2. 优化现有数据爬虫系统的性能和稳定性，提高数据抓取效率。
3. 研究和分析目标网站的结构和反爬虫机制，制定相应的解决方案。
4. 实现数据的清洗、去重和格式化，确保数据的质量和一致性。
5. 与数据分析和机器学习团队合作，了解他们的需求，并提供相应的数据支持。
岗位要求：
1. 计算机科学或相关领域的本科及以上学历。
2. 熟悉Python编程语言，有使用Scrapy、BeautifulSoup等数据爬虫框架的经验。
3. 熟悉HTML、CSS、JavaScript等Web技术，能够分析网站结构和数据提取。
4. 了解常见的反爬虫机制，能够应对动态加载、登录验证等问题。
5. 熟悉数据清洗和数据处理的技巧，能够处理大量的数据。
6. 良好的团队合作和沟通能力，能够与数据分析和机器学习团队合作。
7. 对机器学习和大数据技术有一定的了解和兴趣，愿意不断学习和探索新技术。
优先条件：
1. 有使用分布式爬虫系统的经验。
2. 有使用云服务提供商（如AWS、Google Cloud等）的经验。
3. 有参与过大型数据爬取项目的经验。
职能类别：数据建模工程师
关键字：数据分析csshtmljavascriptweb大数据数据支持机器学习数据清洗计算机科学