职位详情
岗位职责:
1、更好的支持烟台数据部门,专门解决数据部门日常遇到的数据问题。
2、负责大规模网站的抓取、提取、质量识别与垃圾过滤、更新频率控制等工作。
任职要求
1、有扎实的数据结构和算法功底;
2、工作认真细致踏实,有较强的学习能力;
3、熟悉 linux 开发环境,熟悉 python、java、c++任一语言;
4、理解 http,熟悉 html, DOM, xpath, scrapy框架 优先;
5、有数据库使用经验,理解关系式数据库,会画 ER 图;
6、有爬虫,信息抽取,文本分类相关经验者优先;
7、了解 Kafka、ElasticSearch 优先
1、更好的支持烟台数据部门,专门解决数据部门日常遇到的数据问题。
2、负责大规模网站的抓取、提取、质量识别与垃圾过滤、更新频率控制等工作。
任职要求
1、有扎实的数据结构和算法功底;
2、工作认真细致踏实,有较强的学习能力;
3、熟悉 linux 开发环境,熟悉 python、java、c++任一语言;
4、理解 http,熟悉 html, DOM, xpath, scrapy框架 优先;
5、有数据库使用经验,理解关系式数据库,会画 ER 图;
6、有爬虫,信息抽取,文本分类相关经验者优先;
7、了解 Kafka、ElasticSearch 优先