logo
更新:2024-05-09
资深大数据存储研发工程师/HDFS研发专家
4-7万
上海长宁区  | 5-10年  | 本科  | 社招
去申请
收藏
举报
职位详情
股票期权
定期体检
节日福利
交通补助
年终奖
带薪年假
五险一金
包吃
拼多多跨境方向

岗位职责
负责拼多多EB级HDFS分布式⽂件系统的架构设计及研发⼯作。设计并开发业界领先的超⼤规模
分布式统⼀存储系统,⽀撑数据仓库,搜索,⼴告,推荐,深度学习平台,实时计算等业务的稳
定运⾏
1. 主导超⼤规模的下⼀代分布式元数据存储服务的设计⼯作。设计开发⽅案解决多租户场景下的
统⼀命名空间⽬录树的扩展性、性能、平衡性、稳定性等问题
2. 带领团队重新设计及改造开源HDFS系统,以解决10k+集群规模下的NameNode性能及内存瓶
颈问题,数据层热点,稳定性,⼀致性等挑战,提升扩展性以⽀持数据及集群规模的⾼速增⻓
3. 与上层应⽤团队深度合作,针对⼤规模查询引擎,深度学习平台等应⽤场景进⾏深度定制设计
及优化,共同解决EB级数据规模下的性能及稳定性挑战
4. 与IDC团队深度合作,参与存储与⽹络领域软硬件结合 (RDMA/SPDK/NVMe-oF etc.,)的⼯程创
新探索, 设计开发底层OS及硬件友好的⾼性能存储系统


任职要求
1. 主导过⼤规模线上分布式系统的设计研发⼯作,熟悉了解业界前沿分布式存储系统的架构设计
⽅案及design tradeoff
2. 拥有7年以上分布式系统,存储系统或数据库相关研发经验,熟悉分布式系统相关理论,如
Paxos/Raft等
3. 熟练使⽤Java或C/C++,有多线程、异步编程经验,有扎实的算法基础,熟悉常⻅的数据结构
4. 有⾃驱⼒,良好的沟通能⼒,以及较强的抗压能⼒及责任⼼


加分项
1. 参与过开源软件开发,为开源社区贡献过patch者优先
2. 在系统领域顶级会议 (OSDI/SOSP, USENIX ATC, USENIX FAST, Eurosys, VLDB, etc.,) 发表过
论⽂者优先
工作地址
上海长宁区金虹桥国际中心娄山关路523,533号
公司介绍
上海寻梦信息技术有限公司成立于2014年,是新电商平台拼多多的主体公司。拼多多于2018年7月26日正式登陆纳斯达克全球精选板块,股票代码:PDD。
拼多多是中国新电商模式的开创者,目前拥有超过3.44亿的活跃买家和超过170万活跃商家。
在以人为先的理念下,拼多多融合物质消费与精神消费,用户可以通过拼单,与好友分享买到便宜好货的快乐。
同时,拼多多还构建了分布式AI智能代理网络,将商品与消费者进行匹配,帮助海量订单精准触达制造工厂,在C2M模式下为消费者创造“便宜有好货”的价值。
拼多多目前拥有一千多名员工,平均年龄仅26岁,其中70%毕业于世界知名高校,大量工程师曾服务于谷歌、微软等一流互联网公司。
拼多多恪守本分价值观,致力于构建一个独立的公众机构,满足最广大用户的消费需求。我们永不放弃做正确的事,永不放弃为最广大人民群众创造价值。
工商信息
以下信息来自
企业类型
有限责任公司(自然人投资或控股的法人独资)
经营状态
存续
行业类型
科技推广和应用服务业
成立日期
2014年01月09日
注册地址
上海市长宁区娄山关路533号2902-2913室
统一社会信用代码
91310105090037252C
若用人单位提供虚假招聘信息,以担保或其他任何名义收取财物,扣押或以保管为名索要证件,都属于违法行为,应当提高警惕。
发布于boss直聘