我们使用Cookie和类似技术来改善您的体验、分析网站使用情况并协助我们的营销工作。我们收集的数据包括页面访问记录和匿名使用统计。 隐私政策
职位预算: CNY 30,000-50,000
发布时间:
我们正在构建下一代企业级大数据平台，现诚邀资深大数据平台开发工程师加入核心研发团队。该岗位聚焦于自研大数据底层组件与分布式任务调度平台的设计、开发与优化。 【核心职责】 • 主导或深度参与自研分布式计算引擎、元数据服务、存储适配层等底层组件的架构设计与高性能实现； • 独立开发高可用、高吞吐、低延迟的统一任务调度平台，支持批流一体、多引擎（Spark/Flink/Trino）协同及复杂DAG依赖管理； • 深入优化大规模集群下的资源调度策略、容错机制与可观测性能力（Metrics/Tracing/Logging）； • 与数据科学家、SRE及业务方紧密协作，将平台能力转化为可落地的数据生产力； • 编写高质量技术文档、API规范及内部技术分享，推动团队工程能力建设。 【硬性要求】 • 5年以上大数据系统开发经验，至少3年专注在调度系统、计算引擎或存储层等底层方向； • 精通Java/Scala（必须），熟练掌握JVM调优、Netty、RPC框架（如gRPC）及并发编程； • 深度理解主流大数据技术栈原理：Hadoop/YARN、Flink/Spark内核、Airflow/DolphinScheduler调度模型、Iceberg/Hudi等湖仓技术； • 具备从0到1设计并落地过至少一个核心模块（如自定义调度器、UDF框架、血缘追踪引擎）的完整经验； • 熟悉Linux系统、容器化（Docker/K8s）及CI/CD工程实践； • 有大型分布式系统故障诊断、性能压测与稳定性保障实战经验。 【加分项】 • 参与过Apache开源项目（如Flink、Calcite、Doris）贡献者优先； • 具备云原生大数据平台（AWS EMR/Azure Synapse/GCP Dataproc）深度优化经验； • 掌握Rust/C++用于关键路径性能优化者优先； • 有团队技术Lead或架构师角色经验。 我们提供技术驱动的文化、深度参与架构决策的机会，以及与顶尖工程师共同打造基础设施的长期价值。