We use cookies and similar technologies to improve your experience, analyze site usage, and assist in our marketing efforts. Privacy Policy
Budget: CNY 25,000-45,000
Post time:
我们正在寻找一位经验丰富的大数据开发工程师，加入我们的技术团队，负责设计、开发和维护高并发、高可用的大数据平台与数据处理系统。候选人需具备扎实的分布式计算理论基础与丰富的生产环境实战经验。 【核心技术要求】 - 精通 Hadoop 生态体系（HDFS、YARN、MapReduce），深入理解其底层原理与调优策略； - 熟练使用 Spark（Scala/Python）进行大规模批处理与流式计算（Structured Streaming），能独立完成从数据接入、清洗、特征工程到模型服务支撑的全链路开发； - 熟悉 Flink 实时计算框架，具备端到端实时数仓建设经验，包括 CDC 接入、状态管理、Exactly-Once 语义保障及性能压测； - 掌握 Kafka 架构原理与运维实践，熟悉多集群跨机房同步、ACL 权限控制及监控告警体系； - 熟练使用 Hive/Trino/Doris 等 OLAP 引擎，能编写高性能 SQL 并进行执行计划深度分析与优化； - 具备云原生大数据平台经验（如 AWS EMR、阿里云 MaxCompute + Hologres），了解 Kubernetes 上部署 Flink/Spark Operator 的最佳实践。 【经验要求】5年以上大数据平台开发经验，主导过PB级平台从0到1落地；熟悉数据治理与中台方法论；工程素养扎实，擅跨团队协作。本岗位专注技术深度与系统稳定性，无非技术职责。