4397 大数据开发工程师（Spark方向 北京）

4397 智慧管理一部 大数据开发工程师（Spark方向）
视频面试 北京 航星科技园 2人
任职要求
"1、具有JAVA开发基础及2～4 年大数据开发经验，熟悉大数据平台基本流程。
2、熟练使用 Spark SQL，了解 Spark 原理，能独立开发数据任务。
3、能排查常见问题：数据倾斜、Job 慢、Join 优化等。
4、了解数据仓库、指标平台基本思路，有接口设计经验优先。
5、了解Java/Python，具备扎实的SQL功底，能够手写复杂的SQL进行数据校验和性能评估。
6、了解 ClickHouse/Doris 等 OLAP 引擎基本使用优先。"


岗位职责
"1、负责大数据分析平台的 Spark 任务开发，支持自助取数、即席查询、符合指标计算等数据需求。
2、封装 Spark 服务接口，提供给 Java
低代码平台调用。
3、基于数据仓库 / 数据湖，完成数据模型、指标逻辑的开发与维护。
4、排查 Spark 作业常见问题（数据倾斜、执行慢、任务失败）。
5、编写开发文档、接口文档、运维文档。"