工作职责:
1、负责大数据平台相关组件的搭建及运维
2、负责调度系统的搭建、运维及二次开发
3、日常ETL任务的上线与监控
4、负责数据的采集工作
任职资格:
学历与专业：
本科及以上学历，计算机、软件工程、数据科学或相关专业优先；
技能要求：
1、熟悉大数据生态组件（如 Hadoop、Spark、Flink、Hive、HBase、Kafka 等）的部署、调优及运维；
2、具备调度系统DolphinScheduler，有搭建经验，熟悉二次开发及任务编排逻辑；
3、熟练掌握 ETL 开发流程，能独立完成数据清洗、转换及任务监控，有 DataX、Kettle 等工具使用经验者优先；
4、熟练使用 Linux 系统，掌握 Shell/Python/Java 等脚本开发，具备自动化运维能力；
5、能够使用Python开发大数据平台和服务器运维监控程序；
6、能够定位hive sql执行过程中的异常、执行时间过长或数据倾斜问题；
经验要求：
1、5年以上大数据平台开发或运维经验，具备完整项目落地经验；
2、有Hadoop（CDH）大数据集群（30+节点）性能调优、故障排查，熟练进行扩缩容；
加分项：
1、具备较强的学习能力和一定的抗压能力；
2、良好的团队协作与沟通能力，能推动跨部门协作。