岗位职责:1)负责大数据应用解决方案技术研发,完成公司大数据平台等系列产品的开发和持续迭代。2)负责公司大数据治理服务业务的技术交付,保障项目顺利实施。3)负责参与架构设计,解决项目开发过程中的重大技术问题;4)对项目中数据项目交付、项目质量和项目开发进度的规划、控制、监督和管理;5)支持市场、运营和数据部门的日常产品和研发需求;6)负责大数据平台搭建以及数据中台项目开发;7)负责数据仓库和大数据处理模块的架构设计和开发,完成数据接入、清洗、分析等开发工作;完成数据安全,加密存储及传输等开发工作;8)负责基于hadoop、Spark、Flink技术的海量数据的处理、分析、统计、挖掘工作;9)根据业务和产品,抽象业务逻辑,设计、实现数据接入等模块;任职要求:1)本科或以上学历,计算机、数学或相关专业;2)具备3年以上软件企业或互联网企业高级开发经历,深入理解大数据应用相关技术的研发工作;3)精通常见的数据结构、算法,了解软件工程、敏捷开发等知识,熟悉常用设计模式;4)具有丰富的spring、spring boot、hibernate、struts、Mybatis、spring MVC、Quartz等后端技术开发经验,具有丰富的JBPM、Activiti等流程引擎的使用经验。5)精通MySQL、Oracle等数据库,具有丰富的SQL优化经验,以及丰富的存储过程、函数等的开发经验。熟悉MySQL主从同步、分表分库、读写分离等相关技术。6)熟悉Redis,Redis Cluster等的搭建与使用。熟悉Kafka、RocketMQ等消息组件。7)熟悉Elasticsearch、Logstash、Kibana等分布式架构下的开源日志管理方案。8)精通Java/Python等开发语言,精通大数据技术(kafka、hadoop、hdfs、hive、spark、hbase、fElasticSearch)等应用开发经验;9)掌握数据仓库(DW)/OLAP/商业智能(BI)/数据统计理论,并灵活的应用;10)拥有实际的Spark streaming或Flink项目经验者优先11)有机器学习或深度学习项目经验,CDH或DataWorks框架体系精通者优先12)精通大数据采集、存储、计算、分析及可视化等相关技术。精通大数据算法,具备行业算法开发能力。