岗位描述
1、构建基于网络信息安全的大数据平台，设计并优化大数据基础平台。支持数据采集、存储计算、分析、监控和可视化全过程；
2、解决数据规模增长带来的技术、异地存储检索等业务问题；支撑上层应用对底层平台数据采集、存储/计算、调度、数据安全等能力的诉求，保障应用的高效稳定运行；
3、搭建基于Flink/Hadoop/Hive/Spark/Storm/Kafka 等的大数据平台,并负责集群日常维护管理，提供稳定的平台服务；
4、负责对Fink/Hadoop/Spark开发、使用中的技术问题提供支持；
5、参与项目的需求分析和设计工作，特别是数据分析和呈现部分，并完成相关技术文档的编写；
6、可以解决工作中的技术难题，并据业务需求提供方案设计支持；平台组件性能调优和资源调度优化。
任职要求
1、本科及以上学历，计算机、软件工程相关专业，5年以上开发经验，其中3年以上大数据从业经验；
2、掌握常用的Java开发相关工具，如Idea，Maven，Git等，具备一定的Flink开发能力，能够参与实时数仓设计与开发；
3、精通Scala语言，熟悉Hadoop/Hive/Spark/Storm/Flink/Kafka/ElasticSearch等大数据相关技术，了解集群的部署升级、扩容缩容、性能和管理优化、问题排查等；
4、熟练掌握Python编程语言，及Python相关的WEB开发框架(例如Flask、Django)；
5、linux操作系统操作熟练，具备进行复杂脚本（Shell/Python等）编程开发能力；管理及优化，以及排查及解决操作系统层常见的问题；
6、精通SQL，熟悉Mysql/Oracle处理机制及应用场景；熟悉NOSQL，如Redis、Hbase、MongoDB等；
7、有Druid、Clickhouse 或Kylin使用及性能优化经验者优先；
8、了解常见的全文搜索引擎，Elasticsearch、Apache Solr、RediSearch等；
9、熟悉大数据领域的解决方案，具备该领域全面的技术积累，思维清晰敏捷，逻辑分析能力强，有独立进行软件设计和解决问题的能力。