技能要求:
1.熟练掌握Hadoop、Spark、Flink等大数据框架,了解其原理与生态系统；
2.熟悉HDFS、HBase、Redis、MongoDB等结构化与非结构化数据存储；
3.能够使用Hive/Spark SQL/Pig等进行大规模数据的ETL、聚合分析；
4.能够使用Storm、Spark Streaming、Flink等进行实时流数据处理；
5.使用Scala、Python或Java进行大数据应用程序开发,完成数据采集、存储、计算及可视化等功能；
6.熟悉OLAP数据库Drois的安装使用，通过Doris提供的API使用SQL语言对数据进行查询和分析；
工作内容:
1.根据业务需求,引入AI设计大数据平台的总体架构,选则合适的大数据框架与工具；
2.负责基于结构化/半结构化/非结构化数据搭建数据仓库并进行概念层、逻辑层、物理层建模;
3.搭建与维护Hadoop、Spark、Flink等大数据集群环境,实现可扩展的数据存储与计算；
4.负责开发基于Hive/Spark/Flink的ETL程序,对海量数据进行抽取、清洗、转换、聚合；
5.应用流计算技术,实现数据实时采集、处理与分析,构建实时风控、推荐等应用；
6.负责大数据平台进行性能测试,找出系统瓶颈,调优参数,提升吞吐量与并发能力.
薪资面议