岗位职责:1、负责构建进出口贸易、图片视频识别、智能建筑、网络安全等相关的大数据分析平台以及数据开发和分析工作。 2、负责了解和学习客户的数据开发流程,并根据客户的需求,按照客户现场规范。3、为客户进行离线或者实时流的数据开发和分析工作,支撑客户业务的数据模型建设及数据指标的计算和分析。4、熟悉常用大数据生态组件,同时不断学习和调研新的大数据技术,并负有义务和责任配合公司对员工进行大数据相关的培训和技术答疑。5、负责大数据基础平台选型、搭建、调优和维护。其他要求:1、2年以上工作经验,计算机相关专业。2、熟悉对大数据分布式系统的监控、运维、故障恢复,高可用配置;并能独立定位开发中遇到的问题并解决。3、熟悉常用的大数据管理平台,比如CDH,FI,星环。4、熟悉Hadoop, HBase, Zookeeper, Hive, Scoop, Kafka,Spark, YARN, FLINK, Flume, Elasticsearch等大数据组件,包括工作原理,安装部署,日志查看定位常见问题并解决。5、了解Windows、Unix、Linux等主流操作系统原理,熟练运用系统层支持应用开发,能进行Shell脚本开发。 6、技术视野开阔,有强烈的上进心和求知欲,善于学习和运用新知识,勇于解决难题。7、善于沟通和逻辑表达,拥有优秀的分析问题和解决问题的能力,良好的团队合作精神和积极主动的沟通意识。8、良好的团队合作精神,较强的沟通能力。