工作内容:负责公司大数据系统的开发和维护,包括数据仓库的设计和建立,以及数据爬取、清洗、存储和分析等业务需求。主要职责:- 负责公司大数据系统的前端开发,使用熟练掌握的编程语言和框架完成系统的编写,确保系统的稳定性和可靠性。- 根据业务需求,负责设计并实现数据仓库系统,包括数据表的设计、连接和数据的分发等,确保数据仓库系统的安全和高效。- 负责数据爬取、清洗、存储和分析等业务需求的开发和实现,使用 Hadoop 生态系统中各种工具和技术,如 MapReduce、Hive、Pig 等,提高数据处理效率。- 负责编写测试用例,对系统进行单元测试、集成测试和验收测试,确保系统的稳定性和可靠性。- 负责系统部署、维护和升级等工作,及时跟进项目进度,解决项目中的技术问题。- 撰写项目文档,包括系统开发文档、测试文档、部署文档等,确保系统的易用性和维护性。职位要求:- 熟练掌握 Java 和 Spring 框架,熟悉 Hadoop 生态系统中各种工具和技术,如 MapReduce、Hive、Pig 等。- 熟悉大数据开发相关技术,如 Druid、HBase、Cassandra 等,有丰富的数据仓库系统开发经验。- 熟悉敏捷开发模式,具备良好的团队协作能力,善于沟通和协调。- 具备良好的问题解决能力和抗压能力,能够迅速应对和解决技术问题。