【工作内容】- 设计和实现高效、可扩展的大数据处理架构,支持公司内部的数据分析和业务决策。- 与数据科学家、分析师和技术团队紧密合作,确保数据解决方案满足业务需求。- 开发和维护数据管道,包括数据抽取、转换和加载(ETL)流程,以支持实时和批量数据分析。- 对现有系统进行性能调优,解决复杂的技术挑战,提高数据处理效率。- 跟踪最新的大数据技术和行业趋势,评估新技术对现有系统的潜在影响。- 编写清晰的技术文档,指导团队成员理解和使用新的数据架构。【任职要求】- 计算机科学或相关领域的本科及以上学历,5年以上大数据相关工作经验。- 熟练掌握Hadoop生态系统中的至少一种技术,如HDFS、MapReduce、Spark等。- 具备丰富的SQL编程经验,熟悉至少一种数据库管理系统,如MySQL、PostgreSQL或NoSQL数据库。- 有实际的大数据项目实施经验,能够独立设计和部署大规模数据处理架构。- 强烈的责任心和良好的团队协作能力,具备优秀的沟通技巧。- 了解云计算平台和服务,如AWS、Azure或Google Cloud Platform者优先。- 持续学习的态度,对新技术充满热情,能够适应快速变化的工作环境。