岗位职责:
1、搭建基于Hardoop/Spark/Shark的大数据平台,负责数据架构设计及前端数据应用开发工作;
2、完成各种面向业务目标的从数据模型、数据分布、数据传输、数据存储等方面进行大数据系统架构的设计和数据架构;
3、数据性能分析与克服;
4、新技术的研究与导入。
任职要求:
1、具有5年以上互联网或移动互联网并基于Hadoop/Hbase等应用开发经验,对分布式计算理论有深刻理解;
2、精通JAVA、熟练掌握MapReduce原理、对Hadoop、Hbase、Hive等主流云计算、大数据相关软件有充分的了解,研读过源代码者,并且有实践经验,能解决应用中的复杂问题;
3、熟悉BI工具及方法论,有大数据分析与数据仓库设计及开发经验;
4、熟悉linux/UNIX Shell、熟悉(Perl/python/shell)任意一种脚本语言;
5、熟悉kafka等消息框架,了解flume等日志搜集系统;
6、熟悉Storm等流计算框架或其他开源实时计算框架;
7、熟悉Spark、SparkSQL、SparkStreaming等框架并能实际使用
8、个性开朗,对技术钻研好学、逻辑思维能力强,沟通能力优秀,有团队合作精神。