职位描述
1、负责科研数据平台下实时/离线数据集成业务的计算架构设计与开发；
2、负责对实时/离线数据集成服务的性能和稳定性进行优化；
3、参与计算与存储引擎的定制和改进，与合作机构/开源社区保持合作；
4、规划数据集成和数据湖等技术方向，培养发展技术团队，输出行业级别影响力。
职位要求
1、扎实的计算机基础和算法数据结构功底，对技术有热情，愿意不断尝试新技术和业务挑战；
2、熟悉 Spark、Presto、Druid、Kylin、Hive 等主流大数据系统原理及源码（不要求熟悉所有技术栈）；
3、熟悉主流的 OLAP 引擎的优化原理，向量化执行、Filter 下推、物化视图、列式存储等；
4、掌握Java或Scala语言，如并发编程和JVM等，追求高标准的工程质量；
5、熟悉并行计算或者分布式计算原理，熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案；
6、具备较强的业务需求分析能力，问题定位能力良好的沟通能力和自我学习能力；
7、有Storm/SparkStreaming/Flink等实时计算开发经验，向社区贡献过 patch 者优先（请注明）；
8、熟悉Hadoop EcoSystem/Kafka/Clickhouse等技术者优先。