崗位職責:
1、基于微服務架構與分布式系統(tǒng)設計理念,構建數據治理平臺架構;采用Docker容器化技術實現服務彈性伸縮與 DevOps流程集成;
2、負責設計跨源元數據采集管道與血緣分析引擎,構建規(guī)則驅動的自動化監(jiān)控與RBAC/ABAC權限治理體系、敏感數據脫敏等。
3、負責湖倉平臺建設,完成數據入湖和維度模型建設;
4、運用ETL工具(如 Kettle、DataStage)實現與各類內外數據源(Mysql、Doris)的穩(wěn)定對接;
5、負責業(yè)務平臺的常態(tài)化維護,及時處理各類技術問題。
任職資格:
1、本科及以上學歷,計算機相關專業(yè),碩士研究生優(yōu)先;
2、具備3年及以上軟件開發(fā)經驗,深入理解后端開發(fā)、平臺運維及數據治理相關工作;
3、熟悉Java微服務開發(fā)、Linux部署運維,具備快速掌握新技術及高效解決問題的能力;
4、精通Atlas、OpenMetadata等數據治理開源平臺功能邏輯,具備血緣解析與元數據建模實戰(zhàn)經驗;
5、精通 MySQL、PostgreSQL 等關系型數據庫,以及 Doris等MPP分布式分析引擎;
6、精通Hadoop生態(tài)體系,熟練運用 Flink 實現流批一體化數據處理;
7、對數據治理技術有持續(xù)的熱情,具備良好的溝通能力和團隊協(xié)作精神;
8、具有良好的代碼習慣,遵循編碼規(guī)范、代碼可讀性強等。