一、崗位職責(zé):
(1)設(shè)計(jì)并構(gòu)建基于開源技術(shù)的大數(shù)據(jù)平臺(tái)整體架構(gòu),融合湖倉一體化理念,實(shí)現(xiàn)數(shù)據(jù)的高效存儲(chǔ)與管理,確保平臺(tái)具備高可用性、可擴(kuò)展性和高性能;
(2)主導(dǎo)大數(shù)據(jù)平臺(tái)技術(shù)規(guī)劃、技術(shù)選型、架構(gòu)設(shè)計(jì)、技術(shù)演進(jìn)并保障系統(tǒng)穩(wěn)定以及時(shí)效要求;
(3)主導(dǎo)數(shù)據(jù)平臺(tái)的獨(dú)立研發(fā)工作,負(fù)責(zé)系統(tǒng)架構(gòu)設(shè)計(jì)、技術(shù)選型和開發(fā)指導(dǎo),實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的統(tǒng)一管理、數(shù)據(jù)服務(wù)的高效提供以及數(shù)據(jù)治理的有效實(shí)施;
(4)負(fù)責(zé)大數(shù)據(jù)平臺(tái)的性能優(yōu)化和監(jiān)控,及時(shí)發(fā)現(xiàn)并解決系統(tǒng)性能瓶頸和故障,保障平臺(tái)穩(wěn)定運(yùn)行;
(5)與數(shù)據(jù)團(tuán)隊(duì)、算法團(tuán)隊(duì)、治理團(tuán)隊(duì)、業(yè)務(wù)部門緊密合作,提供技術(shù)指導(dǎo)和支持,確保大數(shù)據(jù)平臺(tái)與業(yè)務(wù)需求緊密結(jié)合,推動(dòng)項(xiàng)目的順利實(shí)施;
二、任職要求:
(1)本科以上學(xué)歷,數(shù)學(xué)、統(tǒng)計(jì)、計(jì)算機(jī)相關(guān)專業(yè)優(yōu)先,5年或以上數(shù)據(jù)平臺(tái)開發(fā)相關(guān)工作經(jīng)驗(yàn);
(2)具備大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)能力,深入了解大數(shù)據(jù)生態(tài)相關(guān)組件,熟悉Hadoop、Flink、Spark、Doris/Starrocks等技術(shù),有大數(shù)據(jù)架構(gòu)搭建相關(guān)經(jīng)驗(yàn)者優(yōu)先;
(3)具備離線與實(shí)時(shí)數(shù)據(jù)倉庫設(shè)計(jì)和開發(fā)經(jīng)驗(yàn),熟練掌握 ETL/ELT 工具和技術(shù);
(4)了解 AI 算法,熟悉數(shù)據(jù)治理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理技術(shù)技術(shù),能夠?yàn)?AI 應(yīng)用提供數(shù)據(jù)支持;
(5)具備良好的系統(tǒng)分析和設(shè)計(jì)能力,能夠解決復(fù)雜的技術(shù)問題;具備優(yōu)秀的團(tuán)隊(duì)協(xié)作和溝通能力,能夠有效推動(dòng)跨部門合作;具備較強(qiáng)的學(xué)習(xí)能力和創(chuàng)新意識(shí),關(guān)注大數(shù)據(jù)技術(shù)發(fā)展趨勢,不斷探索新技術(shù)在公司業(yè)務(wù)中的應(yīng)用;