職位描述:
1.數(shù)據(jù)清洗與加工:負責從各種數(shù)據(jù)源中提取、清洗和轉(zhuǎn)換數(shù)據(jù),確保數(shù)據(jù)的準確性和一致性。
2.數(shù)據(jù)治理:制定和實施數(shù)據(jù)治理策略,確保數(shù)據(jù)的質(zhì)量、安全性和合規(guī)性。
3.知識庫構(gòu)建:設(shè)計和構(gòu)建本地知識庫,支持數(shù)據(jù)的存儲、檢索和分析。
3.模型訓練:參與機器學習模型的訓練和優(yōu)化,支持數(shù)據(jù)驅(qū)動的決策和自動化流程。
5.工具與技術(shù)棧:熟悉大數(shù)據(jù)處理工具(如Hadoop、Spark)、數(shù)據(jù)庫(如SQL、NoSQL)、數(shù)據(jù)清洗工具(如Pandas、PySpark)以及機器學習框架(如TensorFlow、PyTorch)。
技能要求:
1.編程語言:熟練掌握Python、Scala、Java等編程語言。
2.大數(shù)據(jù)技術(shù):熟悉Hadoop、Spark、Flink等大數(shù)據(jù)處理框架。
3.數(shù)據(jù)庫:熟悉SQL和NoSQL數(shù)據(jù)庫,如MySQL、PostgreSQL、MongoDB等。
4.數(shù)據(jù)清洗與ETL:有豐富的數(shù)據(jù)清洗和ETL(Extract, Transform, Load)經(jīng)驗。
5.機器學習:具備基本的機器學習知識,能夠參與模型的訓練和優(yōu)化。
6.數(shù)據(jù)治理:了解數(shù)據(jù)治理的最佳實踐,熟悉數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)安全等。
7.溝通能力:良好的溝通能力,能夠與業(yè)務(wù)部門和技術(shù)團隊有效協(xié)作。
軟技能:
1.問題解決能力:能夠獨立解決復雜的數(shù)據(jù)問題。
2.團隊合作:能夠在團隊中協(xié)作,推動項目進展。
3.學習能力:對新技術(shù),特別是AI新技術(shù)及工具有強烈的學習興趣,能夠快速掌握和應(yīng)用新工具。
4.會使用Cursor、MarsCode等AI輔助編程工具者,請準備在面試時投屏演示講解;