職位描述
Python數(shù)據(jù)清洗云計算/大數(shù)據(jù)計算機軟件
崗位職責：
1. 負責互聯(lián)網(wǎng)數(shù)據(jù)的定向抓取、清洗與結(jié)構(gòu)化；
2. 設(shè)計和實現(xiàn)數(shù)據(jù)清洗流程，協(xié)助產(chǎn)品及業(yè)務(wù)完成數(shù)據(jù)融合等數(shù)據(jù)集成工作；
2. 搭建高效穩(wěn)定的數(shù)據(jù)采集系統(tǒng)與調(diào)度框架；
3. 對反爬機制進行識別、規(guī)避及應(yīng)對；
4. 定期維護爬蟲策略，確保數(shù)據(jù)持續(xù)可用；
1. 負責互聯(lián)網(wǎng)數(shù)據(jù)的定向抓取、清洗與結(jié)構(gòu)化；
2. 設(shè)計和實現(xiàn)數(shù)據(jù)清洗流程，協(xié)助產(chǎn)品及業(yè)務(wù)完成數(shù)據(jù)融合等數(shù)據(jù)集成工作；
2. 搭建高效穩(wěn)定的數(shù)據(jù)采集系統(tǒng)與調(diào)度框架；
3. 對反爬機制進行識別、規(guī)避及應(yīng)對；
4. 定期維護爬蟲策略，確保數(shù)據(jù)持續(xù)可用；
崗位要求：
? 精通 Python、Java；
? 精通 SQL 、Scala；
? 熟悉 常用 ETL 工具、Spark、Flink
? 熟悉網(wǎng)頁結(jié)構(gòu)（HTML/DOM/XPath/Regex）；
? 熟悉代理IP、Cookies管理、Header偽裝、驗證碼識別等反爬機制；
? 具備良好的代碼結(jié)構(gòu)意識和日志監(jiān)控能力；
? 有大型網(wǎng)站（如港交所、雪球、EDGAR、天眼查等）實戰(zhàn)抓取經(jīng)驗優(yōu)先；
? 具備 異步爬蟲 / 多線程 / 分布式爬蟲開發(fā)經(jīng)驗者優(yōu)先；
? 熟悉 MySQL/MongoDB/Elasticsearch 等任一存儲技術(shù)。
特殊：
要求3年以上采集/清洗工作實際經(jīng)驗。
要求工作上細致，有自主分析問題，解決問題的能力
? 精通 Python、Java；
? 精通 SQL 、Scala；
? 熟悉 常用 ETL 工具、Spark、Flink
? 熟悉網(wǎng)頁結(jié)構(gòu)（HTML/DOM/XPath/Regex）；
? 熟悉代理IP、Cookies管理、Header偽裝、驗證碼識別等反爬機制；
? 具備良好的代碼結(jié)構(gòu)意識和日志監(jiān)控能力；
? 有大型網(wǎng)站（如港交所、雪球、EDGAR、天眼查等）實戰(zhàn)抓取經(jīng)驗優(yōu)先；
? 具備 異步爬蟲 / 多線程 / 分布式爬蟲開發(fā)經(jīng)驗者優(yōu)先；
? 熟悉 MySQL/MongoDB/Elasticsearch 等任一存儲技術(shù)。
特殊：
要求3年以上采集/清洗工作實際經(jīng)驗。
要求工作上細致，有自主分析問題，解決問題的能力
查看全部
工作地點
大連甘井子區(qū)創(chuàng)業(yè)大廈火炬路32號
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
杜瑞波/人事
三日內(nèi)活躍立即溝通
大連暢想云科技有限公司
大連暢想云科技有限公司是一家以軟件產(chǎn)品研發(fā)、軟件外包、硬件產(chǎn)品研發(fā)，計算機網(wǎng)絡(luò)系統(tǒng)集成、網(wǎng)絡(luò)安全服務(wù)等為主的高新技術(shù)企業(yè)。公司一直致力于建設(shè)一支團結(jié)、富有理想和激情的團隊，追求創(chuàng)新進取的精神和蓬勃向上的朝氣。我們的價值觀是奮斗為本、成就客戶、創(chuàng)造分享、共同成長！
公司主頁