崗位職責(zé)
1、基于大語(yǔ)言模型構(gòu)建的通用垂類(lèi)應(yīng)用進(jìn)行效果和質(zhì)量評(píng)估。與產(chǎn)研團(tuán)隊(duì)的緊密合作,制定評(píng)估標(biāo)準(zhǔn)和體系,準(zhǔn)確分析評(píng)估效果,為應(yīng)用優(yōu)化提供指導(dǎo),以提升應(yīng)用的性能、用戶(hù)體驗(yàn)和市場(chǎng)競(jìng)爭(zhēng)力
2、應(yīng)用效果與質(zhì)量評(píng)估,評(píng)估基于大語(yǔ)言模型構(gòu)建的通用垂類(lèi)應(yīng)用的效果和質(zhì)量,包括但不限于語(yǔ)言理解準(zhǔn)確性、生成內(nèi)容的合理性/真實(shí)性,邏輯連貫性等方面:參與收集和分析用戶(hù)反饋數(shù)據(jù)和設(shè)計(jì)測(cè)試用例,涵蓋不同場(chǎng)景、用戶(hù)需求和輸入條件,以確保應(yīng)用在各種情況下的穩(wěn)定性和可靠性
3、評(píng)估標(biāo)準(zhǔn)與體系建設(shè),理解業(yè)務(wù)需求和產(chǎn)品目標(biāo),與產(chǎn)研團(tuán)隊(duì)密切溝通和協(xié)作,負(fù)責(zé)制定詳細(xì)、明確的評(píng)估標(biāo)準(zhǔn)和指標(biāo)體系;理解完整評(píng)估流程(評(píng)測(cè)目的、用戶(hù)數(shù)據(jù)分析、評(píng)測(cè)集建設(shè)、評(píng)測(cè)結(jié)果分析),確保評(píng)估數(shù)據(jù)的完整性和可靠性
4、評(píng)估效果分析與報(bào)告,撰寫(xiě)評(píng)估報(bào)告,清晰闡述評(píng)估方法、過(guò)程、結(jié)果和結(jié)論,為產(chǎn)研團(tuán)隊(duì)提供決策依據(jù)和改進(jìn)方向:
5、團(tuán)隊(duì)協(xié)作與溝通
崗位基本需求
1、具有較好的理解能力和文本編輯能力
2、具備大模型評(píng)測(cè)或標(biāo)注相關(guān)經(jīng)驗(yàn)
3、具備責(zé)任心和抗壓能力,能對(duì)評(píng)估數(shù)據(jù)和結(jié)果負(fù)責(zé)
4、擅長(zhǎng)溝通和團(tuán)隊(duì)合作,能夠獨(dú)自推動(dòng)工作
5、視覺(jué)傳達(dá)/藝術(shù)|設(shè)計(jì)類(lèi)專(zhuān)業(yè)或?qū)σ曨l圖片有較高審美者優(yōu)先