一、系統(tǒng)簡(jiǎn)介
ErgoLAB面部表情分析系統(tǒng),是一款專業(yè)的面部表情分析與狀態(tài)識(shí)別工具。系統(tǒng)結(jié)合機(jī)器學(xué)習(xí)算法與圖像識(shí)別技術(shù),利用面部肌肉特征點(diǎn)計(jì)算和分類表情狀態(tài),自動(dòng)編碼多種基本表情、精確計(jì)算情感效價(jià),系統(tǒng)可實(shí)時(shí)檢測(cè)被試的頭部位置、面部特征點(diǎn)、視線朝向、基本生物信息等,結(jié)合AI狀態(tài)識(shí)別進(jìn)一步實(shí)現(xiàn)對(duì)操作人員的分心、疲勞、應(yīng)激等狀態(tài)的自動(dòng)識(shí)別以及特定環(huán)境條件下的預(yù)警反饋。
結(jié)合ErgoLAB人機(jī)環(huán)境同步云平臺(tái),系統(tǒng)支持同步采集與分析多個(gè)數(shù)據(jù)源,包括行為視頻、生理數(shù)據(jù)、眼動(dòng)數(shù)據(jù)、腦電數(shù)據(jù)、動(dòng)作捕捉、生物力學(xué)、作業(yè)環(huán)境數(shù)據(jù)等,包含多終端API/TTL實(shí)時(shí)行為編碼與事件標(biāo)記應(yīng)用程序,并提供開(kāi)放數(shù)據(jù)同步接口可供二次開(kāi)發(fā)。
二、系統(tǒng)特點(diǎn)
l 實(shí)時(shí)自動(dòng)編碼7種面部表情狀態(tài),包括高興、悲傷、厭惡、恐懼、驚訝、生氣、參與度。
l 實(shí)時(shí)監(jiān)測(cè)頭部位置坐標(biāo)Head Position,包括翻滾角Roll、偏航角Yaw、俯仰角Pitch。
l 實(shí)時(shí)計(jì)算面部表情程度值,每種以0至100%區(qū)間計(jì)算,以及整體面部肌肉的參與度狀態(tài)。
l 精確識(shí)別個(gè)體情感效價(jià),包括正性、中性、負(fù)性3種情感狀態(tài)及21種微表情數(shù)據(jù)。
l 自動(dòng)計(jì)算個(gè)體的瞳孔距離,識(shí)別眼睛注視方向,監(jiān)測(cè)注意狀態(tài)。
l 實(shí)時(shí)計(jì)算并識(shí)別多個(gè)年齡段狀態(tài),以及個(gè)體屬性信息,如性別、是否佩戴眼鏡。
三、系統(tǒng)功能
1.面部表情自動(dòng)編碼
面部表情自定義處理參數(shù)模塊,包括實(shí)時(shí)處理及離線處理,如數(shù)據(jù)插值、中值濾波、均值濾波等,支持自定義程度閾值、合并閾值、以及大腦加工時(shí)間。
自動(dòng)識(shí)別并編碼七種基本表情,包括高興、悲傷、厭惡、恐懼、驚訝、生氣、參與度,以0至100%區(qū)間計(jì)算表情程度值;
計(jì)算多種微表情數(shù)據(jù),如抬起眉毛內(nèi)角、抬起眉毛外角、皺眉(降低眉毛)、上眼瞼上升、臉頰提升、眼輪匝肌外圈收緊/內(nèi)圈收緊、皺鼻、拉動(dòng)上嘴唇向上運(yùn)動(dòng)、拉動(dòng)人中部位的皮膚向上、拉動(dòng)嘴角傾斜向上、急劇的嘴唇拉動(dòng)、收緊嘴角、拉動(dòng)嘴角向下傾斜、拉動(dòng)下唇向下、推動(dòng)下唇向上、撅嘴、嘴角拉伸、收緊雙唇向外翻、眼睛擴(kuò)大、張嘴等。
2.狀態(tài)識(shí)別與預(yù)警反饋
系統(tǒng)內(nèi)嵌情感效價(jià)計(jì)算模型,精確識(shí)別積極、中性、消極情感,客觀評(píng)價(jià)個(gè)體情緒狀態(tài),與多模態(tài)數(shù)據(jù)形成客觀有效的印證關(guān)系;
系統(tǒng)能夠自動(dòng)檢測(cè)實(shí)時(shí)跟蹤操作人員頭部朝向,包括俯仰角、偏航角、翻滾角,并測(cè)定注視方向,計(jì)算瞳孔間距以及注意狀態(tài)檢測(cè);
結(jié)合人工智能與機(jī)器學(xué)習(xí)算法,進(jìn)一步實(shí)現(xiàn)對(duì)操作人員的分心、疲勞、應(yīng)激等狀態(tài)的自動(dòng)識(shí)別以及特定環(huán)境條件下的預(yù)警反饋。
3.面部表情分析與統(tǒng)計(jì)
實(shí)時(shí)可視化的表情編碼:系統(tǒng)實(shí)時(shí)計(jì)算操作人員的表情狀態(tài)與情緒效價(jià),在實(shí)驗(yàn)過(guò)程中,主試可實(shí)時(shí)查看與監(jiān)測(cè)操作人員的表情程度與情緒變化,并做出相應(yīng)的任務(wù)調(diào)整與行為預(yù)警。
自動(dòng)統(tǒng)計(jì)面部表情數(shù)據(jù):包括每種面部表情的開(kāi)始時(shí)間、結(jié)束時(shí)間、第一次發(fā)生的時(shí)間、總發(fā)生次數(shù)、頻率、每次發(fā)生的時(shí)間、總的持續(xù)時(shí)間、總的持續(xù)時(shí)間在全部觀察時(shí)間中所占的百分比、短的持續(xù)時(shí)間、長(zhǎng)的持續(xù)時(shí)間、平均持續(xù)時(shí)間、持續(xù)時(shí)間的標(biāo)準(zhǔn)差、持續(xù)時(shí)間間隔置信區(qū)間等數(shù)據(jù)。
4.多維度數(shù)據(jù)統(tǒng)計(jì)與二次開(kāi)發(fā)
多維度數(shù)據(jù)交叉統(tǒng)計(jì):系統(tǒng)支持面部表情數(shù)據(jù)與其他多模態(tài)數(shù)據(jù)(眼動(dòng)、腦電、生理、動(dòng)補(bǔ)、行為等)的同步交叉分析,多個(gè)數(shù)據(jù)源在同一平臺(tái)界面呈現(xiàn),在采集的同時(shí)間軸數(shù)據(jù)里選擇相應(yīng)的時(shí)間片段,可同步觀察和統(tǒng)計(jì)分析所有數(shù)據(jù)流之間的相關(guān)關(guān)系;
具有API開(kāi)發(fā)接口:面部表情原始數(shù)據(jù)與狀態(tài)分析結(jié)果可以被其他程序?qū)崟r(shí)訪問(wèn),可使其它程序?qū)Ρ辉囌叩那榫w進(jìn)行反饋。
四、廠家介紹
北京津發(fā)科技股份有限公司是、科技部認(rèn)定的科技型中小企業(yè)和中關(guān)村,具備自主進(jìn)出口經(jīng)營(yíng)權(quán);自主研發(fā)的人因工程與工效學(xué)相關(guān)技術(shù)、產(chǎn)品與服務(wù)榮獲多項(xiàng)省部級(jí)科學(xué)技術(shù)獎(jiǎng)勵(lì)、國(guó)家發(fā)明zhuanli、國(guó)家軟件著作權(quán)和省部級(jí)新技術(shù)新產(chǎn)品(服務(wù))認(rèn)證;通過(guò)了歐洲 CE、美國(guó) FCC、歐盟 RoHS、ISO9001、ISO14001、OHSAS18001 等多項(xiàng)認(rèn)證和國(guó)家防爆認(rèn)證。
津發(fā)科技設(shè)立人因工程專業(yè)的學(xué)術(shù)科研團(tuán)隊(duì)、技術(shù)團(tuán)隊(duì)及研發(fā)團(tuán)隊(duì),并通過(guò)多年與科研機(jī)構(gòu)及高校的產(chǎn)學(xué)研合作,積累了人因與工效學(xué)領(lǐng)域多項(xiàng)核心技術(shù),以及基于機(jī)器學(xué)習(xí)等人工智能算法的狀態(tài)識(shí)別和人機(jī)工效評(píng)價(jià)技術(shù)與研究方法等,是國(guó)內(nèi)的人因工程技術(shù)創(chuàng)新中心!津發(fā)科技的實(shí)驗(yàn)室規(guī)劃建設(shè)技術(shù)團(tuán)隊(duì)提供售后服務(wù),從實(shí)驗(yàn)室建設(shè)的規(guī)劃與布局,到設(shè)備的培訓(xùn)與指導(dǎo),多角度的進(jìn)行實(shí)驗(yàn)室建設(shè)的全生命周期的服務(wù)。