廣州熱線

不知你有沒有看過美劇《別對我說謊》，故事的主人公通過觀察人的面部表情和身體動(dòng)作探測人們是否在說謊。這個(gè)故事的靈感來源于美國心理學(xué)家保羅·艾克曼的真實(shí)研究。保羅·艾克曼研究發(fā)現(xiàn)，不同文化的面部基本情緒(快樂、悲傷、憤怒、厭惡、驚訝和恐懼)都有共通性。表情比言語更真實(shí)，如果我們能探索一條化抽象情緒為可視數(shù)據(jù)的道路，就有機(jī)會為各行各業(yè)帶來全新的解決方案。

情緒智能識別在國內(nèi)還是個(gè)比較新的概念，2017年，我們在深入了解微軟人臉識別和情緒識別API后，才有了將這項(xiàng)技術(shù)落地的信心和決心，并先后在新零售和幼教行業(yè)推出了情緒智能識別SaaS解決方案。在討論技術(shù)落地之前，讓我先來分享一下為什么情緒智能識別能夠高效地解決問題。

情緒智能識別的價(jià)值

情緒智能識別不僅是一門技術(shù)，更是一種管理思維——把抽象、微妙的體驗(yàn)數(shù)據(jù)化為管理依據(jù)，將業(yè)務(wù)需求與客戶反饋緊密地結(jié)合在一起。

如何評估商場的服務(wù)、招商或經(jīng)營策略的表現(xiàn)?商家傳統(tǒng)的做法是發(fā)放大量調(diào)查問卷，這樣做往往成本高、偏差大;我們的做法是在商場的出入口安裝(或升級)雙向攝像頭，檢測大量顧客出入商場的“歡笑率”差值，比如，顧客來時(shí)的“歡笑率”為7%，離開時(shí)僅有4%，期待未滿足的原因有可能是商場管理，也可能是其他問題(比如兩口子吵架，打車體驗(yàn)不佳等)，無論是什么原因，客觀數(shù)據(jù)擺在這里，商場一旦及時(shí)改變策略或手段，就有機(jī)會提高魅力指數(shù)。相比之下，統(tǒng)計(jì)大量單次購買的行為數(shù)據(jù)沒有規(guī)律可循，成本也很高昂。此外，我們利用面部智能計(jì)算的零售商戶客流動(dòng)線，冷熱區(qū)分析也首次以最高精度呈現(xiàn)了客流動(dòng)態(tài)的多樣化規(guī)律，可以為招商需求評估提供真正的大數(shù)據(jù)評估支持。

多年前，招商銀行曾在柜員服務(wù)上創(chuàng)新，邀請客戶通過按鍵反饋服務(wù)體驗(yàn)(通常包括非常不滿意，不滿意，滿意，非常滿意四個(gè)按鈕)，后來成為行業(yè)通行的方法后，這一反饋機(jī)制的效果卻失真了——因?yàn)榇蠖鄶?shù)客戶出于人情按了“非常滿意”鍵?，F(xiàn)在，看到了我們的情緒智能識別技術(shù)，招商銀行非常敏銳地與我們探討在柜臺自動(dòng)檢測客戶的體驗(yàn)，以及在在等待多少分鐘時(shí)出現(xiàn)了不適感，從而隨機(jī)應(yīng)變，比如請客戶經(jīng)理緩和一下氣氛等。又比如，非常重視消費(fèi)者體驗(yàn)的麥當(dāng)勞，采用自助點(diǎn)單觸屏對顧客進(jìn)行分流，卻發(fā)現(xiàn)仍有痛點(diǎn)沒有解決，比如，四個(gè)人在一起點(diǎn)餐，往往花費(fèi)很長時(shí)間才能商量出結(jié)果，這對于排在自助點(diǎn)菜隊(duì)的顧客簡直是“災(zāi)難”。而如果我們的情緒智能識別技術(shù)，麥當(dāng)勞可以在“災(zāi)難”跡象出現(xiàn)時(shí)，及時(shí)請門店人員提前解決。

類似的例子還有，如果有一套系統(tǒng)可以在聽眾大規(guī)模分神、玩手機(jī)、甚至打盹時(shí)提醒一下演講人，演講人就可以實(shí)時(shí)調(diào)整氣氛，提高演講效果。比如，中國科技館為小朋友設(shè)計(jì)了物理、化學(xué)等演示實(shí)驗(yàn)，通過我們的情緒智能技術(shù)收集體驗(yàn)數(shù)據(jù)，中國科技館能夠不斷調(diào)整講解與互動(dòng)方式，引導(dǎo)孩子們聚精會神地聽講。

情緒智能識別在幼教行業(yè)的全新嘗試

我們在新零售賽道上有所沉淀后，決心拓展一個(gè)新領(lǐng)域——幼教行業(yè)，希望通過足夠多的樣本量，找到幼兒情緒、課程效果、教師引導(dǎo)等因素之間的關(guān)聯(lián)，探尋出一條標(biāo)準(zhǔn)化的評判機(jī)制，幫助孩子安全、快樂地成長。

外界環(huán)境變化對于孩子的心理影響非常明顯。有一次，我們?yōu)橐粋€(gè)幼兒園班級測試教學(xué)效果，三個(gè)身強(qiáng)體壯的陌生男士因?yàn)樵谟變簣@里臨時(shí)參觀而突然出現(xiàn)在孩子面前，系統(tǒng)即刻檢測到大部分孩子出現(xiàn)了恐懼情緒。通過我們每天1000次以上的情緒掃描，我們能為每個(gè)孩子建立個(gè)人的情緒檔案，每當(dāng)情緒嚴(yán)重波動(dòng)時(shí)，系統(tǒng)就自動(dòng)為幼兒園管理者報(bào)警，幫助幼兒園管理員及時(shí)排查隱患;2016年《中國兒童發(fā)展綱要(2011-2020年)》統(tǒng)計(jì)監(jiān)測報(bào)告顯示，截止到2016年，全國共有2080所特殊教育學(xué)校，這些學(xué)校聚集了患有智力障礙、癲癇癥、自閉癥的孩子，我們也在努力測試使用情緒智能識別系統(tǒng)及時(shí)識別這些孩子發(fā)病的危險(xiǎn)信號，比如笑容對于癲癇病患者是非常危險(xiǎn)的。

很多家長在選擇興趣班時(shí)很困惑，因?yàn)樗麄儾恢篮⒆诱嬲矚g什么。有一位家長曾根據(jù)主觀經(jīng)驗(yàn)給兒子報(bào)了繪畫班，一年后，孩子偶然試聽了聲樂班，才興高采烈地表明自己喜歡唱歌。這個(gè)故事啟發(fā)我們，孩子的天賦和興趣需要挖掘，如果能夠通過長期追蹤興趣數(shù)據(jù)形成標(biāo)準(zhǔn)，這樣的數(shù)據(jù)可以指導(dǎo)家長和老師因材施教，幫助孩子走向適合的軌道。

情緒識別還能幫助園長們更有效地激勵(lì)員工。過去由于缺乏清晰的評價(jià)機(jī)制，幼兒園在給教師發(fā)獎(jiǎng)金時(shí)也經(jīng)常無從下手。園長們通常從哪個(gè)班級投訴事件少，哪個(gè)老師更溫柔等主觀因素去判斷績效，結(jié)果往往不夠客觀真實(shí)。通過在教室里安裝雙向攝像頭，我們能夠分別統(tǒng)計(jì)出教師和孩子的“歡笑率”，我們還計(jì)劃與微軟亞洲研究院合作，不但提高兒童情緒的識別精度，而且計(jì)劃增加微軟認(rèn)知服務(wù)中的“聲音智能識別”，以聲音數(shù)據(jù)(具體教學(xué)場景下的教學(xué)點(diǎn))配合情緒數(shù)據(jù)幫助幼兒園客觀評價(jià)擁有不同教學(xué)水平和理念的教師對孩子的實(shí)際影響。

從情緒智能識別技術(shù)到新場景

蜜棗網(wǎng)本質(zhì)上是一家數(shù)據(jù)公司，通過對數(shù)據(jù)的分析與挖掘，來尋找行業(yè)規(guī)律，解決實(shí)際應(yīng)用挑戰(zhàn)，從而為行業(yè)管理者提供決策輔助，進(jìn)一步提升管理運(yùn)營效率。

我們在與線下零售商合作時(shí)，發(fā)現(xiàn)一個(gè)巨大挑戰(zhàn)是線下數(shù)據(jù)的維度比較少。比如在線下購物場景里，消費(fèi)者的體驗(yàn)包含了產(chǎn)品、環(huán)境、服務(wù)與自身需求之間多個(gè)要素之間的互動(dòng)關(guān)系，而在傳統(tǒng)技術(shù)下，這些場景數(shù)據(jù)是無法獲取，更無從分析了。

而且，從商業(yè)的本質(zhì)來說，技術(shù)要解決現(xiàn)實(shí)挑戰(zhàn)，不僅要技術(shù)創(chuàng)新，而且還要考慮實(shí)施成本，因此，從創(chuàng)業(yè)開始，我們就同時(shí)關(guān)注技術(shù)的橫向和縱向發(fā)展。云平臺是一個(gè)重大的技術(shù)突破，它所提供的部署能力，計(jì)算能力，以及在業(yè)務(wù)靈活性方面的巨大優(yōu)勢讓我們從一開始就使用了SaaS平臺來為多個(gè)客戶實(shí)現(xiàn)業(yè)務(wù)部署。同時(shí)，我們也關(guān)注機(jī)器學(xué)習(xí)、人工智能等縱向技術(shù)，因?yàn)樵诮鉀Q一些計(jì)算能力要求非常高的場景里，這些技術(shù)將提供強(qiáng)大的計(jì)算能力并實(shí)現(xiàn)突破性的結(jié)果。

因此，我們一直關(guān)注著技術(shù)領(lǐng)域里的動(dòng)態(tài)，并隨時(shí)檢測創(chuàng)新技術(shù)對我們業(yè)務(wù)的提升可能。蜜棗網(wǎng)從2015年就可以關(guān)注機(jī)器學(xué)習(xí)，而到2017年，面部及情緒智能進(jìn)入了我們的視野。在全球，只有包括微軟在內(nèi)的2-3家公司同時(shí)具備平臺寬度和技術(shù)深度，這與蜜棗網(wǎng)在實(shí)際應(yīng)用中解決問題所需要的技術(shù)研發(fā)、業(yè)務(wù)管理、分析服務(wù)的支持非常吻合。

同時(shí)，不管是線下零售業(yè)還是幼教領(lǐng)域，都需要通過硬件設(shè)備獲取信息，分析有效信息，提供云端SaaS服務(wù)。硬件設(shè)備獲取的信息將存儲在云端，通過智能識別，為客戶提供分析和增值服務(wù)，這些服務(wù)使用云平臺將極大地節(jié)省存儲，計(jì)算以及部署的成本。

而為實(shí)現(xiàn)在實(shí)際應(yīng)用中獲取體驗(yàn)數(shù)據(jù)的要求，需要研發(fā)基礎(chǔ)的人臉識別算法，實(shí)現(xiàn)對原始數(shù)據(jù)的分析?；A(chǔ)算法需要大量的原始數(shù)據(jù)積累，設(shè)計(jì)合理的算法，測試算法的通用性，收集數(shù)據(jù)和研發(fā)測試的周期較長，實(shí)現(xiàn)難度高。此外，研發(fā)人員自身設(shè)計(jì)架構(gòu)以實(shí)現(xiàn)服務(wù)的穩(wěn)定運(yùn)行，保證系統(tǒng)的可靠性，工作較為繁瑣。

隨后，通過調(diào)研多家平臺，我們選擇了Azure。微軟的優(yōu)勢在于依靠深厚的積累，能提供充足的技術(shù)支持和安全保障。例如，微軟很早就在人工智能領(lǐng)域進(jìn)行了研究與應(yīng)用，并提供認(rèn)知服務(wù)，針對影像、語言、語音等方面進(jìn)行分析。在微軟提供的豐富基礎(chǔ)技術(shù)中，我們總能找到合適的技術(shù)，加快研發(fā)進(jìn)程，提高應(yīng)用效果。

在Azure眾多的存儲方式中，我們選擇了Azure的Blob存儲，這種存儲方式在存儲圖片時(shí)顯示出了其強(qiáng)大的實(shí)力.首先，它內(nèi)置了多種語言的操作API，支持包括python，php，java等主流語言，我們可以很方便的調(diào)用其API接口，實(shí)現(xiàn)對Blob存儲的增加刪除等操作;Azure的Blob存儲也可以通過URL來進(jìn)行訪問，Azure會為存儲在Blob上的文件分配一個(gè)外部能夠訪問到的URL，通過使用這個(gè)URL，我們可以很方便地將圖片在頁面上展示出來;Blob存儲也支持多種配置參數(shù)，可以選擇合適的復(fù)制存儲策略保證數(shù)據(jù)的持續(xù)性與高可用性，也可以根據(jù)訪問數(shù)據(jù)的頻次進(jìn)行冷熱訪問層的選擇等。通過使用Azure的Blob存儲服務(wù)，我們構(gòu)建了具有高可用性，成本低廉的圖片存儲服務(wù)，為后續(xù)的圖片識別展示等操作提供了堅(jiān)實(shí)的基礎(chǔ);此外，Blob服務(wù)比磁盤等本地存儲的成本低90%，所以對于商業(yè)用戶來說也是最佳性價(jià)比的選擇。

通過Azure提供的認(rèn)知服務(wù)，我們能夠?qū)崿F(xiàn)快速分析影像數(shù)據(jù)，將其解析為結(jié)構(gòu)化數(shù)據(jù)，為進(jìn)一步實(shí)現(xiàn)與應(yīng)用場景結(jié)合的情景分析奠定了基礎(chǔ)。經(jīng)過我們在多個(gè)場景的測試，Azure認(rèn)知服務(wù)的人臉識別和情緒識別技術(shù)，準(zhǔn)確性和通用性都滿足了我們對于基礎(chǔ)算法的需求。

人臉識別技術(shù)在真實(shí)零售場景里的挑戰(zhàn)很多，比如光線條件對識別精度的影響，穿戴遮擋對識別精度的影響，微軟加速器通過幫助我們對接微軟亞洲研究院的專家，都找到了很好的解決方法。

我們通過調(diào)用Azure的認(rèn)知服務(wù)對所有有效基礎(chǔ)數(shù)據(jù)進(jìn)行分析，最后將分析結(jié)果結(jié)合實(shí)際應(yīng)用情景相關(guān)的歸因算法，設(shè)計(jì)并滿足了實(shí)際應(yīng)用服務(wù)的需求。Azure的認(rèn)知服務(wù)部署簡單，測試方便，幫助我們極大地節(jié)省了對基礎(chǔ)算法的數(shù)據(jù)積累和算法研發(fā)的時(shí)間和成本，使得我們可以把更多的精力集中到將認(rèn)知技術(shù)與實(shí)際應(yīng)用相結(jié)合的算法和應(yīng)用中，可以快速推進(jìn)實(shí)際應(yīng)用的部署和實(shí)現(xiàn)，如線下零售業(yè)的客流體驗(yàn)分析系統(tǒng)和幼教領(lǐng)域的安全成長管理系統(tǒng)。

在線下零售業(yè)，我們通過Azure的認(rèn)知服務(wù)對消費(fèi)者屬性(如性別、年齡、情緒等)進(jìn)行分析，結(jié)合實(shí)際購物體驗(yàn)場景，有效分析客流動(dòng)態(tài)，及時(shí)反饋客戶滿意度，對異常情況做出警示，開創(chuàng)性地在業(yè)內(nèi)第一次實(shí)現(xiàn)了消費(fèi)者動(dòng)線的捕捉，并提供更多維度的分析包括冷熱區(qū)及停留分析等等業(yè)界創(chuàng)新技術(shù)。

在幼教領(lǐng)域Azure的面部和情緒認(rèn)知服務(wù)幫助我們識別每個(gè)兒童的身份和情緒，結(jié)合我們對課程內(nèi)容及教學(xué)方法的數(shù)據(jù)分析，開創(chuàng)了幼教領(lǐng)域第一個(gè)對教學(xué)效果和學(xué)生興趣進(jìn)行分析的全新算法。這些計(jì)算結(jié)果結(jié)合Azure的云端部署，可以輕松簡單地在手機(jī)及移動(dòng)端為家長提供孩子的成長檔案，并為老師改進(jìn)課程提高學(xué)生興趣提供更有效的幫助，未來我們還將加入Azure認(rèn)知服務(wù)中的語音語義識別技術(shù)，從更多維度理解兒童成長與教師教學(xué)之間的互動(dòng)效果，從而持續(xù)利用人工智能技術(shù)推動(dòng)兒童教育的發(fā)展。

當(dāng)然，在創(chuàng)新技術(shù)的應(yīng)用中，各種挑戰(zhàn)層出不窮，比如兒童的面部識別精度就比成人要低很多，同時(shí)，兒童的表情也非常豐富，有時(shí)人工智能并不能像老師一樣讀懂孩子的心。因此，我們也需要不斷與面部智能的專家深入應(yīng)用場景來探討解決困難。微軟亞洲研究院與微軟加速器不僅關(guān)注技術(shù)研發(fā)，也積極扶持創(chuàng)業(yè)企業(yè)。我們在與微軟亞洲研究院的探討中也得到了非常多的認(rèn)知技術(shù)幫助，并且有機(jī)會使用最新的認(rèn)知智能技術(shù)來為零售和幼教領(lǐng)域的工作者提供幫助。這不僅是對技術(shù)發(fā)展的支持與創(chuàng)新，更是對社會回饋的最佳方式。

最近，我讀了一本叫做《集裝箱改變世界》的書：海運(yùn)運(yùn)輸本來沒有標(biāo)準(zhǔn)化流程，是由互不相連的段落組成的，而且貨物是散裝的。后來，美國公路貨運(yùn)公司的一位CEO馬爾科姆·麥克萊恩作為海運(yùn)行業(yè)的外來者，憑借前瞻的視野，創(chuàng)新的技術(shù)以及堅(jiān)韌的努力，克服了無數(shù)重大挑戰(zhàn)而于1956年研制發(fā)明的集裝箱，成為了整個(gè)運(yùn)輸業(yè)的標(biāo)準(zhǔn)化工具，為全球運(yùn)輸業(yè)，乃至全球經(jīng)濟(jì)都帶來了巨大的進(jìn)步。我們相信，AI技術(shù)也有如此潛能，它不會取代人，而是幫助人類更好地解決問題：即使是經(jīng)驗(yàn)豐富的教師，也無法在一瞬間識別班上60多個(gè)孩子的喜怒哀樂，而AI能夠“不知疲倦”地識別視野范圍內(nèi)每個(gè)孩子的情緒。人的智慧經(jīng)驗(yàn)結(jié)合AI的計(jì)算力，可以幫助幼教行業(yè)成就更多，哪怕我們一開始只能觸及全國1%的幼教市場，我們也能幫助到45萬幼兒接受更好地教育，更加快樂的成長，在未來依靠自己的天賦幸福生活，這就是我們前進(jìn)的動(dòng)力。