廣州熱線

老師提個(gè)問題,小朋友們一起喊出答案,這是學(xué)校課堂的景象。1月27日開始,這個(gè)場景也會(huì)在線上課堂呈現(xiàn)了。

在作業(yè)幫小組直播間上課的同學(xué),從這一天開始,可以聽到同組同學(xué)的發(fā)言。而老師也能聽到小朋友們的“發(fā)言實(shí)況”。

它模擬的,正是線下課堂的互動(dòng)氛圍。

作業(yè)幫小學(xué)產(chǎn)品負(fù)責(zé)人曹越說,希望能讓小朋友們有線下上課的感受:有小伙伴一起學(xué)習(xí),有老師關(guān)注著你。

模擬這樣的氛圍,不是件容易的事。僅就“聽到彼此”這個(gè)集體發(fā)言功能的升級版,大家就努力了幾個(gè)月。程序員們還加班加點(diǎn),進(jìn)行了技術(shù)攻堅(jiān)。

而這只是作業(yè)幫借助AI技術(shù),增強(qiáng)課堂趣味性的一個(gè)最新功能。

技術(shù)服務(wù)于教育需求。僅小學(xué)課堂,在2020年推出小組直播間后,就怎么增強(qiáng)小組體驗(yàn),怎么更靠近真實(shí)課堂等方面,不同的AI功能被開發(fā)上線。

對于很多地區(qū)的小學(xué)生和他們的家長,AI可能還是個(gè)比較遙遠(yuǎn)的名詞,不過小朋友們課堂上喜歡的“比心”、“彈幕”,以及他們現(xiàn)在能聽到小伙伴的聲音,依托的都是AI功能。

“有趣,有方法?！辈茉秸f,這是小學(xué)產(chǎn)品理念。讓在線課堂有趣,培養(yǎng)孩子們的學(xué)習(xí)習(xí)慣、學(xué)習(xí)方法。

在小學(xué)產(chǎn)品經(jīng)理聶靖騏看來,對于孩子們,尤其對于小學(xué)低年級的孩子,課堂有趣很重要,“他覺得有意思才可能去理解它”。

老師,我還舉著手呢

“我們想,能不能在大班的模式下,盡可能給用戶更好的體驗(yàn)?！?月25日,作業(yè)幫小學(xué)產(chǎn)品負(fù)責(zé)人曹越說,隨著早先大班直播課的發(fā)展,一個(gè)老師可能面對太多學(xué)生。學(xué)生可能會(huì)感覺老師關(guān)注不到自己,從而不好好聽課,尤其是小朋友。

為增強(qiáng)學(xué)生更偏個(gè)人的體驗(yàn),以及學(xué)習(xí)了現(xiàn)實(shí)課堂的分組教學(xué),曹越他們打造了大班課小組直播間模式。

2020年1月,作業(yè)幫小學(xué)課程直播模式升級。登錄后,小朋友們會(huì)發(fā)現(xiàn)自己有了小組。每6個(gè)學(xué)生一組,每6組形成一個(gè)班。

與小組直播間一起上線的,還有雙向視頻。以前直播只有孩子們能看到老師,這次升級后,老師也能看到孩子們了。

從老師一端,可以隨時(shí)翻動(dòng)屏幕,看到不同小朋友的狀態(tài)。

跟隨觀察新功能、新產(chǎn)品的使用,是產(chǎn)品經(jīng)理們的日常。曹越說,觀察課堂,會(huì)發(fā)現(xiàn)老師和孩子們的互動(dòng)是很多的。尤其雙向視頻打開后,老師可能提醒孩子坐好,或者告訴小朋友大家很棒,給自己點(diǎn)個(gè)贊。而曹越他們也很快注意到了一個(gè)問題。

“孩子點(diǎn)贊之后,老師沒說把手放下去,孩子可能都不會(huì)把手放下去?！辈茉秸f,孩子做完一個(gè)動(dòng)作,他很難知道老師有沒有看到。也就是,缺乏反饋。

但一個(gè)老師可能同時(shí)面對成千上萬個(gè)學(xué)生。這樣的場景,AI是不是可以幫一下老師?

小組直播間上線后,小組、小班的感覺增強(qiáng)了,怎樣增強(qiáng)互動(dòng)性,怎樣更好地激發(fā)學(xué)習(xí)興趣?

“我們想在直播間里,再做一些更好玩兒、更有趣的東西。”聶靖騏說。

如果感到幸福,你就比個(gè)心

“我們希望那些常見的手勢,可以被機(jī)器識(shí)別出來,系統(tǒng)可以給一些反饋?！辈茉浇榻B,手勢識(shí)別這個(gè)功能,初衷是及時(shí)給孩子們反饋,增強(qiáng)課堂互動(dòng)性。

“當(dāng)時(shí)也具備了這樣的AI能力,”聶靖騏說,小組直播間上線后,大家也希望能利用好AI,做一些有意思的事。

幾個(gè)月后,大約2020年四五月份的時(shí)候,產(chǎn)品和技術(shù)部門討論,確定了要做手勢識(shí)別。

首先去識(shí)別孩子們最常用的一系列手勢,比如比心,點(diǎn)贊,ok等。

問題隨之而來:孩子們來自全國各地,他們打手勢的方法可能很不一樣。例如比心,有這樣比的,有那樣比的;有單手的,還有雙手的。

“最早定義手勢比較難。怎么樣去定義一些更通用、更簡潔的手勢。比如說比心這個(gè)事,每個(gè)人都不一樣,但是技術(shù)不可能包容所有?！弊鳂I(yè)幫智能技術(shù)實(shí)驗(yàn)室負(fù)責(zé)人王巖介紹。從技術(shù)上,最終的目的,是要保證大家的理解是一致的。

手勢識(shí)別,簡單說,就是讓機(jī)器“看”到屏幕前一個(gè)小朋友的一個(gè)動(dòng)作,它要認(rèn)識(shí),要給出回應(yīng)。

要讓機(jī)器去認(rèn)識(shí)手勢,先要告訴它某個(gè)手勢是什么意思。

先要收集手勢。主講老師向小朋友們發(fā)起了手勢征集,征集來幾千個(gè)小朋友比手勢的圖片。

王巖介紹,當(dāng)時(shí),工程師們還給自己寫了個(gè)小程序,團(tuán)隊(duì)的工程師假裝是小朋友在上課,去比劃手勢。

收集同一手勢的不同圖片。去掉不多見的手勢,留下常見的,做成模型,然后訓(xùn)練機(jī)器去識(shí)別。

幾個(gè)月后,2020年暑假課程,第一版手勢識(shí)別上線了。

這個(gè)功能很快就俘獲了小朋友們的心。

在暑期課后的問卷調(diào)查中,9000多名參與的學(xué)生,約94的孩子表示非常喜歡。

他們最喜歡和最常用的,是比心,點(diǎn)贊和Ok。積極而向上。

同學(xué)你去哪兒了,回來上課

依然是從2020年暑假課程開始,細(xì)心的小朋友會(huì)注意到,眼前的屏幕變得非?？?它不僅“認(rèn)識(shí)”自己做的動(dòng)作,還能“注意”到自己有沒有好好聽課,乃至能“看”到自己離屏幕有多遠(yuǎn)。

如果沒好好聽課,就可能會(huì)收到輔導(dǎo)老師的信息提醒,或者媽媽會(huì)接到老師電話。

好有意思。

“家長負(fù)擔(dān)很重,還要陪著孩子上課。而如果是線下,我交給老師,老師幫我看著?！辈茉秸f,利用AI技術(shù),賦能在線課堂,可以給老師們提供很多利器,甚至輔導(dǎo)老師能幫家長看著孩子。

這些利器中,最顯著的一個(gè)是孩子們的專注力檢測。

也就是,利用AI去判斷孩子們有沒有認(rèn)真上課。

“就是AI會(huì)幫我們輔導(dǎo)老師篩選出來:要關(guān)注這10個(gè)孩子,他們現(xiàn)在的專注力已經(jīng)很低了。”曹越舉例,這時(shí)候,輔導(dǎo)老師就會(huì)去重點(diǎn)看一下這10個(gè)孩子。?

這個(gè)功能,技術(shù)上其實(shí)很難。

“比如他有可能發(fā)呆,但是畫面跟沉思沒有什么太大區(qū)別。”王巖介紹,專注力有很多維度,怎么去定義它,本身就很難。

“這個(gè)東西很主觀,什么樣是專注?”曹越說,比如你可以說不正視屏幕是不專注,但這個(gè)孩子他可能低頭記筆記。他說,就怎么定義專注力,他們做了非常多的“細(xì)維度拆解”。

聶靖騏介紹,剛開始時(shí),很多情形下機(jī)器可能判斷不準(zhǔn)。比如孩子上課的環(huán)境,燈光比較暗,機(jī)器“看”不到,它可能認(rèn)為你離席了。

離席檢測是與專注力一體的一個(gè)功能。目的都是關(guān)注孩子的上課狀態(tài)。

“線下,有老師的參與。但線上,如果家里沒有其它人,小朋友自覺性可能會(huì)比較差,離席檢測相當(dāng)于監(jiān)督他的手段。同時(shí)也讓小朋友覺得更有意思,更自覺。”作業(yè)幫視覺實(shí)驗(yàn)室程序員楊森介紹。

功能很酷,但是不是準(zhǔn)確更重要。系統(tǒng)多一次錯(cuò)誤,老師就會(huì)多浪費(fèi)一次時(shí)間,孩子也會(huì)被打擾到一次。

王巖說,開始的時(shí)候,離席檢測準(zhǔn)確率不夠高,他們就去重點(diǎn)優(yōu)化。大家把幾個(gè)問題嚴(yán)重的異常case梳理出來,針對性的分析解讀,把準(zhǔn)確率提高到了90。

除了判斷孩子是否專注,機(jī)器還能夠判斷孩子是否距離屏幕太近。

如果發(fā)現(xiàn)小朋友離屏幕太近,系統(tǒng)就會(huì)彈出一個(gè)氣泡來提醒。聶靖騏說,這中間有個(gè)平衡問題,不能提醒太頻繁,打擾聽課。

“比如看到你頭都要貼在屏幕上了,就發(fā)個(gè)提醒。”楊森說,提醒的使用,是非常嚴(yán)格的。

小朋友,你咿呀說的是啥?

還是從2020年暑期開始,小朋友們還會(huì)發(fā)現(xiàn):咦,可以跟屏幕說話?它不但能聽得懂,還會(huì)把自己說的話飄在上面。

這個(gè)暑假,作業(yè)幫在在線教育行業(yè)中,率先推出了彈幕功能。

“以前,老師提一個(gè)問題,學(xué)生需要點(diǎn)一下輸入法,一下子就占了半個(gè)屏幕在下面打字,這樣的體驗(yàn)很差?！弊鳂I(yè)幫智能語音技術(shù)負(fù)責(zé)人王強(qiáng)強(qiáng)說,尤其對于低年級的小孩子,一二年級,他們可能還不會(huì)打字,或者打字很慢。

但老師和學(xué)生又是需要互動(dòng)的。老師想要知道學(xué)生聽課的反饋,而孩子們需要表達(dá),“就像我們在正常的課堂那樣”。

有了語音彈幕功能后,老師問一個(gè)問題,學(xué)生的頁面上會(huì)直接跳出來一個(gè)小話筒,他可以直接對著屏幕說話。

然后AI會(huì)識(shí)別孩子們的發(fā)言,“匯報(bào)”給老師,比如最高頻的4個(gè)回答是什么。

鼓勵(lì)孩子開口,參與到課堂中。

“營造很有意思的課堂氛圍?！碑a(chǎn)品經(jīng)理聶靖騏介紹,語音彈幕最主要的使用場景是小學(xué)語文。例如老師讀完一個(gè)故事,問一個(gè)開放性的問題,學(xué)生就可以直接說。

聶靖騏說,老師們也很喜歡這個(gè)功能,例如問孩子們是不是聽懂了,可以很快收到反饋。

從學(xué)生的角度,他不用打字,可以快速回答。

王強(qiáng)強(qiáng)介紹,2020年暑期前,他們小規(guī)模測試彈幕,發(fā)現(xiàn)小朋友很喜歡,孩子們會(huì)覺得很智能,屏幕能聽懂自己說話,很驚喜。

暑假正式上線,高并發(fā)的問題來了。

什么是高并發(fā)?作業(yè)幫直播課,有時(shí)幾千、幾萬乃至更多的孩子一起上課,老師同一個(gè)問題,當(dāng)孩子們一起開口回答,就是瞬時(shí)高并發(fā)。

王強(qiáng)強(qiáng)舉例,想象一下春晚搶紅包的場景,幾萬路瞬時(shí)打進(jìn)來,“而我們相當(dāng)于天天搶紅包”。

也就是,機(jī)器需要巨大的“腦容量”,去支撐巨大的瞬時(shí)識(shí)別能力。

“我們當(dāng)時(shí)壓力特別大?！蓖鯊?qiáng)強(qiáng)說,最后是作業(yè)幫副總裁羅亮拍的板,加機(jī)器。羅亮說,這個(gè)功能挺好的,不能因?yàn)槌杀咀兏呔筒蛔尯⒆觽冇昧恕?/p>

“最后買了那么多機(jī)器,硬是把它給扛住了。”王強(qiáng)強(qiáng)說。

除了扛住高并發(fā),要讓機(jī)器識(shí)別出孩子們在說些什么,也不容易。

“一個(gè)是,他說的可能不太清晰。然后還可能,他說的話,跟老師的提問沒有關(guān)系。甚至和中國話、外國話都沒什么關(guān)系,小朋友自創(chuàng)語言。”王強(qiáng)強(qiáng)說,還有時(shí)會(huì)混有家長的一些聲音。

還有口音問題。學(xué)生們來自各地,很多孩子來自三四線、五六線城市,如果普通話不標(biāo)準(zhǔn),或者說有方言問題,怎么去識(shí)別?

王強(qiáng)強(qiáng)說,沒有更好的方法,只能不斷地訓(xùn)練AI的識(shí)別能力。

聽懂孩子們,它是個(gè)不斷優(yōu)化的過程。

“幾千個(gè)孩子去說,一定有十幾、二十個(gè)說得好的,說得更標(biāo)準(zhǔn)的。”王強(qiáng)強(qiáng)說,然后算法通過半監(jiān)督的方式自動(dòng)學(xué)習(xí),增強(qiáng)模型。

一起搶答吧,可以聽到彼此了

整體得分9.48分,滿分10分。這是去年暑假后,孩子們對新的AI功能的打分。

產(chǎn)品經(jīng)理張琴回憶,也正是暑期后這次問卷,他們發(fā)現(xiàn)在小組直播間,孩子們已不滿足只是自己說。

70以上的同學(xué)表示:想聽到同組小朋友的聲音。

讓孩子們互相聽到,實(shí)現(xiàn)起來,技術(shù)難度很高。

最主要是回聲和噪音的消除問題。就想象一下幾萬人一起在線開會(huì),作業(yè)幫流媒體客戶端負(fù)責(zé)人曾建斌說。

到底要不要開發(fā)這個(gè)功能?產(chǎn)品經(jīng)理去和技術(shù)的同事提需求,探討。

大家爭來爭去,會(huì)開來開去,決定還是要上。

并且也要讓老師實(shí)時(shí)聽到孩子們的聲音。此前孩子們的發(fā)言,老師看到的是聲音轉(zhuǎn)成的文字。

產(chǎn)品經(jīng)理聶靖騏說,大家覺得這也會(huì)營造很好的課堂氛圍,“我同組其他的同學(xué)在回答問題,可能我本來不想說,我聽了別人說,我也想說了?！?/p>

但也是極大的挑戰(zhàn),哪怕一個(gè)人的設(shè)備傳回噪音,就可能毀了一堂課。

而作業(yè)幫的孩子們上課的場景很復(fù)雜,使用的設(shè)備更是龐雜。

曾建斌說,孩子們可能在菜市場上課,在工地,在商場。背景會(huì)是各種噪音。他們使用的可能是無牌或雜牌設(shè)備,識(shí)別起來很難,更不用說針對機(jī)型做適配。

上灰度測試。也就是選特定課堂,小試一下效果。結(jié)果有老師說很吵,吵了一堂課。有孩子說,吵死我啦。

問題比預(yù)估的還嚴(yán)重。曾建斌他們趕緊停了測試。攻堅(jiān),加班加點(diǎn)。

去找來所有可能找到的機(jī)型,做適配,降噪消音。個(gè)別實(shí)在識(shí)別不出的設(shè)備,再想辦法。

據(jù)曾建斌介紹,相對棘手的機(jī)型,占比大約不到1,但“這也不能放棄,不能說,你手機(jī)不行就不要上作業(yè)幫的課了”。

1月27日,作業(yè)幫集體發(fā)言實(shí)現(xiàn)了升級。孩子們可以聽到同組同學(xué)了。而老師也可以隨機(jī)選取一組同學(xué),聽他們的實(shí)時(shí)發(fā)言。

在小學(xué)產(chǎn)品負(fù)責(zé)人曹越看來,這個(gè)功能,也是基于現(xiàn)實(shí)課堂的場景,小朋友們能聽到老師,老師能聽到小朋友,小伙伴能聽到彼此。

學(xué)習(xí)不是一個(gè)單向的事情,曹越說,希望孩子們一起,可能就會(huì)相互影響,希望能把課上得更好。

建一個(gè)渠道,或許你會(huì)看到更多可能

寒假到來。小朋友們能聽到隊(duì)友的聲音了,但效果怎么樣,他們喜歡嗎?

對于張琴他們來說,新功能上線,對用戶體驗(yàn)的跟進(jìn)也就開始了。

而早一些上線的功能,依然需要持續(xù)優(yōu)化。例如專注力檢測。“我們還在不斷去找各種維度,豐富模型?！辈茉浇榻B。

對于曾建斌他們來說,集體發(fā)言升級可能只是新挑戰(zhàn)的開始。新的問題隨時(shí)可能出現(xiàn),新的機(jī)型,新的噪音。

而每一個(gè)問題都可能影響一堂課,乃至更多。

在作業(yè)幫副總裁羅亮看來,在教育公司做程序員,它是不一樣的。對于其他行業(yè)的程序員,用戶可能是一個(gè)數(shù)字,一個(gè)pv,一個(gè)uv。但對于教育公司的程序員,用戶就在你面前,他是一個(gè)真實(shí)的孩子。

羅亮舉了個(gè)例子,有次一個(gè)程序員已經(jīng)下班了,有個(gè)輔導(dǎo)老師找他,說有個(gè)孩子因?yàn)榫W(wǎng)絡(luò)問題無法做互動(dòng)題急得直哭,這個(gè)程序員就趕緊回公司,去看是什么問題。

“我們是在線教育,如果我們技術(shù)服務(wù)不好的話,老師講得再好,學(xué)生體驗(yàn)也會(huì)受影響?！痹ū笳f。

在張琴看來,在線教育優(yōu)勢明顯,匯集了優(yōu)質(zhì)資源,觸及更多學(xué)生。但局限性也很明顯,例如感知力的影響。

比如,老師是在屏幕后面的,他其實(shí)對學(xué)生的影響效果會(huì)打折扣,張琴說,這種不足需要更多的手段去提升,也就是去不斷減少折扣。

教育應(yīng)該是拓展一些可能性,語音實(shí)驗(yàn)室負(fù)責(zé)人智能語音技術(shù)負(fù)責(zé)人王強(qiáng)強(qiáng)認(rèn)為。而技術(shù)可以幫助帶來更多的可能性。畢竟,一塊屏幕連接的,是不同地區(qū)的孩子和老師。

AI,技術(shù),更好的師資,在王強(qiáng)強(qiáng)看來,都是一種輔助手段。都是“術(shù)”。而“道”,是建立一個(gè)渠道,一個(gè)平臺(tái),讓孩子們看到更多的可能性。他就可能走得更遠(yuǎn)。

“其實(shí)我們要做的,就是這樣的事情。”王強(qiáng)強(qiáng)說。