熱點追蹤/深入探討/現(xiàn)場參觀/商務(wù)合作

海明威的《老人與?！?，大家一定很熟悉吧！你們高中老師當(dāng)時是怎么教這篇課文的？朗讀、背誦、講PPT？

這一切即將改變！你能想象嗎，不茍言笑的語文老師在課堂上變成了“演員”，一只巨大而兇猛的馬林魚在《老人與?！废蛩l(fā)起攻擊，他踉踉蹌蹌地向后退去躲避這種危險的生物。

是的，這正是融合了最新VR和AR技術(shù)的課堂教學(xué)方式，讓老師和學(xué)生“沉浸”在冒險般的故事中。

（海洋冒險，講故事的新方式）

盡管VR和AR技術(shù)已經(jīng)進(jìn)入成熟階段，但根據(jù)EDUCAUSE公布的數(shù)據(jù)，2018年只有4%的學(xué)生接受了虛擬現(xiàn)實、增強(qiáng)現(xiàn)實等新視聽技術(shù)的學(xué)習(xí)輔助，還有很大的空間。探索科技創(chuàng)新在教育領(lǐng)域的應(yīng)用。

教育者、科學(xué)家、工程師、設(shè)計師甚至追夢者都在嘗試用科技的力量助力教育。如何將VR、AR、MR技術(shù)與教育結(jié)合成為重點研究方向之一。近日，《硅谷洞察》參觀了麻省理工學(xué)院媒體實驗室，探索那里的研究人員如何利用AR 技術(shù)打造更具吸引力的課堂。

AR將創(chuàng)造一種“實時互動”的課堂教學(xué)方式（麻省理工學(xué)院納茲穆斯·薩奎布媒體實驗室，侯亞凌攝）

Nazmus Saquib（以下簡稱Saquib）是麻省理工學(xué)院的博士生。今年年初，他和Adobe研究院的研究人員進(jìn)行了一項技術(shù)實驗，探討如何利用新媒體更好地展示教學(xué)內(nèi)容，幫助教師提高課程的吸引力。

發(fā)起這個實驗項目的初衷是Saquib想要改變老師上課時總是看PPT、板書的模式。受AR增強(qiáng)現(xiàn)實的啟發(fā)，擁有人工智能開發(fā)和機(jī)器深度學(xué)習(xí)背景的Saquib和他的團(tuán)隊希望將“肢體語言”引入到交互式演示系統(tǒng)中，幫助教師更好地可視化、生動地呈現(xiàn)知識。他們把這個開發(fā)系統(tǒng)命名為Interactive Body-Driven Graphics for Augmented Video Performance，以下簡稱AR實時交互系統(tǒng)。

那么，這款產(chǎn)品如何運用在教學(xué)中呢？

技術(shù)層面：基于AR的實時交互系統(tǒng)

該系統(tǒng)允許用戶獨立設(shè)計交互解決方案和原創(chuàng)故事，讓用戶在不同場景下使用自然的身體動作和姿勢來操縱圖表元素。

使用該系統(tǒng)，老師與真實場景（教室）中不存在的事物同時出現(xiàn)。老師本人也必須是一名“表演專家”，利用肢體動作和姿勢，現(xiàn)場實時操控圖表信息，真正達(dá)到聲情并茂解讀教學(xué)內(nèi)容的目的。

（鯨魚結(jié)構(gòu)講座）

比如，今天老師的課是介紹一種海洋生物：鯨魚。傳統(tǒng)的多媒體教學(xué)會在屏幕上向?qū)W生展示一條鯨魚，并用箭頭標(biāo)記這些部位的名稱。不過，利用Saquib開發(fā)的系統(tǒng)，教師可以在視頻中與鯨魚實時互動，通過上下舉起手臂將鯨魚“打開”，讓學(xué)生看到鯨魚內(nèi)部骨骼結(jié)構(gòu)之間的關(guān)系，五器官結(jié)構(gòu)和外皮層。

圖文互動不僅讓學(xué)生感覺老師的課新穎有趣、對知識點有更好的理解，而且可以讓老師結(jié)合圖文、聲音、語言、肢體動作等多種信息傳遞方式，這極大地幫助他們更好地表達(dá)信息。

（研究太陽的升起和落下與濕度變化的關(guān)系）

（AR技術(shù)演示烹飪）

（AR為學(xué)生增添天使翅膀）

這個系統(tǒng)讓我們看到除了幻燈片之外，老師在課堂上還有更多互動、有趣的工具可以使用。該工具還打破了傳統(tǒng)AR節(jié)目在編程前期無法更改的特點，提供實時的增強(qiáng)現(xiàn)實特效。

操作水平：就像制作PPT一樣，操作簡單易用

聽起來需要非常復(fù)雜的特效剪輯才能達(dá)到這樣的效果。那么這個工具對于普通教師有用嗎？操作方便嗎？

Saquib表示，教師只要會制作PPT并經(jīng)過簡單的培訓(xùn)，就可以獨立掌握這個AR交互系統(tǒng)。他向我們展示了如何使用這個工具來設(shè)計交互式表達(dá)并講述一個故事。

老師打開系統(tǒng)后，就會看到這個巨大的人形框架。藍(lán)色的“人體框架”上，每個點代表人體活動關(guān)節(jié)的19個樞軸點，如頭、頸、肩、肘、手、腰、腿關(guān)節(jié)等。右邊是薩奎布畫的一把雨傘用鼠標(biāo)。他還將云、雨滴作為圖像元素導(dǎo)入系統(tǒng)中，輔助教學(xué)。導(dǎo)入過程就像從PPT 導(dǎo)入圖片一樣簡單。 （圖片由納茲穆斯·薩奎布提供）

接下來，薩奎布在示威時想用左手撐傘。要完成這組動作，只需拖動鼠標(biāo)，找到“左手”支點，將“左手”連接到“傘”上即可。連接位置也可設(shè)計。

雨傘旁邊會出現(xiàn)五個黃色小圖標(biāo)。這些小圓圈代表圖像元素本身將如何移動：從上到下：移動、旋轉(zhuǎn)、更改透明度、變大或變小以及速度。這些函數(shù)是Saquib 和團(tuán)隊成員通過研究演講者在演示過程中的行為得出的五種最常用的變形方法。 （人體支點連接虛擬傘，出現(xiàn)5個變形、位移圖標(biāo)）

所以按照這個設(shè)計邏輯，如果Saquib拿到之后想要把雨傘變大，他只需要點擊雨傘旁邊代表尺寸的黃色圖標(biāo)即可。

此外，系統(tǒng)還預(yù)設(shè)了一些手勢的“捷徑”，幫助教師用簡單的動作完成會重復(fù)出現(xiàn)的高頻交互反應(yīng)，如選擇“食指指向”、“雙手豎起大拇指”等?？刂茍D表保持固定，“左右擺動”控制方向移動，擺動控制圖表擺動等。

設(shè)計完這些元素以及它們在系統(tǒng)上的移動方式后，就該進(jìn)行實際性能了。 （圖片由納茲穆斯·薩奎布提供）

這是Saquib 在家使用系統(tǒng)工具的照片。通過圖片可以看出，生產(chǎn)空間不受限制。你只需要一個教練、一個屏幕、一個傳感器（圖中的Kinect）、一臺電腦和一個答題器（拿在手里）就可以開始。已記錄。電腦的攝像頭可以捕捉薩奎布，而電視屏幕則充當(dāng)鏡子。 S可以通過看屏幕看到自己的表演，設(shè)計自己的互動動作。 （自定義交互圖表后的效果展示）

正如您所看到的，這個系統(tǒng)很容易理解并且可以快速使用。對于沒有編程、設(shè)計基礎(chǔ)的老師來說，通過接觸掌握它并不困難。

項目亮點：虛擬屏幕“實時反饋”，創(chuàng)新信息傳遞模式

虛擬屏幕現(xiàn)實場景中的“實時反饋”是Saquib團(tuán)隊的AR實時交互系統(tǒng)的亮點。

通過深度學(xué)習(xí)（機(jī)器學(xué)習(xí)），利用人工智能將人類行為數(shù)據(jù)收集到數(shù)據(jù)庫中，Kinect 可以感知并識別演示者動作的目的。當(dāng)薩奎布斜向上舉起手指時，視頻中就會出現(xiàn)一張圖表。 Kinect會快速響應(yīng)并判斷“操作員”命令動作的目的，并將之前設(shè)定的海圖信息實時顯示在屏幕上。

例如，在這個導(dǎo)航方向盤中，當(dāng)屏幕上的Saquib 握住方向盤并“航行”時，海圖信息會隨著Saquib 的移動而變化。 （虛擬圖表實時出現(xiàn)，數(shù)值根據(jù)演示者的不同而變化）

這就是Saquib一直強(qiáng)調(diào)的關(guān)鍵詞“實時”交互。該工具的亮點和特色在于，它在視頻中實時顯示增強(qiáng)現(xiàn)實AR圖像，并與現(xiàn)場老師配合完成定制的“表演”。

此外，薩奎布還表示，AR教學(xué)將成為信息傳播的新媒介，幫助更多人了解世界。在麻省理工學(xué)院媒體實驗室，薩奎布和其他學(xué)生學(xué)者一直致力于研究除了聲音、圖像和文本之外還有哪些新的“語言”可以傳遞信息并幫助更多的人，為獲取信息提供創(chuàng)新的方式和工具。 （麻省理工學(xué)院媒體實驗室一角，侯亞玲攝）

Saquib萌生了制作AR實時互動演示工具的想法，探索“肢體”語言在信息傳遞中的效率和運用，打造未來創(chuàng)新的互動課堂。

有人可能會有這樣的疑問，通過在筆記本上寫字、畫圖這種最傳統(tǒng)的“語言”方式，不就可以扎實地掌握知識了嗎？為什么要開發(fā)一種新的學(xué)習(xí)“語言”？

事實上，未來人才培養(yǎng)的格局已經(jīng)悄然發(fā)生變化。復(fù)雜、龐大、快速變化的社會告訴我們，傳統(tǒng)的“語言”對于學(xué)習(xí)很重要，但創(chuàng)新的新“語言”的誕生可以激發(fā)我們大腦尚未意識到的潛力，幫助我們更好地改變視角?？词澜?。

同時，科技的發(fā)展應(yīng)該給人類帶來更多共享的教育資源和公平的學(xué)習(xí)機(jī)會。新媒體語言的誕生和創(chuàng)新可以為更多患有閱讀障礙或需要特殊教育的兒童（例如自閉癥兒童）打開認(rèn)知世界的新窗口。

“有些人可以很快理解邏輯性很強(qiáng)的數(shù)字語言；有些人可以快速理解?！庇行┤丝梢酝ㄟ^視覺語言（思維導(dǎo)圖、圖表、視頻）更好地增強(qiáng)理解和記憶；有些人可能對數(shù)字或視覺語言不感興趣。所以新“語言”的開發(fā)實際上是在幫助不同人群找到最適合自己的學(xué)習(xí)方法?！彼_奎布說。

科技+教育必須以人為本

在參觀麻省理工學(xué)院媒體實驗室時，小檀感受到未來的教育不僅僅是技術(shù)的拼湊，而是技術(shù)更好地輔助教師，從而更好地開啟學(xué)生探索世界和自由思考的能力。因此，無論是技術(shù)還是教育，其本質(zhì)仍然聚焦于“人”品質(zhì)的培養(yǎng)。

同時，這客觀上也要求教師具有“與時俱進(jìn)”的能力，跟上科技時代的發(fā)展。但這對教師來說仍然是一個很大的挑戰(zhàn)。

在哈佛科教論壇上，工作在國內(nèi)教學(xué)第一線近10年的高宏老師和波士頓大學(xué)教育學(xué)院教授Stacy L. Scott博士也聆聽了介紹與小檀一起介紹MIT 團(tuán)隊的AR 教學(xué)系統(tǒng)。會后，他們都對科技與教育融合的未來充滿了期待，但同時也認(rèn)為科技與教育發(fā)展的核心是更好地“服務(wù)”人民，無論是教師還是教師。并且學(xué)生應(yīng)該適應(yīng)。時代潮流，培養(yǎng)運用科技的能力。

高虹老師認(rèn)為，科技對教育的影響是不可逆轉(zhuǎn)的，是時代的必然趨勢。教師除了具備傳授給學(xué)生全面、系統(tǒng)的學(xué)習(xí)知識的能力外，還必須不斷接受和學(xué)習(xí)新事物，快速洞察哪些技術(shù)手段和產(chǎn)品可以使用以及如何使用。這些都是對教師從業(yè)人員的新要求。而她目前正在哥倫比亞大學(xué)攻讀更為綜合的教育領(lǐng)域。

和高老師一樣，斯科特博士也告訴小檀，他認(rèn)為未來教育的大趨勢是科教融合、科技輔助教育的時代。 AR互動方式確實會有效增強(qiáng)課堂對學(xué)生的吸引力，但教師備課時，如何利用科技手段講好知識點和故事，與教師的基本素養(yǎng)密不可分。因此，未來雖然技術(shù)會改變教育的形式，但教師創(chuàng)造的價值不會改變。

“人工智能和認(rèn)知科學(xué)是未來的趨勢，但這些技術(shù)都是為人服務(wù)的。我認(rèn)為教育的未來是一個以人為中心的學(xué)習(xí)和設(shè)計過程，”薩奎布在采訪結(jié)束時說道。

您如何看待AR、VR、人工智能等技術(shù)與教育融合的趨勢？它們是商業(yè)噱頭還是有實際效果？您認(rèn)為科技在教育領(lǐng)域的應(yīng)用還有哪些方向可以探索？歡迎大家留言討論！