《碟中諜4》中通過智能設備搜索目標
一直以為人臉識別只是電影中的橋段,沒想到這樣的劇情會搬到課堂中來,並用於監控孩子的一舉一動。
在教室之內,你做什麼AI那裡都會有記錄。
昨天,一張帶有「MEGVII曠視」LOGO的視頻監控圖像在社交網絡上瘋傳。
在這張監控圖像中,坐在教室中的兩名女生身邊,顯示出了諸多標籤,比如趴桌子、玩手機、睡覺、聽講、閱讀、舉手等課堂行為數據。
01
攝像頭盯著你上課
學生無處遁形
事情跟剛剛進入的開學季有關。
九月新學期開始後,不少學生就發現,自己熟悉的校園中出現了人臉識別系統。
比如位於南京的中國藥科大學,在校門、圖書館和宿舍都安裝了人臉識別門禁。
對於智能門禁,學生們的接受度倒是很高。有人認為這套系統識別準確,速度也很快;有人表示不再擔心忘帶校園卡,確實很方便。
學校保衛處負責人也表示,比起從前實行的校園卡刷卡通行,人臉識別系統的引入解決了過去師生忘帶校園卡的麻煩,也解決了代刷卡、複製卡等校園安保問題。
但這套來自「刷臉之王」曠視Face++的系統,可能不止是人臉識別刷門禁。
在梨視頻的採訪中,校方介紹,這套系統不僅能對進入教室的學生進行全程人臉識別,還能監測到學生抬頭低頭,是否玩手機,是否發呆等行為細節。
關於這個系統,曠視也早有過相關介紹,目標所指是輔助教育:
在課堂教學評價系統中,曠視科技將自主研發的人臉識別、行為識別、表情識別等技術,集成在考勤及行為分析攝像機MegEye-C3V-920和行為分析伺服器中。
通過對課堂視頻數據進行實時的結構化分析,反饋學生行為、表情、專注度、前排上座率等多維度課堂數據,輔助教學評估評價。
伴隨這張圖的瘋狂,網絡上出現了大量網友嚴厲的指責與質疑,認為這樣的技術不應該出現在課堂中。
對此,曠視科技在9月2日晚發布官方聲明稱:
近日網絡上出現的一幅課堂行為分析圖片,為技術場景化概念演示。而曠視在教育領域的產品專注於保護孩子在校園的安全,曠視的智慧學校解決方案可以協助學校管理人員提升效率並保障學生安全,主要用於智能校門、教室門及宿舍的出入,方便學生安全出入校園。
聲明中表示,曠視始終堅持技術向善,讓人工智慧造福所有人。在人工智慧技術的各種場景中,曠視會堅持正當性、數據隱私保護等核心原則,接受社會的廣泛建議和監督。
根據校方說法,相關系統已在兩間教室中進行試點,如果效果好,會進行全校推廣。
對於學校引進這樣的系統,一些教育專家和高校也表達了自己的看法。
中國教育科學研究院研究員儲朝暉認為,教室雖然是公共場所,但是監控下的教師和學生都不是真實的狀態,大家從專業角度得出共同結論,在教室裡是不能裝監控的。首先保護學生的隱私。——據央廣網
中國農業大學本科生院綜合處處長韋笑稱,從考勤和抬頭率上來講,學校並不打算採用,因為我們覺得學生的抬頭率不能判斷他的學習效果,可能更多的還是要抓老師的授課。——據中國之聲
02
家家法寶各不同
數據都是基於監控
此事引發的關注還在繼續,有網友表示,這樣的技術和應用並不算稀奇,類似的新聞去年前年就有了,想不到的是這次居為成為了熱搜事件。
最早的AI其實還是停留在校園,沒有進入課堂。
比如,之前曝出的,貴州和廣西的十多所學校的學生都身穿一套智能校服。
所謂智能,就是在校服的左右肩位置各裝有兩個晶片,再與學校門口、宿舍旁裝有人臉識別攝像頭的人工智慧系統協同工作。
但它的功能真的可以強大到你瑟瑟發抖。
1、沒有經過批准或違規離開學校,就會自動警報。
2、可實時抓拍20秒短視頻,傳給老師和家長觀看。
3、可「偵測」學生有沒有好好聽講。
4、校服可支付消費,家長可通過手機查看子女在校的消費情況。
5、體溫不正常或者運動量不夠將會自動報警。
6、佩戴含有GPS模塊的校徽,可實現對學生的實時定位。
7、系統會把孩子的學習、生活狀況推送至家長和教師的手機中。
如果說這只是初級階段,為的是通過監控的目的,降低或減少孩子更多的事故和意外。但後面更高級的應用開始出現,似乎和我們想像的越發的不一樣了。
我們來看一張學生行為自動分析示例圖。
如果沒有下方紅框中的文字說明,你可能完全看不懂。
這就是在AI的捕捉下,學生們的坐姿,發言,及站立情況,哪怕是你幾分幾秒打了個哈欠,也逃不出AI的手掌心。
不僅如此,孩子們在課堂上是否走神兒,有沒有積極思考,也都被AI記錄在案。
老師講課的時候,抬頭看老師的都是綠框,低頭的都是紅框,一個都逃不掉。
來感受下課堂中實時的反饋效果:
一個學生一節課出現多少個紅色標記、藍色標記、黃色標記全部以數據的形式分析,從而分析出學生到底在幹什麼。
你的眼神飄忽?沒有看老師講課?馬上給你黃色標註出來:
甚至一些幼兒園也開始引入AI分析學生的行為。
高年級的孩子們也同樣可以監控分析。
哪怕是不規則教室照樣能分析。
而最厲害的是,AI是可以做到實時分析,當時就可通過學生的表情分析出來並判斷出他們在想什麼。
這是實時分析系統的演示:
上課時間,可隨時單獨把每個孩子的信息點開,查看孩子們的上課情況:
孩子的鍥合度,歷史表情,全部儲存在AI資料庫中。
別以為AI會偶爾偷個懶,它可是全年無休,全方位審視的。只要你沒有保持飽滿的情緒上課,AI就能隨時隨地把你抓出來。
沒有一個數據能逃過AI的眼睛,最終呈現在班主任面前的是無比詳細的數據。
當這些分析數據達到一定時間的積累,系統還會將每一個學生都貼上標籤,最後以資料庫的形式呈現給老師。
03
「利於成長」的初衷
也許正在毀掉孩子
就此看來,在AI的監控下,孩子們基本沒有了隱私和自由。
每天在這樣的環境下學習和生活,光是想一想都會毛骨悚然。當老師將這份詳細的信息反饋給家長們時,孩子還有什麼可呼吸的空間?
有網友表示:「技術再好,用的地方不對有什麼意義呢?」
這不是像就像《黑鏡》第4季中描述的未來科技,它的初衷為什麼到最後就變了味道呢?
由於3歲小女孩莎拉意外走失,她的媽媽被激發起了強烈的保護欲。
於是,她向一個科技公司求助,給女兒大腦植入了一款晶片。
在這款智能晶片的控制下,小女孩的思想,注意力,全都掌握在媽媽的手中。
從某種程度上來說,這可比AI厲害多了。比如媽媽不僅可以通過手中的平板對小女孩進行實時監控,而且還能隨時知道小女孩的位置。
以及小女孩當前的身體狀況。甚至連她身體裡缺少哪種微量元素,都明明白白地顯示在大屏幕上。
更讓人不可思議的是,這款晶片配套的控制器可以直接展示女兒視網膜上所接收到的信號。
媽媽可以隨時看到女兒眼中世界。甚至,可以控制女兒看到的內容。
只要出現讓小女孩產生壓力的畫面時,比如少兒不宜的黃暴場景,她眼前就會自動打上馬賽克。
之後,小女孩眼中的世界就變成這樣了。鄰居家院子裡總會嚇到小女孩的惡犬。
男生打架時的流血場面。
這些令小女孩害怕的畫面而導致生理指標變化,系統檢測到之後,她看到的畫面就是一團模糊的馬賽克。
她看不到血液,聽不到粗話……小女孩生活在被過濾的世界中。
看似是一個美好的世界,可是美好的背後,也剝奪了她對整個世界的真實感知。
面對中風摔倒的外公,小女孩看到的只是一片模糊,因為眼前的景象讓她緊張。
就連外公去世後,媽媽臉上悲傷的表情都成為了小女孩的壓力源,她無法看到任何負性情緒的表達。
漸漸的,小女孩長大了,也覺得自己不太正常了。大約在小學階段,她用紅色彩筆畫的血居然也被打上了馬賽克。
可能就是越看不到就越好奇,後來她開始試圖用鉛筆扎自己的手,想看一下流血的樣子。
當出現自殘行為之後,系統自動監測到血腥信號,警報聲立馬響起,媽媽很快就趕了過來。
當看完醫生以後,的確是發現了孩子有心理問題。
所以聽從了醫生的話,為了讓孩子正常成長,母親決定關掉系統,答應孩子不再監視孩子生活。
可是女孩慢慢長大之後在面對這個真實的世界時,並沒有與之匹配的風險評估能力。
她在毫無安全措施的情況下和男孩發生性行為,甚至嘗試毒品。
而這再一次引起了警報的響起,母親不得已再次打開平板開始了監控女兒生活的模式。
這一舉動,徹底激怒了女兒,她甚至拿起平板砸向了媽媽的頭,但對此她毫無感覺。
因為母親血淋淋的頭早已被打上了馬賽克。
當發生衝突時,女兒質問對母親說:「你還在監視我?」母親回答:「我做的一切都是為了你。」
而如今正在被AI監控的孩子們,又和《黑鏡》中被監控的小女孩有什麼分別呢?
正如紀伯倫《你的孩子其實不是你的孩子》所言:「你可以庇護的是他們的身體,卻不是他們的靈魂,因為他們的靈魂屬於明天。」
除了隱私、自由,教育場景中令人擔心的還有數據安全問題。
「僅需一張照片,出演天下好戲」。近日名聲大噪的換臉軟體「ZAO」強制用戶輸入隱私信息,又存在利用協議濫用隱私數據、洩露個人隱私、侵權等問題,引發公眾焦慮與質疑。
萬一哪天被黑客把資料庫給拿走了,鬼知道他會用來做些什麼?
而在2018年8月,安徽省繁昌縣人民法院,曾判決了一起非法出售學生信息的案例。
當時負責管理維護安徽全省學籍管理系統的張某,利用職務之便,以每條1毛錢的價格,出售了4萬名學生的隱私信息。據新浪財經報導,張某任職的公司正是科大訊飛。
AI輔助教學和隱私安全的話題,不會就此結束。
別讓這份課堂大數據成為扼殺孩子自尊和情感的毒藥,因為他們不是機器人!
對此你又是抱有怎樣的態度呢?又是否支持用AI在學校進行輔助教學呢?
來源│市界、魔都囡、電影工廠、量子位、和訊網、成都商報