全文5503字,預計閱讀9分鐘
2014年,以時任南京郵電大學校長楊震為項目主持人和第一完成人的《「學」為中心的地方高校教學質量保障體系研究與實踐》成功獲得國家級教學成果獎二等獎。
他們為何能得到評審們的青睞?日前,方略研究院研究員在南京郵電大學獨家專訪了該項目第二完成人——南京郵電大學教學質量監控與評估中心主任楊立軍研究員。
下文是我們的具體發現,文末還有「福利」哦!
即便不引入人工智慧技術,對學生課堂行為進行監測,高校在人才培養過程中也免不了與數據打交道。
教學質量狀態數據就是每個高校教務人員繞不開的,包括南京郵電大學教學質量監控與評估中心主任楊立軍研究員。
與教學質量狀態數據打了多年交道後,楊立軍發現,這種數據存在「四多四少」的結構性問題:
一是條件、資源數據多,但過程、利用數據較少,表現為重視資源和投入,而忽視過程和結果;
二是涉及「教」的數據多,但關於「學」的數據少,表現為教學質量狀態數據主要涉及教師、教學情況,而較少反映學生狀況;
三是客觀數據多,但主觀數據少,特別是反映師生感知的數據比較少;
四是數據建得多,但用得少,缺乏對數據的深入分析、利用,無法讓「沉睡的數據醒過來」。
幸好,她有「中國大學生學習與發展追蹤研究」(China College Student Survey,下稱「CCSS」)的幫助,可以讓南京郵電大學(下稱「南郵」)對症下藥,加強對人才培養過程、學生學情、學生感知情況等方面的了解和分析。
01
在CCSS正式啟動前
南郵就加入其中?
楊立軍所在的南郵是一個特別重視人才培養的高校。
這點從《南京郵電大學章程》的規定中即可看出,該校專門在這部自身校內「最高法」(即《章程》)中專門闢出一條,規定:「通過設立南京郵電大學教學指導委員會、教學質量督察監控委員會、教學質量監控與評估中心等機構和組織,對人才培養、教學管理等進行評估和監督。」
這條規定涉及該校3個組織,其中,教學質量督察監控委員會是一個少有高校設立的校級組織,但早在2001年就由南郵設立。
委員會設有1名主任,由校長擔任;2名副主任,分別由負責本科教學和研究生培養的副校長擔任。
這個委員會雖然規格不低,但畢竟不是常設機構。為建立教學質量保障長效機制,南郵又於2008年6月成立了學校教學質量督察委員會的秘書單位——教學質量監控與評估中心(下稱「評估中心」)。
可不要小瞧這個中心。評估中心並非普通機構,而是南郵獨立設置的正處級單位,與教務處平級,且獨立於教務處之外,主抓全校的教學質量。
但什麼才是「教學質量」,其實在國內外研究中並未形成定論,這讓楊立軍和評估中心的同事們在中心成立之初有過一陣困惑。
不過,他們隱約感覺,如果要評估教學質量,就必須從學生身上入手。
南京郵電大學教學質量監控與評估中心主任楊立軍研究員資料圖 受訪者供圖
幸運的是,同樣是在2008年,楊立軍藉助參加業界會議的機會,接觸到了尚在「內測」試點的CCSS項目。2007年,清華大學教育研究院史靜寰教授課題組將美國「全美大學生學習性投入調查」(National Survey of Student Engagement,下稱NSSE)引進漢化,經過進一步修訂形成NSSE-China問卷,在清華大學試點測試。
「聽完CCSS介紹後,我就覺得眼前一亮,覺得大學生學情調查就是我們抓本科生教學質量的重要抓手。」楊立軍認為,CCSS調查通過學生自我報告在校學習情況及感知,可以間接反映學生的學習成效及院校政策效果。
而相比之下,通過學生成績反映教學質量的方法,雖然也是從學生視角出發,但仍有一定局限性,主要表現在國內高校的課程成績不能全面考察學生的能力、價值觀、綜合素質,而通過讓學生參與CCSS調查、自我報告教育收穫,卻可以彌補學生課程成績這一客觀指標的不足。
當然,學生自我報告的數據也因為受到學生價值觀、社會稱許性等潛在因素影響,不如智力測驗的結果那麼可靠,但已有研究表明,二者並不存在顯著差異。
因此,像CCSS這種調查是可以有效探究教學質量的。
同時,楊立軍認為,以學習過程(經歷)測量視角透視教育質量,也是對上一輪教育部本科教學工作水平評估的有益補充,可以推動評估體制的變革。
於是,在CCSS項目尚未開展全國調查之前,南郵就積極參與其中,成了項目合作院校和「種子用戶」。
02
南郵為何選擇
和很多高校不同的調查方式?
決定加入CCSS項目後,擺在南郵面前的問題就成了選擇哪種調查方式,以及如何確保調查順利開展。
追蹤調查的優勢
他們既可以選擇每年和項目組配合,從全體在校生中根據年級、學科進行分層隨機抽樣調查,形成橫斷面數據,也可以選擇和項目組配合,對富有代表性的樣本保持追蹤調查,積累同一學生樣本從大一到大四的4次調查數據,即縱向追蹤數據。
但考慮到橫斷面數據反映的只是調查當年,各年級學生的學習投入狀態和院校政策對他們產生的效用,無法像縱向追蹤數據那樣,可以幫助評估中心了解本校學生學習投入、學習狀態的變化趨勢,以及究竟是什麼原因導致這些變化,更好地將調查結果用於學校的教學改革實踐。
所以,在2009年CCSS項目首次開展全國調查之際,南郵就確定採用追蹤調查模式,而當時很多參與CCSS項目的高校並未選擇這種調查模式。
確定調查模式後,南郵評估中心每年需要調查兩類群體:
一是對當年入學的大一新生進行完全隨機抽樣調查(針對普通學院)或全樣本調查(針對拔尖創新實驗學院,如貝爾英才學院),以確定未來4年代表這一屆本科生的學生樣本,識別不同的人才培養模式、方式或路徑對於人才培養的重要影響。
二是對前一年參與調查的在校本科生繼續進行追蹤調查。
追蹤調查的實例
年復一年,南郵評估中心就積累起2008級-2014級本科生的完整在校縱向追蹤數據。
將這些學生的CCSS五大可比指標(學業挑戰度、主動合作學習、生師互動、教育經驗豐富度、校園環境支持度)數據繪成折線圖後,他們發現,南郵學生在大一時的可比指標得分在10年間呈平穩發展態勢,僅2011級學生的得分明顯低於其他年級。
折線圖顯示2011級本科生在大一時的五項綜合指標顯著低於其他幾屆學生。(來源:南京郵電大學教學質量監控與評估中心)
但這些學生的得分較低,究竟是因為院校政策影響,還是本身生源質量受限所致,就需要進一步追蹤研究。
隨後,評估中心又查閱了這幾屆學生在大四的五大可比指標得分,發現2011級本科生到了大四後,仍與其他年級差距較大,由此確定是生源質量的問題。
同時,他們還發現,2014級本科生儘管在大一時和其他幾屆學生之間沒有形成明顯差距,但到了大四,卻在生師互動、學業挑戰度這兩個可比指標上出現明顯下滑。
再結合查閱學校2018年(即2014級本科生的大四學年)出臺的相關舉措,他們最終確認,2014級本科生得分下滑是院校政策影響所致,因此,建議學校加強生師互動、提升學業挑戰度。
這就是利用CCSS追蹤數據改進學校教育教學的典型案例,從中我們也能看出追蹤調查的科學性。
追蹤調查的難點
為了保證追蹤調查的科學性,評估中心必須確保追蹤樣本能夠連年接受調查,不能明顯流失。
在這方面,他們也煞費苦心:
正式開展CCSS調查前,他們不僅要通過在學校顯眼位置張掛橫幅、在學校BBS論壇首頁發帖等形式宣傳CCSS調查,使廣大學生了解調查意義,吸引大家關注並參與其中,還要組織輔導員開會,向他們詳述CCSS調查的重要性及調查方案,以儘量取得他們的協助,而且,還要選取未被抽樣選中的學生進行試測,為下一步正式開展調查做好準備。
當學生完成第一次網上填答後,他們要給未在指定時間內完成問卷填寫的學生發送簡訊催答。
考慮到有的學生遠赴海外交流學習,他們還要在郵件催答之餘,和學生的輔導員、海外年級聯繫人甚至所在院系的領導進行多次溝通(有的需要來回聯繫至少四五次),以提高學生的填答率。
同時,他們還在一些細節上下功夫,比如製作含有學生網上調查登錄信息(2012年至今採用網絡問卷)的信封,以增添調查的儀式感;面向參與調查的學生進行抽獎,以激發同學們的參與熱情。
為激發同學們的參與熱情,南京郵電大學教學質量監控與評估中心還會組織對參與CCSS項目調查的同學們進行抽獎。(來源:南京郵電大學教學質量監控與評估中心官網截圖)
03
CCSS為南郵作出了哪些貢獻?
連續參加10年CCSS調查後,南郵評估中心已經收集了學校7屆本科生的完整4年學情數據。
但若想利用這些數據探究學生的學習成長規律,為學校的教育教學改革實踐提供有價值的參考意見,關鍵還在於對數據進行充分挖掘、分析,切忌讓數據「沉睡」。
服務學校教育教學改革實踐
「做完那次專題匯報,得到學校書記、校長的重視後,我們就覺得CCSS調查非常有意義。」楊立軍所說的那次匯報經歷源於2011年。
當時,經過連續兩年的CCSS追蹤調查,南郵評估中心發現,學校學生除在競賽、考證等方面表現較好之外,也存在一些比較集中的問題,如學習動力不足、滿意度不高,而這與學校的自我感覺不同,畢竟,南郵在2008年尚以「優秀」成績通過上一輪教育部本科教學工作水平評估。
恰好,南郵在當時正大力主抓學風建設,得知評估中心的上述調查發現後,為了讓學校管理層、院系層面更好地了解學情現狀,時任南京郵電大學副校長顏曉紅教授就提請學校開會專題研討學校的本科教學質量。
於是,楊立軍就在學校黨委常委擴大會上,匯報了CCSS調查發現,「聽完之後,學校校長、書記就說,我們以後要經常聽一聽來自一線、來自學生的聲音。」楊立軍回憶道。
自此之後,南郵管理層對CCSS調查更為重視。
而評估中心也不斷努力,每年甚至每個季度均向學校、院系提供動輒10餘萬字的各種報告,作為決策參考依據。
這些報告分為「質量季報」和「專題報告」,其中,質量季報屬於評估中心自2009年就開始實施的「規定動作」,而專題報告則是中心的「自選動作」。
「我們不想每年都分析同樣的問題。」楊立軍說,針對包括CCSS調查數據在內的教育質量數據,他們多次創新思路,從多個視角進行挖掘、分析。
比如,2017年,他們基於CCSS調查數據撰寫了《南京郵電大學專業學生滿意度報告》,發現其中一些滿意度指標不甚理想。
校領導對此高度重視,要求將CCSS調查反映的學生滿意度(含本科生、研究生)納入院系年度績效目標考核之中,並佔有一定分值。
再如,2019年,他們計劃基於包括CCSS調查數據在內的多種數據,對「大四現象」進行專題研究。
「考研、就業壓力已對大四課堂教學形成了強烈衝擊,成了國內高校需要面臨的普遍問題,我們想通過調查數據了解,到底應該怎樣平衡畢業實習和專業學習之間的關係,包括是否有必要改變大四的教學管理,是否有必要給大四學生安排課程,等等。」楊立軍說。
(來源:一讀EDU編輯部根據南京郵電大學教學質量監控與評估中心提供資料整理)
探究大學生學習成長規律
接觸CCSS調查前,南郵評估中心團隊的研究方向主要側重於教學管理,而在參加CCSS項目後,他們的研究就開始逐漸向大學生學情、發展方向傾斜。
以楊立軍為例,基於南郵2008級本科生CCSS調查數據,她和研究合作夥伴已完成關於大學生學習成果增值軌跡、學習投入變化趨勢及特徵、什麼影響了大學生教育收穫等方面的研究。
她們研究發現,學生從大一入校到大四畢業的學習成果發展呈現曲線增長趨勢,增速低於線性發展速度,顯示大學生在知識、能力和價值觀方面存在慢慢成熟和曲線變化的過程。
具體而言,大一至大二期間是大學生知識收穫、能力收穫和價值觀收穫增幅最大的時間段,此後,學生這3個方面的教育收穫增幅就逐漸放緩,但其中的價值觀收穫卻在大三至大四階段又有較大幅度的提升,在4年間呈現增長幅度先下降、再較大提升的變化規律。
這些發現提示,高校需要依照學生成長的規律,抓住學生在校期間的「成長關鍵期」,實現學生學習成果增值的最大化。
明晰學習成果的增值軌跡後,我們還要摸清,究竟是哪些因素會影響大學生的教育收穫。
傳統觀念認為,教師對學生教育收穫的影響應該是最大的,但楊立軍等人基於CCSS調查數據進行實證研究發現,學業挑戰度和學生個人的向學/厭學指標對教育收穫的作用最大,可見高校更需要注重學生志向的培養,「激發學生的雄心大志」。
去年(2018年),楊立軍等人還嘗試基於CCSS調查構建大學生發展指數,並撰文詳細闡釋了大學生發展指數的概念、基本架構以及構建過程中的關鍵技術。
下一步,她們還將根據CCSS追蹤數據,圍繞大學生發展指數進行一系列實證研究,為優化大學生發展評價工具和豐富相關評估理論提供實證研究基礎。
除了南京郵電大學評估中心利用CCSS數據作出的學術研究之外,10年來因為CCSS項目產生的學術貢獻還有很多。(來源:一讀EDU編輯部製作)
04
結語
介紹了這麼多,CCSS項目到底對南郵評估中心有何作用?面對方略研究院研究員的提問,楊立軍總結道:「CCSS項目是我們抓好本科人才培養質量的重要抓手。」
首先,CCSS幫助他們在理念上完成了「以教為中心」向「以學為中心」的轉變,樹立了科學的質量觀。
如參照CCSS問卷內容,從學生角度出發,重新設計、改進了學校的學生評教指標,倒逼教師在授課中轉變教育教學理念。
其次,鑑於CCSS調查數據信息的豐富程度,他們還結合學校每學期的學生評教數據、學生GPA(學習績點)等,探討基於學生感知的教學質量評價,進一步分析學生滿意度與學習投入、學習績點等的關係,多視角地研究探討高校教學質量評價問題,使學校的教學質量評價更具科學性。
再次,正如前文所述,評估中心基於CCSS調查形成的研究分析,又及時反饋給有關部門和學校,為改進教育教學實踐、提高人才培養質量提供了參考依據。
據《光明日報》2012年報導,針對評估中心基於CCSS調查反饋的問題,南郵已實施「課堂教學卓越工程」、「專業質量提升工程」等專項工程。通過工程的實施,南郵的教學質量提升已經步入快車道。
最後,利用CCSS項目,南郵構建了「學」為中心的質量保障體系,並以《「學」為中心的地方高校教學質量保障體系研究與實踐》為題先後成功獲得江蘇省教學成果獎特等獎和國家級教學成果獎二等獎。
在這個涵蓋學生入口-過程-出口的全程質量保障體系中,CCSS主要聚焦教育教學過程(CCSS現有4種調查問卷中,名為「中國高校畢業生追蹤調查」的藍色問卷也涉及學生出口數據,曾被南郵使用過兩次),成為監測人才培養質量,改進教育教學的重要工具。
下一步,楊立軍就希望能夠充分利用好評估中心已經構建的龐大「數據倉庫」(包括7屆本科生完整的4年學情數據,和教務處、招生就業處等學校兄弟部門及其他渠道匯聚而來的大量學生數據),從不同維度刻畫南郵本科生的完整「畫像」。
她希望,在不遠的將來,CCSS能成為南郵的一個品牌,進而向世人宣示南郵對「學生中心」的關注和重視。
南郵評估中心在過去10年來用的主要是CCSS的綠色問卷,但也有兩年使用藍色問卷的經歷。(來源:一讀EDU編輯部製作)