作者簡介：李秋實，東北師範大學教育學部博士生；劉學智，東北師範大學教育學部教授，博士生導師，教育學博士。吉林 長春 130024
內容提要：「課程實施調查」是美國學者帕特等人研製的課程實施程度檢測方法，該方法廣泛應用於基礎教育領域，成為課堂教學、學業評價與課程標準一致性水平分析的重要工具。美國學者摩根將「課程實施調查」方法運用在教科書質量評價中，進一步拓展了「課程實施調查」應用的新視域。一方面，為提升基於標準的教科書質量檢測水平，對「課程實施調查」進行改造，在關注教科書一致性程度檢測的同時，增加了教科書非一致性程度檢測，構建了教科書與課程標準一致性分析模式。另一方面，以數學教科書為研究對象，運用教科書與課程標準一致性分析模式進行實證研究，進而驗證該模式的實踐效果。「課程實施調查」項目在教科書領域的應用和推進，揭示了基於標準的教科書評價本質，為教科書與課程標準一致性水平分析提供了新的分析框架和方法。
關 鍵 詞：美國；課程實施調查；教科書；課程標準；一致性
標題注釋：教育部哲學社會科學研究重大課題攻關項目「大中小學教材的一體化建設和管理研究」(項目編號：16JZD042)。
[中圖分類號]G423/712 [文獻標識碼]A [文章編號]1006-7469(2019)07-0015-14
20世紀80年代末，為提高美國基礎教育質量，由國家科學發展基金會(National Science Foundation，簡稱NSF)資助，公立學校主管理事會(Council of Chief State School Officers，簡稱CCSSO)下屬的教育評估中心(State Education Assessment Center)、威斯康星州教育研究中心(Wisconsin Center for Education Research，簡稱WCER)和州協同計劃(State Collaborative)三大研究機構共同組建了旨在推進「國家教育進展評估」(National Assessment of Educational Progress，簡稱NAEP)的研發團隊，開始啟動「課程實施調查」(Surveys of Enacted Curriculum)項目。歷經30年的探索與發展，「課程實施調查」已成為美國實施全國性課程質量檢測可靠且有效的方法，被廣泛應用於多重背景的課程研究，成為美國分析和解釋各州、地區以及不同學校之間教學、評價與課程標準間一致性問題與差異的重要工具。[1-2]近年來，WCER作為CCSSO的科研合作夥伴，將「課程實施調查」研究轉向與教科書相關課程的實施，[3]研發了評估和改進美國基礎教育教科書質量的一致性分析模式。
一、美國教科書與課程標準一致性分析的實證探索
一直以來，美國基礎教育課程改革的浪潮總伴隨著大眾對教科書改革滯後性的不滿。自「核心標準」頒布後，美國教科書供應商多數都按照教科書市場需求的改變，或調整已有版本教科書使其與「核心標準」相一致，或依據「核心標準」重新編制新版教科書。但新版教科書在教學使用中卻引發了學校師生對教科書改革質量的質疑，教師們發現期盼已久的新版教科書相對以往並無實質性不同，對新版教科書能否很好地貫徹傳達此次課程改革目標產生了疑問。儘管為保障此次基礎教育教科書改革的實施質量，CCSSO和美國州長協會最佳實踐中心(National Governors Association Center for Best Practices，簡稱NGA)發布了教科書相關出版準則來規範教科書市場，著重強調教科書的核心內容要以聚焦「核心標準」為首要前提，但此次課程改革的精神和理念是否能夠在這些聲稱與「核心標準」相符的教科書中得到真正落實，還需要對各版本教科書和課程標準進行一致性程度檢測來驗視。[4]
2015年12月，摩根帶領WCER和南加利福尼亞州立大學研究者展開了應用「課程實施調查」一致性分析工具進行教科書與課程標準一致性研究的調查實踐，以掌握基於標準的課程改革在教科書這一課程實施層面上的落實程度。項目組織課程領域權威專家對來自三家教科書供應商的七本小學四年級數學教科書與「核心標準」、佛羅裡達州「下一代陽光州立標準」的一致性狀況進行了深入的測量評估與分析診斷。
依據本次美國小學四年級數學教科書與課程標準一致性研究進程，實踐動態呈現如下三個層面：(1)教科書與課程標準的一致性程度檢測，考查教科書在多大程度上與課程標準相符合；(2)教科書與課程標準的非一致性程度檢測，分析教科書與課程標準存在的偏差與成因；(3)以不影響數據質量和研究信度為前提，探究教科書與課程標準一致性分析模式是否可以進行一定程度的簡化。
(一)基礎測評：教科書與課程標準一致性程度檢測
1.教科書與課程標準的一致性
美國此次對不同版本小學四年級數學教科書與課程標準一致性的研究發現，「核心標準」版教科書與「核心標準」的一致性係數區間為0.294～0.396，表明教科書內容與「核心標準」具有約28％～40％的一致性。佛羅裡達版教科書與「下一代陽光州立標準」的一致性係數區間為0.255～0.420。結果都和教科書一致性係數所設立的最優值(0.5)存在一定差距。
不過，值得注意的是，教科書一致性結果的普遍性係數要高於《不讓一個學生掉隊法》提出的學業評價與課程標準，以及課堂教學與課程標準的典型一致性指數。[5]產生這一結果的原因可能有以下兩個：(1)教科書分析項目的數量比一般標準或測驗佔據更多的編碼單元格，項目數量的增加導致研究結果一致性指數增高；[6](2)教科書內容分析要比其他文件的分析更簡易有效，而這是因為教科書文本和問題所涵蓋的學生認知需求相對來說更易於識別和區分。
2.不同版本教科書的一致性
探究不同版本教科書一致性的目的主要是為了比較「核心標準」出臺前後，教科書供應商對兩個版本教科書的修訂或改編程度，並相互配對比較以完善教科書產品質量信息。從評價國家標準或州級標準在教科書建設與改革的落實程度中獲取的教科書產品質量信息，不僅可以為公眾提供公開的教科書信息以便選擇使用，也可為政府職能部門監管教科書市場提供相關證據支持。
樣本選取的三家教科書供應商都是美國基礎教育領域知名的出版機構，多年來在全美具有十分廣泛的受眾市場，所出版的教科書一定程度上可以代表美國教科書市場的高質量水準。我們不難發現，來自三家供應商的七本小學四年級教科書並沒有如供應商在產品官方網站和銷售中所聲稱的「完全符合課程標準」。雖然根據不同數學標準編制了兩個版本小學數學教科書，但每家供應商的兩個版本數學教科書間存在高度的一致性係數(＞0.6)，即有60％以上的相似度，均高於相應課程標準的一致性水平。
(二)系統深化：教科書與課程標準非一致性程度檢測
由於小學數學教科書與課程標準的一致性水平表現並不盡如人意，課程專家開始將科研目標聚焦於探查教科書不一致性產生的原因和因素來源，以期為調試教科書與課程標準偏差、改進教科書質量提供相關數據參考。非一致性研究系統地深化、分解了課程一致性和非一致性領域，得出了存在非一致性區域的結論。
1.教科書與課程標準的非一致性
在計算教科書與課程標準的非一致性係數時，課程專家開發了另一種以5％教科書內容為基準的一致性標準取值公式，即替代一致性係數(Alternative Alignment Index)。[7]研究發現，教科書與課程標準非一致性來自於以下兩個方面的偏差係數：一是內容話題非一致性(misaligned on topic)；二是學生認知需求非一致性(misaligned on cognitive demand)。因此，須分別從教科書內容和標準內容兩個維度進行判斷。[8]
以教科書內容劃分維度解釋，四本教科書的學生認知需求非一致性係數在0.15左右，教科書內容話題非一致性係數在0.049～0.196之間，表示5％～20％的教科書內容話題不存在於標準之中。以標準內容劃分維度解釋，學生認知需求非一致性係數分布在0.108～0.147區間，標準的內容話題非一致性係數在0.50～0.96之間，這說明大約有5％～10％的標準內容話題在四本教科書中沒有被覆蓋。
2.學生認知需求的非一致性
學生認知需求是教科書與課程標準非一致性的一個重要區域。數學學科的學生認知水平從低到高可以劃分為以下五種水平：識記；運算程序；闡明、解釋；推測、分析、歸納、證明；解決非常規問題、建立聯繫。[9]非一致性研究檢測了七本教科書與課程標準在這五種認知需求水平上的分布情況。
調查發現以下問題：(1)各版本小學數學教科書普遍存在過於關注低層次水平認知需求的現象，教科書中「識記」和「運算程序」的比例總和佔學生認知需求的87％～93％，遠高於課程標準要求的60％；(2)教科書對中級層次「闡明、解釋」的認知需求係數(7％～13％)沒有達到課程標準的佔比要求(33.3％)；(3)教科書中高層次認知水平覆蓋率遠遠不足，「推測、分析、歸納、證明」和「解決非常規問題、建立聯繫」所佔比例約等於0％，這代表研究取樣的七本小學數學教科書基本沒有提供給學生高層次認知目標的學習機會。
(三)模式改進：教科書與課程標準一致性分析模式簡化
教科書與課程標準一致性分析模式作為非介入性量化內容分析方法，存在價值中立、規則清晰、計量精確等明顯優勢，但同樣也存在一定的本然性局限。簡化教科書一致性分析模式的緣由主要出於以下三方面的考慮：(1)減輕成本投入。相關研究顯示，使用「課程實施調查」一致性工具分析一本教科書約花費1萬美元和200小時的人均成本。[10](2)提升一致性工具的可行性和使用性。在不影響分析數據質量的前提下提升方法性優勢，使大規模教科書分析成為可能。(3)減輕內容分析專家的執行負擔，提高編碼工作效率。儘管參與教科書內容分析的人員都是經過系統培訓、具有10年分析經驗的編碼專家，但承擔的工作依然強度過高、負荷過重。基於以上現實需要，課程專家展開了對教科書一致性分析模式簡化與改進的實踐探索。
1.模式簡化的方法
課程專家經過對小學數學教科書內容比率的重新評量與計算，提出了教科書一致性模式簡化的八種方法，分別是：(1)僅文本，每課的文本框，不包括問題、介紹、複習和測驗；(2)僅問題，主要部分、介紹、複習和測驗的問題，除了文本，與方法1相反；(3)教科書的主要部分，每課時的文本和問題，不包括介紹、複習和測驗；(4)介紹、複習和測驗，除了主要部分的文本和問題，與方法3相反；(5)每3個問題；(6)每5個問題；(7)每7個問題；(8)每10個問題。[11]其中方法5至方法8中所分析的問題皆出自方法2。
八種簡化方式在減少編碼比率上呈現出較大的差異性。例如採用「僅問題」的方法分析教科書並不能有效減輕編碼比率(＜10％)。相反，分析「每10個問題」或者本文部分可減少平均90％的編碼負擔。簡化方法為分析「每3個問題或每5個問題」則可減少70％以上的編碼比率。考慮到組塊數量與實際編碼時間之間本質的線性關係，這可能會節省數千美元以及100多小時的成本。
2.簡化方法的係數
上述研究表明，模式的簡化可以在一定程度上提高研究者和實施者使用「課程實施調查」一致性工具進行大規模教科書一致性分析的可行性和可操作性。但簡化方法是否會影響教科書與課程標準一致性評估的結果，以及是否可以承擔教科書評估效力的問題，還需要通過計算兩者間的一致性係數來回答。
首先，有課程專家分析了每種簡化方法與整本教科書內容分析間的一致性指數，考察教科書運用八種簡化方法進行分析與整本教科書內容分析相比是否具有一致性。從數據結果中可以總結出以下四個結論：(1)由於各種簡化方法都是教科書中部分子集與教科書整體的比較，導致結果的一致性指標明顯高於其他研究中一致性的水平；(2)包含問題的簡化方法一致性係數最高；(3)包含文本、章節介紹和複習的簡化分析方法與整本書相比一致性指標最低(≈0.8)；(4)雖然簡化方法都降低了一致性係數的指標，但「每5個問題」「每7個問題」「每10個問題」的簡化方法與整本教科書一致性係數相似度極高(＞0.9)。
其次，課程專家計算了每種簡化方法與對應課程標準間的一致性水平。這些指數可以回答教科書的八種簡化方法與「核心標準」或佛羅裡達州「下一代陽光州立標準」是否具有一致性，是否影響教科書與課程標準的一致性評估結果。研究結果顯示，簡化方法的一致性水平區間為0.28～0.46，並且各簡化方法的一致性指數基本一致，並不顯著地改變教科書一致性結果(＞13％)。其中與整本教科書一致性係數(0.373)最相近的簡化方法是「教科書的主要部分」(0.381)、「僅問題」(0.369)和「每5個問題」(0.368)。
3.信效度檢驗
有研究運用了皮爾遜相關分析(Pearson Correlation)重新調查了以上數據，結果顯示與上述一致性分析係數基本一致。較高的相關性表示單元格內教科書分析與單元格內課程標準分析有著較高的一致性。舉例來說，皮爾遜相關分析再次表明分析「每5個問題」(平均相關=0.405)的產出結果與整本書類似(平均相關=0.410)，並且教科書中文字往往比其他部分更符合標準。為保證研究信度，課程專家運用GENOVA軟體進行一系列概括性理論研究。將內容分析專家完成的內容分析轉化為比例向量，計算了分析專家的普遍性係數以得出內容分析的信度。研究結果顯示，專家對所有教科書的分析都具有高幅值的普遍性係數(＞0.97)。總體來說，「每5個問題」的簡化方法可以最優程度保證與教科書一致性分析結果的相關係數，並且無信度差異。
綜上所述，基礎教育教科書實施是一個動態複雜的過程，「由標準驅動並基於標準」的教科書改革賦予了教科書評價本質的視角和動力。美國採用「課程實施調查」一致性分析工具進行小學數學教科書質量檢測的實證研究，致力於探尋教科書與課程標準的一致性事實，闡釋非一致性本質，並改善自身的工具性和服務性，以達到最終促進教師教學和學生學業成就提升的目的。這種來自課程改革與課程評價的同步性資料，為教師、學校、教科書供應商與教育決策者提高教科書及其選用質量提供了可靠參考。目前，課程研究專家正在嘗試將教科書一致性相關研究結果在課堂教學幹預性研究中予以使用，以對教師提高課堂教學與課程標準的一致性有所幫助。[12]
二、結語
幾十年來，美國「課程實施調查」項目在基礎教育領域穩步紮實地推進，為美國教育質量現狀監測及發展趨勢預判提供了科學的數據基礎，有效地影響了美國基礎教育課程改革的決策和發展。
目前，我國基礎教育正處於向內涵式發展的關鍵轉型時期，教科書的實施質量日益成為制約基礎教育質量實現進一步優質發展的瓶頸問題。美國教科書與課程標準一致性研究歷程中逐步架構起的評價理論與經驗，可以為正在尋求拓展與深化的我國基礎教育教科書研究提供一定的借鑑與參考。
第一，美國教科書與課程標準一致性分析模式的建構詮釋了教科書質量評價的本質取向，即教科書質量分析的價值功能正在從一般性的質量評估向針對性的質量改進轉變。以往將評價作為價值判斷的思維視角是對教科書質量的終結性判斷，而教科書一致性分析模式是對目標與表現達成程度的確認，目的在於確定並改進教科書課程實際達成基礎教育目標的程度。鑑於此，釐清教科書評價研究的學理本質進行教科書研究的重要前提。
第二，美國教科書與課程標準一致性評價的目的是在界定清楚學生學習目標的前提下，幫助教科書提高與課程標準的一致性來最終改善學生的學習。因為對教科書質量高低的評判，不在於其固有各種屬性特徵的完備性，而在於是否最終指向學習改進和學生發展。目前，我國各學科課程標準對學生學習目標的表述過於宏觀，缺失細化的、可量化的學習成果評價標準。要實現以評價改善學習的最終目的，還需積極推進課程標準研究工作的縱深化發展，修訂更為細化的學習成果評價標準。
第三，美國實施教科書一致性評價的理論和實踐歷程表明，教科書與課程標準一致性分析模式存在方法上的優勢。作為新近興起的教育大樣本評估技術，教科書一致性分析模式的優越性體現在可以擴大研究對象範圍，收集到更加全面準確、普遍適用的真實數據，使實現大規模教科書質量研究成為可能。就技術本質而言，教科書一致性分析模式是一種用於量化教科書內容話題和認知需求與課程標準目標間一致性的方法，避免了傳統教科書內容分析法易「過度化約」「流於膚淺」的缺陷，為我國教科書研究提供了可參考的分析模式。
參考文獻：
[1]Blank,R.K.,Porter,A.C.,Smithson,J.L..New tools for analyzing teaching,curriculum and standards in mathematics and science[M].Washington,DC:Council of Chief State School Officers,2001:92.
[2]Roach,A.T.,Niebling,B.C.,Kurz,A..Evaluating the alignment among curriculum,instruction,and assessments:Implications and applications for research and practice[J].Psychology in the Schools,2008,45(2):158-176.
[3]鄭蕾，雷浩.美國「實施課程調查」項目進展及運作機制——SEC項目主任約翰·史密森博士專訪[J].全球教育展望，2017，(10)：11-23.
[10][11][12]Polikoff,M.S.,Nan Zhou,Shauna,E.C..Methodological choices in the content analysis of textbooks for measuring alignment with standards[J].Educational Measurement Issues and Practice,2015,34(3):10-17.
[4]Erik Robelen.Common-Core Writers Issue Math "Publishers' Criteria"[EB/OL].[2018-01-13].http://blogs.edweek.org/edweek/curriculum/2012/07/lead_writers_of_math_common_co.html.
[5]Polikoff,M.S.,Porter,A.C.,Smithson,J..How well aligned are state assessments of student achievement with state content standards?[J].American Educational Research Journal,2011,48(4):965-995.
[6]Polikoff,M.S..How well aligned are textbooks to the Common Core Standards?[J].American Educational Research Journal,2015,52(6):1185-1211.
[7][8]Polikoff,M.S.,Fulmer,G.W..Refining methods for estimating critical values for an alignment index[J].Journal for Research on Educational Effectiveness,2013,6(4):380-395.