本研究旨在基于“評價使用論證(Assessment Use Argument,簡稱AUA)”理論框架(Bachman & Palmer,2010),對“義務(wù)教育階段英語學(xué)習(xí)質(zhì)量監(jiān)測系統(tǒng)”中的八年級口語測試進行效度驗證。評價使用論證是教育評價領(lǐng)域指導(dǎo)測試開發(fā)和效度驗證的*新理論范式,是對Kane(1992,2002,2004;Kane, Crooks & Cohen,1999)基于論證的效度驗證的進一步發(fā)展。在這一視角下,效度驗證是一個論證過程,此論證過程依據(jù)“實用推理模型(Toulmin, 2003)”,實現(xiàn)從事實到主張的步步推理。考生的“測試表現(xiàn)”是論證所基于的**個事實,從“測試表現(xiàn)”出發(fā)可獲得“測試記錄”這一主張,“測試記錄”同時轉(zhuǎn)化為“分數(shù)解釋”這一主張所依據(jù)的事實;“分數(shù)解釋”進一步轉(zhuǎn)化為下一主張——“決策制定”所依據(jù)的事實;基于“決策制定”這一新的事實,*后作出有關(guān)“測試后果”的主張。評價使用論證強調(diào)測試的使用,將使用測試的后果做為設(shè)計和開發(fā)測試的首要考慮因素,因此效度驗證也是證明測試使用合理性的推理過程,包括構(gòu)建評價使用論證框架和收集證據(jù)對其進行驗證兩個階段。
“義務(wù)教育階段英語學(xué)習(xí)質(zhì)量監(jiān)測系統(tǒng)”的八年級口語測試以《義務(wù)教育英語課程標準(2011年版)》(以下簡稱《英語課程標準》)四級有關(guān)“說”這一技能的相關(guān)要求為依據(jù),制定了具可操作性的測試任務(wù)開發(fā)和設(shè)計的細目表,成為設(shè)計口語任務(wù)和研究口語測試使用的重要指南。本口語測試采用面試型口試形式,包括日常會話、朗讀短文和看圖說話三個測試任務(wù)。測試目的是了解八年級學(xué)習(xí)者的口語水平,為教育行政部門制定相關(guān)教育決策提供基于測試的證據(jù);跍y試結(jié)果所做的決策對學(xué)生、教師等測試利益相關(guān)者都會產(chǎn)生不同的影響,因此保證和探究本口語測試的質(zhì)量至關(guān)重要。
高淼,中央財經(jīng)大學(xué)外國語學(xué)院講師,外國語言學(xué)與應(yīng)用語言學(xué)博士,畢業(yè)于北京師范大學(xué),研究方向:語言測試與評價、英語語言教學(xué)。
第1章 引言
1.1 研究背景
1.1.1 基礎(chǔ)教育質(zhì)量監(jiān)測項目
1.1.2 小樣本英語口語測試
1.2 選題緣起
1.3 評價使用論證概述
1.4 研究目的與意義
1.5 主要術(shù)語
1.6 本書結(jié)構(gòu)
第2章 文獻綜述
2.1 構(gòu)念及表現(xiàn)性評價中的構(gòu)念界定
2.1.1 構(gòu)念的定義及界定構(gòu)念的視角
2.1.2 表現(xiàn)性評價的構(gòu)念界定
2.2 效度和效度驗證
2.2.1 效度概念的變化
2.2.2 效度驗證的發(fā)展
2.3 評價使用論證(AUA)
2.3.1 AUA的基本結(jié)構(gòu)
2.3.2 評價使用論證與基于論證的效驗的比較及其特點
2.4 第二語言口語能力
2.4.1 語言能力
2.4.2 對第二語言口語能力的認識
2.4.3 口語的本質(zhì)
2.5 表現(xiàn)性評價與第二語言口語測試
2.5.1 表現(xiàn)性評價
2.5.2 口語測試模型
2.5.3 相關(guān)的第二語言口語測試研究視角
2.6 相關(guān)研究
2.6.1 評價使用論證研究
2.6.2 混合研究方法
2.6.3 質(zhì)性研究與口語測試效度研究
2.6.4 對口語測試信度的量化研究
2.7 本章總結(jié)
第3章 英語口語測試的評價使用論證框架
3.1 測試記錄
3.1.1 主張
3.1.2 理由
3.2 分數(shù)解釋
3.2.1 主張
3.2.2 理由
3.3 決策制定
3.3.1 主張
3.3.2 理由
3.4 測試后果
3.4.1 主張
3.4.2 理由
3.5 本章總結(jié)
第4章 研究設(shè)計
4.1 研究目的和研究問題
4.2 方法論及研究設(shè)計
4.3 參與人員
4.3.1 口試考生群體及抽樣
4.3.2 評分標準制定人員
4.3.3 評分員
4.3.4 口述報告研究被試
4.4 研究工具
4.4.1 口試試題
4.4.2 分項評分標準
4.4.3 即時追溯性口述
4.4.4 訪談
4.5 研究步驟
4.5.1 分項評分標準制定及驗證
4.5.2 評分
4.5.3 口語語料語篇特征分析
4.5.4 會話分析
4.5.5 做題過程研究
4.6 數(shù)據(jù)分析方法
4.6.1 量化數(shù)據(jù)分析方法
4.6.2 質(zhì)性數(shù)據(jù)分析方法
4.7 方法論意義
第5章 研究結(jié)果
5.1 有關(guān)“測試記錄”主張的研究結(jié)果
5.1.1 分項評分標準的驗證及修訂
5.1.2 評分信度研究
5.2 有關(guān)“分數(shù)解釋”主張的研究結(jié)果
5.2.1 口語產(chǎn)出的語篇特征分析
5.2.2 會話分析研究
5.2.3 考生做題過程研究
5.3 本章總結(jié)
第6章 口語測試評價使用論證(AUA)的證據(jù)匯總及討論
6.1 英語口語測試的AUA主張
6.2 理由、反駁及證據(jù)
6.2.1 測試記錄
6.2.2 分數(shù)解釋
6.2.3 決策制定
6.2.4 測試后果
6.3 本章總結(jié)
第7章 結(jié)語
7.1 研究結(jié)果
7.1.1 研究問題一:支持“測試記錄”主張的實證證據(jù)有哪些
7.1.2 研究問題二:支持“分數(shù)解釋”主張的實證證據(jù)有哪些
7.2 研究價值及啟示
7.2.1 效度驗證的理論與實踐方面
7.2.2 對口語測試實踐的指導(dǎo)方面
7.2.3 研究方法方面
7.2.4 口語教學(xué)方面
7.3 研究局限及前景
附錄1:整體評分標準
附錄2:口試測試試題及對三組圖片的詳細描述
附錄3:做題過程后的追蹤訪談提綱
附錄4:分項評分標準
附錄5:會話分析轉(zhuǎn)寫符號體系
附錄6:口試錄音語料轉(zhuǎn)寫舉例
附錄7:被試口述報告及訪談錄音轉(zhuǎn)寫文本舉例
附錄8:NVivo編碼形成過程
附錄9:各維度上各側(cè)面的具體方差分量估計值匯總
附錄10:每位被試的編碼節(jié)點情況
參考文獻
后記