第1章?緒論 1.1… 研究緣起 1.1.1 口語(yǔ)測(cè)試的發(fā)展 在語(yǔ)言測(cè)試中，口語(yǔ)測(cè)試是一種常見(jiàn)的考試類(lèi)型，是測(cè)量應(yīng)試人口語(yǔ)能力最直接的一種手段。20世紀(jì)末期，Bachmam提出了著名的“語(yǔ)言交際能力說(shuō)”。這種語(yǔ)言能力觀認(rèn)為語(yǔ)言能力不僅包括對(duì)語(yǔ)言系統(tǒng)知識(shí)的掌握，還包括對(duì)句子之外語(yǔ)言交際環(huán)境的掌握。基于“語(yǔ)言交際能力說(shuō)”的語(yǔ)言測(cè)試體系強(qiáng)調(diào)測(cè)試的“真實(shí)性”和“交際性”。在這種背景下，口語(yǔ)測(cè)試因其符合真實(shí)性和交際性的特點(diǎn)，日益受到重視。 口語(yǔ)測(cè)試是一種主觀測(cè)試。與客觀測(cè)試相比較，口語(yǔ)測(cè)試命題簡(jiǎn)單，評(píng)分卻比較困難�？谡Z(yǔ)測(cè)試在真實(shí)的交際環(huán)境中進(jìn)行，評(píng)分誤差的來(lái)源比較多。 如何控制口語(yǔ)評(píng)分的誤差，保證口語(yǔ)考試的信度是主觀性考試中的一個(gè)重要課題。 主觀考試評(píng)分中的誤差主要來(lái)源于測(cè)試任務(wù)、評(píng)分標(biāo)準(zhǔn)、評(píng)分量表和評(píng)分員等方面。測(cè)試任務(wù)、評(píng)分標(biāo)準(zhǔn)和評(píng)分量表等都是測(cè)驗(yàn)的開(kāi)發(fā)者制訂的，處于測(cè)驗(yàn)開(kāi)發(fā)者可控制范圍之內(nèi)，測(cè)驗(yàn)開(kāi)發(fā)者可以不斷修改、逐步完善。而評(píng)分員是測(cè)驗(yàn)開(kāi)發(fā)者無(wú)法把握的一個(gè)誤差來(lái)源，評(píng)分員的表現(xiàn)可能受到各種因素的影響，是動(dòng)態(tài)的、不斷變化的。評(píng)分員評(píng)分是一個(gè)根據(jù)既定的評(píng)分標(biāo)準(zhǔn)和評(píng)分量表，給應(yīng)試人口語(yǔ)能力賦值的過(guò)程。評(píng)分標(biāo)準(zhǔn)和評(píng)分量表要通過(guò)評(píng)分員才能作用于應(yīng)試人。評(píng)分標(biāo)準(zhǔn)和評(píng)分量表被評(píng)分員理解、內(nèi)化，最后才應(yīng)用于被試。所以，評(píng)分員如何評(píng)分直接關(guān)系到口語(yǔ)測(cè)試的信度和效度，評(píng)分員的評(píng)分質(zhì)量是測(cè)驗(yàn)開(kāi)發(fā)者的設(shè)計(jì)思路能否實(shí)現(xiàn)的關(guān)鍵。很多研究顯示，不同評(píng)分員評(píng)分的過(guò)程差異很大。評(píng)分員在理解、內(nèi)化評(píng)分標(biāo)準(zhǔn)時(shí)發(fā)生了什么？產(chǎn)生了哪些差異？如何描寫(xiě)這種差異？不同的評(píng)分員差異反映的本質(zhì)是什么？ 進(jìn)而我們要討論：這些評(píng)分員差異對(duì)評(píng)分質(zhì)量有哪些影響？什么樣的評(píng)分員的評(píng)分質(zhì)量較高？什么樣的評(píng)分員評(píng)分質(zhì)量較差？我們應(yīng)該如何評(píng)價(jià)一個(gè)口語(yǔ)測(cè)試的評(píng)分員？這就是本書(shū)要討論的問(wèn)題。 1.1.2 評(píng)分員評(píng)價(jià)體系研究現(xiàn)狀 在主觀測(cè)試領(lǐng)域中，對(duì)評(píng)分員的研究一直是一個(gè)熱點(diǎn)。這些研究的角度不同，有關(guān)于評(píng)分員的評(píng)分方法的，有關(guān)于評(píng)分員的評(píng)分信度的，還有關(guān)于如何培養(yǎng)評(píng)分員的，但其中有關(guān)漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員評(píng)價(jià)的研究不多。在我們搜集到的文獻(xiàn)中，僅有三篇是專(zhuān)門(mén)研究普通話評(píng)分員考核的，與我們要探討的評(píng)分員評(píng)價(jià)體系研究比較接近。 毛立群（2003）主要探討了普通話水平測(cè)試員考核體系的建立。文章首先從以下三個(gè)方面歸納了測(cè)試員隊(duì)伍的現(xiàn)狀：業(yè)務(wù)素質(zhì)、職業(yè)道德和科研進(jìn)修。在此基礎(chǔ)上結(jié)合浙江省普通話水平測(cè)試員管理的經(jīng)驗(yàn)，提出了建立普通話水平測(cè)試員考核體系的設(shè)想，包括以下四點(diǎn)：規(guī)范選拔程序，保證選送人員的質(zhì)量；點(diǎn)面結(jié)合，使業(yè)務(wù)素質(zhì)的考核盡量做到量化；工作量考核能客觀反映出測(cè)試員的熱情和態(tài)度；強(qiáng)調(diào)科研進(jìn)修，確立后續(xù)培訓(xùn)制度。這篇文章從普通話水平測(cè)試實(shí)踐管理出發(fā)，較全面地論述了普通話水平測(cè)試員考核體系的內(nèi)涵。美中不足的是，這篇文章比較宏觀，沒(méi)有往深處挖掘考核評(píng)分員的具體指標(biāo)以及考核評(píng)價(jià)對(duì)評(píng)分員的反饋效果。 錢(qián)華（2004）的研究，是迄今為止有關(guān)普通話水平測(cè)試員考核體系的研究中較為全面的一篇。文章首先從測(cè)試實(shí)踐出發(fā)，總結(jié)歸納了測(cè)試員考核中存在的問(wèn)題，在此基礎(chǔ)上提出構(gòu)建測(cè)試員考核體系的意義和原則，其次提出了測(cè)試員綜合指標(biāo)體系的內(nèi)容與基本框架，最后論述了考核工作的組織實(shí)施以及考核結(jié)果的運(yùn)用。這篇文章的考核指標(biāo)體系涉及四大方面：思想素質(zhì)結(jié)構(gòu)、業(yè)務(wù)素質(zhì)結(jié)構(gòu)、身心素質(zhì)結(jié)構(gòu)和績(jī)效結(jié)構(gòu)。這四個(gè)方面作為考核體系的一級(jí)指標(biāo)，每個(gè)一級(jí)指標(biāo)又具體細(xì)化為若干二級(jí)指標(biāo)，最后呈現(xiàn)為26個(gè)三級(jí)指標(biāo)。這些指標(biāo)設(shè)定得非常全面，包含了《國(guó)家語(yǔ)言文字工作委員會(huì)關(guān)于普通話水平測(cè)試管理工作的若干規(guī)定（試行）》第十一條規(guī)定的普通話水平測(cè)試評(píng)分員的考核內(nèi)容：工作態(tài)度、測(cè)試能力、測(cè)試工作量、遵守工作紀(jì)律情況等。同時(shí)，此研究還提出了考核的具體實(shí)施步驟。這篇研究從普通話水平測(cè)試員的測(cè)試實(shí)踐出發(fā)，具有很強(qiáng)的參考價(jià)值，但是理論的部分還有待加強(qiáng)。 在漢語(yǔ)水平考試（HSK）高等口語(yǔ)測(cè)試的相關(guān)研究中，專(zhuān)門(mén)對(duì)口語(yǔ)測(cè)試評(píng)分員展開(kāi)的研究不多。有些研究的成果可供參考，例如：關(guān)于評(píng)分誤差控制、評(píng)分員培訓(xùn)的研究，但還沒(méi)有見(jiàn)到專(zhuān)門(mén)關(guān)于口語(yǔ)測(cè)試評(píng)分員評(píng)價(jià)的研究。 1.2… 研究思路 1.2.1 研究目的和內(nèi)容 本文以語(yǔ)言測(cè)試學(xué)、人力資源評(píng)價(jià)理論為指導(dǎo)，采取理論與實(shí)證相結(jié)合的方法，通過(guò)研究旨在揭示評(píng)分員評(píng)價(jià)的本質(zhì)，提出構(gòu)建漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員評(píng)價(jià)體系的理論依據(jù)，確立漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員評(píng)價(jià)體系的指標(biāo)，設(shè)計(jì)評(píng)價(jià)方案，從理論與實(shí)踐兩個(gè)層面提出解決漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員評(píng)價(jià)的理論體系和實(shí)施方法。 從選題視角引出口語(yǔ)測(cè)試、語(yǔ)言能力、評(píng)分員、評(píng)分員評(píng)價(jià)等基本概念，對(duì)這些口語(yǔ)測(cè)試中的基本概念及它們的特征做詳細(xì)論述，在此基礎(chǔ)上完成構(gòu)建包括“素質(zhì)、能力、績(jī)效”為一級(jí)評(píng)價(jià)指標(biāo)的評(píng)分員評(píng)價(jià)體系。對(duì)“素質(zhì)”、“能力”和“績(jī)效”的評(píng)價(jià)分別通過(guò)“考核”、“考試”和“考績(jī)”的方式進(jìn)行。三種評(píng)價(jià)體系中，對(duì)“績(jī)效”的評(píng)價(jià)是最重要的，其他兩種處于輔助地位。本文的主要研究?jī)?nèi)容包括： （1）構(gòu)建漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員評(píng)價(jià)模式。闡述了建立漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員評(píng)價(jià)體系的理論基礎(chǔ)，包括建立評(píng)價(jià)體系的目的、作用、原則等。一個(gè)完整的漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員評(píng)價(jià)體系包含三個(gè)部分：“素質(zhì)”評(píng)價(jià)體系、“績(jī)效”評(píng)價(jià)體系和“能力”評(píng)價(jià)體系。在這三個(gè)方面中，“素質(zhì)”和“能力”主要是用來(lái)衡量評(píng)分員的內(nèi)在價(jià)值，“績(jī)效”主要是衡量評(píng)分員的外在價(jià)值，也就是評(píng)分員創(chuàng)造的價(jià)值。內(nèi)在價(jià)值能夠轉(zhuǎn)化為外在價(jià)值，所以在三個(gè)一級(jí)指標(biāo)中，“績(jī)效”指標(biāo)是最直接和最主要的。我們認(rèn)為，這三個(gè)方面較全面地代表了評(píng)分員的日常工作表現(xiàn)，是一個(gè)具有實(shí)際應(yīng)用價(jià)值的理論框架。 （2）構(gòu)建評(píng)分員“績(jī)效”評(píng)價(jià)模式。對(duì)評(píng)分員“績(jī)效”的評(píng)價(jià)主要反映在對(duì)評(píng)分員評(píng)分質(zhì)量的評(píng)價(jià)上。評(píng)分員的任務(wù)很多，特別是普通話水平測(cè)試（PSC）的評(píng)分員還有推廣普通話等其他任務(wù)。不同口語(yǔ)測(cè)試中，評(píng)分員承擔(dān)的任務(wù)不同，但其主要任務(wù)是為應(yīng)試人評(píng)分。評(píng)分質(zhì)量的高低關(guān)系著口語(yǔ)測(cè)試的信度和效度。本文為了量化評(píng)分員的評(píng)分質(zhì)量，構(gòu)建了以嚴(yán)厲度、一致性為指標(biāo)的“績(jī)效”評(píng)價(jià)體系。這個(gè)體系在理論上能夠反映評(píng)分員評(píng)分結(jié)果和應(yīng)試人能力的差別，可以用來(lái)評(píng)價(jià)評(píng)分員的評(píng)分質(zhì)量。 （3）應(yīng)用評(píng)分員“績(jī)效”評(píng)價(jià)模式進(jìn)行實(shí)證研究。本部分將使用現(xiàn)代測(cè)量理論嘗試量化評(píng)分員的評(píng)分質(zhì)量，為評(píng)價(jià)評(píng)分員提供測(cè)量學(xué)方面的理論支持。本部分的另一個(gè)貢獻(xiàn)是對(duì)量化結(jié)果進(jìn)行了有效性檢驗(yàn)，檢驗(yàn)結(jié)果顯示嚴(yán)厲度和一致性作為評(píng)價(jià)指標(biāo)可以反映評(píng)分員的評(píng)分質(zhì)量。 1.2.2 研究方法 理論與實(shí)證研究相結(jié)合的研究方法是本文研究最基本的研究方法。具體來(lái)講，本文使用的主要研究方法有： （1）文獻(xiàn)法。為完成本項(xiàng)研究，我們搜集了數(shù)百篇有關(guān)漢語(yǔ)口語(yǔ)測(cè)試、評(píng)價(jià)體系的學(xué)術(shù)論文，窮盡性地收集了關(guān)于普通話水平測(cè)試（PSC）和漢語(yǔ)水平考試（HSK）的學(xué)術(shù)論文，其中包括數(shù)十篇碩博士論文。除此之外，筆者還認(rèn)真研讀了語(yǔ)言測(cè)試方面的中外文專(zhuān)著。通過(guò)閱讀文獻(xiàn)，掌握了進(jìn)行評(píng)分員評(píng)價(jià)的理論和方法，為完成論文打下了良好的基礎(chǔ)。 （2）分析法。在占有大量文獻(xiàn)資料的基礎(chǔ)上，“去粗取精、去偽存真、由此及彼、由表及里”，對(duì)文獻(xiàn)資料的內(nèi)部邏輯關(guān)系進(jìn)行深入分析。 A.對(duì)比總結(jié)。對(duì)比分析是本研究中使用的重要方法之一�？谡Z(yǔ)測(cè)試的種類(lèi)很多，我們選擇了幾種有代表性的測(cè)試，有的是外語(yǔ)口語(yǔ)測(cè)試，有的是漢語(yǔ)口語(yǔ)測(cè)試。在和其他口語(yǔ)測(cè)試對(duì)比的基礎(chǔ)上，我們得出了漢語(yǔ)口語(yǔ)測(cè)試的特點(diǎn)，即對(duì)評(píng)分員的要求是全面的。在分析評(píng)分員的特點(diǎn)時(shí)，我們也使用了這種方法。通過(guò)和科研人員、高校管理人員等的對(duì)比，發(fā)現(xiàn)了漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員具有“雙重性”特點(diǎn)。 B.歸納演繹。歸納由個(gè)別走向一般，演繹由一般走向個(gè)別。本文運(yùn)用歸納與演繹相結(jié)合的方法，提出了漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員評(píng)分質(zhì)量的指標(biāo)，對(duì)漢語(yǔ)口語(yǔ)測(cè)試評(píng)分員評(píng)分質(zhì)量指標(biāo)的有效性進(jìn)行了檢驗(yàn)。 （3）問(wèn)卷調(diào)查。本研究在研究口語(yǔ)測(cè)試中評(píng)分員內(nèi)化評(píng)分標(biāo)準(zhǔn)類(lèi)型時(shí)，使用了問(wèn)卷調(diào)查的方式，共向90位評(píng)分員發(fā)放了調(diào)查問(wèn)卷，回收82份。問(wèn)卷調(diào)查是現(xiàn)代社會(huì)科學(xué)研究中最常用的資料收集方法，使用問(wèn)卷可以了解人的態(tài)度。問(wèn)卷調(diào)查結(jié)果為解釋評(píng)分員評(píng)分差異提供了寶貴信息。 （4）實(shí)驗(yàn)法。在當(dāng)今時(shí)代，實(shí)驗(yàn)方法已經(jīng)不再是自然科學(xué)的專(zhuān)屬方法了。對(duì)某種行為或現(xiàn)象進(jìn)行研究，對(duì)其做出解釋、預(yù)測(cè)和控制，只能通過(guò)實(shí)驗(yàn)。本研究中設(shè)計(jì)了評(píng)分員為共同應(yīng)試人評(píng)分的實(shí)驗(yàn)，收集到了寶貴的一手?jǐn)?shù)據(jù)，這些數(shù)據(jù)是完成此次研究的基礎(chǔ)保障。 （5）聚類(lèi)分析等多元統(tǒng)計(jì)方法。本項(xiàng)研究對(duì)數(shù)據(jù)進(jìn)行分析時(shí)，我們使用了聚類(lèi)分析（cluster analysis）這種多元變量統(tǒng)計(jì)方法，對(duì)評(píng)分員的內(nèi)化評(píng)分標(biāo)準(zhǔn)進(jìn)行歸類(lèi)研究。聚類(lèi)分析實(shí)質(zhì)上是一種分類(lèi)技術(shù)，而分類(lèi)是人類(lèi)認(rèn)識(shí)事物的最基本方法之一。聚類(lèi)分析和以往分類(lèi)技術(shù)不同的是依靠科學(xué)的定量方法進(jìn)行分類(lèi)，是一種精確可靠的方法。除此而外，本項(xiàng)研究還應(yīng)用了相關(guān)分析等其他統(tǒng)計(jì)方法。 （6）多面Rasch模型。多面Rasch模型是一個(gè)功能強(qiáng)大的項(xiàng)目反應(yīng)理論模型，它可以將觀測(cè)試中來(lái)自應(yīng)試人、評(píng)分員、口語(yǔ)測(cè)試任務(wù)等多個(gè)方面的變異分解，是目前主觀評(píng)分研究中使用最多的模型。本研究應(yīng)用此模型量化了評(píng)分員的嚴(yán)厲度和一致性，評(píng)價(jià)了應(yīng)試人的口語(yǔ)能力。這是本研究使用的最重要的研究方法之一。