律師考試與司法官考試的信度(初步進度摘要)

律師考試與司法官考試的信度
(初步進度摘要)

                                                     蔡式淵

律師考試與司法官考試有幾個特性使我們能夠深入探討這兩項考試的信度。第一、每年同時報考這兩項考試的人非常多，去（2013）年報考司法官考試7,367人中就有5,852人（79％）重覆報考律師，且兩項考試時間只相隔2週。第二、這兩項考試的命題範圍及型態完全相同，涵蓋各法學學門。（第一試300題選擇題，得分名列前三分之一者得應第二試20題申論題）。第三、由於報考者眾，所以同時通過兩項考試的第一試而參加第二試的人數也相當可觀（2013年有1,493人）。第四、第二試的每一題申論題都由兩位不同的評閱者獨立評分，採兩者平均數為該題得分。

     由研究設計的角度來看，我們可以把每年律師考試與司法官考試看成是同一個考試的兩種版本，以重覆應考者的表現來計算兩個版本之間的信度。另外，因為同一個版本的申論題有兩位評閱者，所以我們可以計算「各題得分」、「各科得分」及「4科目總分」的「（單閱）評閱者間之信度」。我們甚至可以初步比較「國文/作文」科目與其他法律專業科目之信度。（不過，「作文」並沒有雙閱，所以只能比較每年兩種版本間之信度，並且是「不同評閱者（單閱）」之信度）。

     我們目前仍在計算與驗算上述各種信度資料，詳細的報告將會公開發表。其初步結果簡單摘要如下：

1.      第一試（300題選擇題）的「評閱者間信度」：因為是機器（電腦）閱卷，且以高敏感度/低敏感度2次讀卡閱卷，再輔以人工抽閱，其信度應極接近1.0。

2.      第一試（300題選擇題）「兩版本間信度」：過去3年（2011~2013），司法官考試與律師考試得分之相關係數分別為0.91、0.91與0.90。若只計同質性較高的「同時上榜律師與司法官第一試」的人，而非所有同時報考者，則相關係數分別為0.74、0.71與0.69。

3.      第二試申論題「每個題目」的「（單閱）評閱者間信度」：司法官考試每年有20題申論題，每題各有2位評閱者，2011年這20個相關係數平均為0.76（range: 0.59~0.94）、2012年0.75（range: 0.57~0.96）、2013年0.75（range: 0.44~0.90）。律師考試，2011年0.75（range: 0.54~0.86）、2012年0.80（range: 0.60~0.96）、2013年0.70（range: 0.51~0.90）。

4.      第二試申論題「各科目得分」及「4科目總分」之「（單閱）評閱者間信度」：尚未完成計算。

5.      第二試申論題的「（雙閱）評閱者間信度」：沒有資料可以計算，因為每題都只有一組（兩人）評閱。

6.      第二試申論題專業科目總分之「兩版本間且由不同組雙閱之信度」：2011年，同時考司法官考試與律師考試之應考人，其司法官專業科目（共4科）總分與律師專業科目總分之相關為0.73，2012年為0.71，2013年為0.71。（總分以雙閱者之平均計算；同年度之司法官與律師考試每一題均由不同之兩人閱卷）。若在「專業科目總分」之上加計「國文得分」，相關係數沒什麼改變（2011年0.72；2012年.0.71；2013年0.71）。值得一提的是，此數值（0.71～0.73）與前面2.提到的「同時上榜律師與司法官第一試」者在第一試（選擇題）的「兩版本間信度」（0.69~0.74）似乎毫不遜色；不過這項意外的結果目前只有3年的資料。

由這些初步資料來看，考試院辦理的律師考試與司法官考試固然有急需改進之空間，但整體而言應可視為高品質之測驗。至於其他考試院舉辦之考試（716個類科，共4,437個科目）是否能有如此水準，則尚待進一步研究。