[2006 정시] Cutraced Report™ 2006 서울대판에서 발생한 추적 오류의 원인과 대응 방안
의예과 Portal 5584번 게시물에서 (전문을 보려면 여기를 클릭하십시오.) :
커트레이서는 경쟁률에 의거한 단순 비례법을 사용하지 않으며, 과거 커트레이서 표본으로부터 추출된 편중 경향 정보에 의거하여 표본의 분포를 보정한 후, T분포와 그 외 자체적인 정보들을 고려하여 추정치를 산출합니다. 따라서 진학.사가 사용한다고 알려져있는 방법과는 전혀 다릅니다. 단순 비례법을 이용하면 한 모집 단위의 추정치를 뽑아내는데 1분도 걸리지 않으며, 심지어는 전과정을 자동화할 수도 있습니다.
그러나 표본의 치우침이 심하거나, 치우침이 있더라도 그 정도가 일정치 않으면 보정작업만으로는 한계가 따르는 것도 사실입니다. 저희에게는 2004학년도의 편중 경향에 대한 자료는 있으나, (커트레이서 2005가 실시되지 않았으므로) 2005학년도의 편중 경향에 대한 자료는 없다는 것도 많은 부담이 됩니다. 그리고 여러 단계의 보정작업을 거치더라도 부적절한 표본으로부터 얻어진 자료가, 매우 적절한 표본으로부터 얻어진 보정작업을 거치지 않은 자료의 품질을 능가하는 데에도 많은 어려움이 따릅니다.
연고대 Portal 8746번 게시물에서 (전문을 보려면 여기를 클릭하십시오.) :
위에서 언급한 방식에 의거하여, 커트레이서의 작동 방식에 대해 의구심을 갖고 계신 분들께 문제로 지적된 고대 국제어문 표본에 대한 풀이 과정을 예증해 드리겠습니다.
고대 국제어문 표본의 왜도(skew rate)는 0.70으로 정규분포 그래프에 비해 상향편중되어 있어 표본이 특정 점수대에서 모집단에 비해 과대평가되어 있을 가능성을 제시하고 있습니다. 표본의 첨도(kurt)는 1.75로, 정규분포 그래프에 비해 뾰족한 모양을 띠고 있어 점수대에 따라서 보정 결과가 급격히 변할 수 있을 가능성을 제시하고 있습니다. 1배수 커트라인으로 제시된 877.318점은 표본에서 상위 35.48%에 해당하나, 분포의 왜곡에 대한 보정 후 (정규분포 기준) 43.06%가 됩니다. 국제어문의 경우 표본이 30개 이상으로, 랜덤 추출 과정에서 통상적으로 일어나는 자연스러운 에러는 상쇄될 수 있다고 기대되며 (근거: 자유도가 30 이상인 T분포는 정규분포에 근사. 일종의 큰 수의 법칙) T분포로 보정한 877.318점의 순위는 상위 43.12%에 해당합니다. 우리는 30개에 근접한 표본에 대해서는 Z분포의 값을, 20개 이하의 표본으로 구성된 모집 단위에 대해서는 T분포의 값을 우선적으로 신뢰하고 추정작업을 진행합니다. 예전에 제가 최악의 경우 9개의 표본으로도 아주 거친 추정치를 근사해낼 수 있다고 말씀드렸던 것에 대한 통계학적인 근거는, T분포는 자유도가 10 근처인 시점에서부터 아주 기형적인 모양을 벗어난다는 데 있습니다. 실제로 커트레이서 2004에서 표본이 9개인 의예과 모집 단위에 대해서 성공적인 추정을 해낸 사례가 있습니다. (물론, 표본이 적은 모집 단위에서는 랜덤 추출에 의한 오류가 상쇄될 기회가 줄어들기 때문에, 추정 실패의 가능성이 더욱 높아집니다.)
(중략)
이러한 보정과정만으로 표본의 집단적인 바이어스 (모집단으로부터 랜덤하게 표본이 추출되지 못하고, 특정 속성을 가진, 모집단을 대표하지 못하는 표본이 구성됨으로써 나타나는 바이어스) 를 제거할 수는 없기 때문에, 커트레이서 2003~2004에서의 표본의 분포와 실제 합격선 간의 차이로부터 밝혀진, 표본의 상향편중 혹은 하향편중 경향으로부터 상위 43.06% (혹은 상위 43.12%) 라는 해당 점수를 보정하여 모집단에서의 순위를 다시 추정합니다. 가령 100명을 뽑는 모집 단위에서 원서가 200개 들어가 경쟁률이 2:1이 되고, 추출된 표본이 20개라면, 1.4배수 합격선은 표본이 랜덤추출되었을 경우 표본에서 14등이 되어야 합니다. 그러나 표본에 바이어스가 있을 경우 실제로는 표본의 17등에서 1.4배수 합격선이 형성될 수 있습니다. 그렇게 되면 우리는 17등 이하에서 약 4개의 표본이 추출되지 않아 바이어스가 발생했음을 알게 됩니다. (∵ 17 / 24 ∼ 0.7 = 140 / 200 ) 그리하여 다음 추정에서는 정규 분포 그래프를 심하게 훼손하지 않는 수준에서 4개의 팬텀 표본을 삽입해 주게 됩니다. 이 과정을 각각의 점수대에 대하여 반복합니다. 여기가 커트레이서의 코어에 해당하는 부분으로 우리의 노하우입니다. 재보정 결과 경쟁률에 의한 1배수 합격선인 상위 35.57%에 가장 근접한 표본의 값으로서 877.318이 선택되었습니다.
요컨대, 877.318점이 1배수 커트라인으로 제시된 것은 경쟁률에 의한 단순 비례 계산에 의한 결과가 아니라, 두 차례의 보정작업을 거치면서, 한 번은 (+)방향으로 보정이되고, 한 번은 (-)방향으로 보정이 되면서 결과적으로 추정값이 원래 위치로 돌아왔기 때문입니다. 소수점 셋째자리까지 표본과 수치가 같은 것은 별도의 함수를 만들어 새로운 값을 추정해 내는 것이 아니라 표본 중에서 최종 계산값과 가장 근접한 것을 선별해 내기 때문입니다. 이것은 함수 자체를 구성하기가 매우 어려울 뿐만 아니라, 논리적으로도 이 대학의 자체 산출 방식에 의거한 점수가 불연속적으로 존재하기 때문입니다. 예를 들면 877.318점은 존재하지만 877.311점은 존재할 수 없을 것입니다. 그것이 이러한 방식을 사용하는 이유입니다.
1.2배수 추정치와 1.4배수 추정치가 876.780과 875.936이라는 값을 얻게된 것도 단순히 값을 2~3개 밑으로 내린 것이 아니라, 해당 점수대에서 나타나는 표본의 바이어스 경향이 결과적으로 그 정도로 보정된 값을 갖게 되기 때문에 해당 값이 추정치로 선정이 된 것입니다. 가령 1.4배수를 예로 들면, 875.936이라는 값은 표본에서는 상위 67.74%에 해당하는 값이나 일차 보정 후 이 값은 62.20% (62.09%) 로 교정됩니다. 1배수 합격선 근방에서 하향 보정되는 것과는 달리 상향 보정되는 것을 알 수 있습니다. 여기에 표본 편중으로 인한 변수를 상쇄하는 2차 보정 과정을 거치면 경쟁률에 의한 1.4배수 합격선에 해당하는 상위 49.79%에 가장 근접한 수치가 표본 중에서는 875.936이 됩니다.
여기까지가 고려대 국제어문학과의 커트레이서 추정치가 계산된 과정입니다.
다음은 Cutracer™ 2006: 서울대에서 발생한 추적 오류에 대한 원인의 분석입니다. 본 문서에서 제기하고 있지 않은 다른 요소가 추적에 영향을 주었을 수 있습니다만, 가장 주요하다고 여겨지는 문제점들을 나열하였습니다.
1. Cutracer™ 2004 에서와 다른 표본 수집 방법이 불러온 표본의 품질 저하
이전의 Cutracer™ 2003이나 Cutracer™ 2004와는 달리, Cutracer™ 2006은 눈가림 게시판 (완전한 익명 시스템이 아니라 오르비스 옵티무스의 실명 인증 방식을 통해 인증을 받은 회원들에 한하여 표본 참여 권한을 부여) 에서 댓글을 통해 표본을 수집하는 방식을 택하였습니다. 기존의 2004판에서도 실명 권한을 가진 회원들만이 투표에 참여하였으나, 당시의 표본 수집 방식은 투표제에 기반한 것으로 댓글을 통해 표본을 수집하는 현행 방식과는 차이가 있었습니다. 표본의 개수에는 큰 차이가 없었으나 표본을 수집하는 방식에서의 차이가, 기존의 방식보다 더 심한 표본 편중을 불러일으켰습니다.
커트레이서 시스템의 팬텀 표본이 유효하기 위해서는 표본의 편중 정도가 2004학년도와 2006학년도에서 큰 차이가 없었어야 하는데, 이번 2006학년도의 표본에서는 경쟁률이 3.40:2에 이르렀던 인문계열1의 최저점 표본이 166.02로, 실제 합격선으로 추정되는 165.86에 비해 더 높았습니다. 경쟁률이 3.47:2였던 수리과학부통계학과군에서도 최저점 표본이 164.50점으로 실제 커트라인으로 추정되는 164.38에 비해 더 높았습니다. 경쟁률이 낮았던 모집 단위들에서는 이러한 경향이 더욱 심해, 경쟁률이 2.2:2였던 법과대학의 경우 수집된 최저점 표본이 165.54점으로 커트라인으로 제시되는 162.20점에 비해 3점 이상 높았습니다. 그 외에도 무려 72개의 표본이 수집된 사회과학계에서도 최저점 표본이 165.30으로, 실제 커트라인으로 추정되는 164.69에 비해 거의 1점 가량 높은 모습을 보였습니다. 그 외에도 여러 모집 단위들에서 표본 전원이 1차 합격을 하는 기현상이 발생했습니다.
법과대학이나 사회과학계열과 같이 2점대 경쟁률의 모집 단위에서 합격선이 추락하는 것은 흔한 일이며, 이러한 모집 단위에 대하여 추정 작업을 진행하는 것은 거의 불가능합니다. 그렇지만 경쟁률이 낮지 않았던 인문계열1과 같은 모집 단위에서마저 표본 전체가 합격하는 상황에서 그러한 표본만으로 합격선을 추정한다는 것은 불가능한 일입니다. 이러한 상황을 비유하자면, A 대통령 후보를 지지하는 국민이 절대적으로 우세한 남서부 지역과 B 대통령 후보를 지지하는 국민이 절대적으로 우세한 남동부 지역을 갖고 있는 가상의 국가에서, 남서부에서 추출한 표본에서 A 대통령 후보의 지지율이 100%가 나왔을 때, 인구 비례에 대한 정보도 없이, 100%의 지지율을 기록한 이 정보만으로 전체 국가에서의 A 후보와 B 후보의 득표율을 예측하라는 것과 같은 것입니다.
2. 경쟁률이 2:2에 근접한 모집 단위에서의 추정 위험
1번 항목의 연장선상에 있는 원인으로, 일부 모집 단위의 낮은 경쟁률은 추정 오차를 더욱 확대시켰습니다. 가령 법과대학의 경우 정상적인 지원이 이루어져도 허수 지원 변수 때문에 정확한 추적이 어려운데, 2006학년도의 경우 경쟁률이 2.21:2로, 지원자의 90.57%가 1차 합격을 하게 되었습니다. 이러한 모집 단위들에 대한 추정 작업은 막대한 어려움이 따릅니다. 문과 계열 상위권 모집 단위들이 대부분 2점대의 경쟁률을 기록해 추정 오차를 확대시키는 데 일조하였습니다.
3. 비교내신 추정의 실패
특히 서울대 내에서도 최상위권 표본이 밀집되는 의예과의 경우 비교내신 추정 방식에 따라 추적 결과가 크게 달라질 수 있습니다. 서울대에서 발표한 신입생 모집 요강 자료를 기반으로 하여 오르비스 옵티무스는 비교내신 비적용자와 비교내신 적용자들의 수능 점수와 내신 점수를 수집하여 합리적인 방법으로 비교내신 점수를 추정하기 위해 노력하였습니다만, 실제 서울대의 비교내신 적용 방식은 우리의 추정 방식과 큰 차이가 있었습니다. 우리의 추정 방식은 비교내신 비적용자의 내신 점수와 비교내신 적용자의 수능 점수를 실질적으로 1대1 대응하는 방식이었으나, 서울대의 방식은 그렇지 않았습니다. 우리의 추정 방식을 적용하면 자연계 67.84점 획득자의 비교내신 점수는 99.90점에 이르나, 서울대에서 실제로 적용된 비교내신 점수는 99.31점 미만인 것으로 알려졌습니다. 그 결과 우리가 최종판에서 제시하였던 의예과 합격선 167.51점보다 0.36점 낮은 지점에서 합격자가 발생하였으나, 비교내신 적용자 중에서는 우리가 제시한 67.64점보다 0.20점 높았던 67.84점 득점자는 불합격하는 사례가 발생하였습니다.
서울대에서 발표한 비교내신 적용 방법은 다음과 같습니다 (예체능계열 모집 단위 제외): 계열별로 학생부 적용 대상자를 기준으로 하여 지원자 중 동등한 수준의 대학수학능력시험 성취도를 보인 학생부 적용 대상자의 교과 성적을 기준으로 반영한다. 단, 비교내신 적용 대상자 중 더 높은 수능 점수를 받은 학생이 더 낮은 교과 성적을 받지 않도록 보정한다.
그런데 99.31점의 내신 점수는 오르비스 옵티무스에서 수집된 표본 중 상위 65%에 해당하는 내신으로, 67.84점의 수능 점수가 수집된 표본 중 상위 10%에 해당하는 것임을 고려해 볼 때, 실제 비교내신 성적의 계산 과정에 사전에 우리가 예견하기 어려웠을 비합리적인 과정이 내포되어 있었음을 강하게 시사하고 있습니다. 우리는 커트레이서 1판을 발표할 때, 계열별로 자료를 분리하지는 않았으나, 학생부 적용자들의 내신 성적과 비교내신 적용자들의 수능 성적을 표준화 한 후 각각에 대응시킨 후 선형변환하여 비교내신 점수를 산출하였는데, 계열별로 자료를 분리할 경우 서울대의 추정과 다소 흡사한 결과를 얻게 됩니다. 이 방법을 이용하면 비교내신 점수 산출 공식을 한 줄로 정리할 수 있게 되며, 비교내신 점수를 산출하는 함수도 생성할 수 있게 됩니다. 우리는 1판에서 이 방식을 사용해 비교내신 점수를 추정한 후, 수능 초고득점자와 수능 저득점자 사이에 비교내신 점수가 큰 차이가 나지 않는다고 판단, 이 방법을 적용하는 것을 포기하였으나, 이번 실제 비교내신 적용자들의 1차 발표 결과에서 자연계 67점대 후반 득점자와 65점대 초반 득점자 사이에 비교내신 점수가 거의 차이가 없는 (0.2~0.3점 정도) 것으로 밝혀져 표준화를 통한 선형 변환 방식이 실제 적용되는 방식이 아닌지에 대한 강한 의구심을 갖게 하고 있습니다.
우리는 2002년에 이미 이 방법을 이용해서 서울대학교의 2003학년도 비교내신 점수를 추정한 사례가 있는데, 여기를 클릭하여 해당 게시물을 확인할 수 있습니다. 당시의 내신 점수 계산 방식은 현재와 큰 차이가 있어 수능 점수 변화에 따른 내신 점수 변동 폭이 커 보이지만, 올해의 자료를 대상으로 당시와 같은 방법을 적용하면 그 변동폭이 대폭 줄어듭니다.
이와 같은 원인들로 인해 우리는 Cutracer™ 2003이나 2004에서의 적중 결과가 부끄러울 정도로 Cutracer™ 2006 에서 만족스러운 추적 결과를 얻는데 실패하였습니다. 2006학년도에 밝혀진 문제점을 해결하고 Cutracer™ 2007 에서는 더 정확도가 높은 추적 결과를 얻기 위해서 우리는 1년 동안 다음과 같은 노력을 기울여야 할 것입니다.
1. 합리적인, 다시 말해 현실적으로 최소한으로 편중된 표본을 수집해야 합니다. 표본의 수는 각 모집 단위 별로 30개 정도를 넘어가면 사실 큰 문제가 되지 않으며, 수보다 훨씬 더 중요한 것은 표본의 편중 정도(bias)입니다. 상향 지원을 한 저득점자들이 표본 제공을 꺼리는 현 상황에서 랜덤 표본을 추출하는 것은 불가능합니다. 다만, 팬텀 표본의 삽입을 통한 보정 과정이 유효한 수준으로는 편중 정도가 낮아야 하는데 그러한 표본을 얻을 수 있는 수집 방법에 대한 대책이 필요합니다. 그러나 수집 방법의 변경은 팬텀 표본을 삽입할 수 있게 하는 사전 정보를 소실시키므로 역시 시행 첫 해에는 정확한 추적의 가능성을 낮추는 요인이 된다는 점에서 양날의 검과 같은 성격을 띱니다. 표본 수집 방법만 만족스러운 수준으로 개선이 된다면 사실 거의 모든 문제는 해결된다고 할 수 있습니다.
2. 비교내신 적용 방법의 분석이 필요합니다. 이에 대해서는 표준화를 통한 선형변환일 가능성이 높다는 단서가 이미 포착된 상태입니다. 이 방법은 특히 수능 초고득점자에게 매우 비합리적이지만 실제 결과를 보면 이 방법 혹은 이와 매우 유사한 방법이 적용되고 있음을 시사하는 사례들이 많습니다.
한정된 노동력의 여건 하에서 우리는 최선의 노력을 기울였습니다만, 올해는 Cutracer™를 통해 회원 여러분들께 만족스러운 추적 결과를 제공해 드리는 데에 실패하였습니다. 선의에도 불구하고 회원 여러분들께 어떠한 이유에 의해서든지 오차가 큰 자료로 심려를 끼쳐드린 점에 대해 사과드립니다. 우리는 상기에 기술한 바와 같이 Cutracer™ 2006 에서 발생한 문제의 원인을 분석하고, Cutracer™의 알고리즘을 개선하여 Cutracer™ 2007에서는 보다 더 만족스러운 추적 결과를 발표할 수 있도록 통상 이상의 노력을 기울이겠습니다. 아직 모자라고 부족한 점이 많은 우리의 자료를 항상 기다려주시고 그에 대해 감사의 마음을 표현해주시는 회원 여러분들께 우리 운영진도 항상 감사한 마음 뿐이며 더 나은 자료들로 보답하겠다는 마음을 잊지 않고 있습니다.
감사합니다.
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
1점대 내신goat: 수시카드정하느라 힘들긴하지만 쩃든 내신이갓이라 잘감...
-
광기 아니냐....?
-
근데 자꾸 오디오에서 쫑알거리니까 활자가 눈에 안들어봄 멀티 고자인듯
-
학원에 있는 자습실에서 공부하고 집가기 하지만 몰래몰래 오르비하는 게으른 나
-
보통 5문제, 많이풀면 6문제 풀리던데..
-
7월쯤에 사탐런 후 시작해서 리밋 개념 강의를 거의 다 들었는데 검더텅 기출을 풀지...
-
저는 죽을맛이네요 진짜...... 다들 힘내세요
-
9모 23312 입니다 논술은 걍 7월부터 메가 장진석쌤 들었는데 아직 감이 덜...
-
폰 떨구고 애가 멍청해짐
-
고백 20
나 사실 십덕 아님
-
레전드 십덕 3
그건 코미케에서 하루에 4만엔 쓴 나
-
내신이 2점대인데 서울대랑 연세대 2장쓰는 미친사람이 간다
-
파이널 기간에 시대 재종 들어가는 거 어떻게 생각하시나요 6
독재 > 시대 재종이요 이유 1. 양질의 실모를 강제적으로 치르면서 시험 긴장감...
-
작년 수능도 결국 40번 틀렸는데
-
다 맞히는걸 목표로 하면 한 지문당 15분 걸리고 10분컷 목표로 풀면 반타작이고...
-
서울대 '1000원 학식' 모금 1주년…기부금 7억 기록 7
[서울=뉴시스] 오정우 기자 = 서울대학교가 재학생을 대상으로 한 '1000원의...
-
수능 전 주는 어떨꼬 ㅋㅋ?
-
논술 조언점 1
고대 외대 경희대 중대 성대 영문과인디 나머지 하나 보험으로 세종 or 상남자식...
-
아침부터 목이 너무 아팠지만 공부에 최선을 다할 수 있었음에 감사합니다. 히카모...
-
강사분들 9평 해설을 보는데 16번을 용액같고몰수비례뭐라뭐라해서 한 줄로 쏵...
-
아 이번학기에 3
시험 3번치는 과목 2개 있네.. 걍 망한듯
-
봇치를 젤 좋아하는 건 맞는데 절 십덕으로 만들진 않았음 댓글 모두 합쳐 6트 안에...
-
캬 이궈궈던~
-
외대 환산점수 0
195.61정도 나오는데 특수어 학추 힘들까요? 작년 기준으로는 들어가는데 올해...
-
나같은 능지로는 대학도 가지 말라는 건가
-
상여자특: 상향 4개 지름
-
애플워치 아이폰 에어팟 전부 뭐 새로운 게 없음 ㅋㅋ
-
현재 상태 보고: 현재 고2, 일반고 재학중 수시 - 1학년 - 4.09 2학년...
-
22: 세상 다무너진 느낌 23: 나만 어려웠어 24: 생각보다 할만한데? 25는 과연?
-
지구과학 개념 ox 13
평행부정합은 조산운동을 받은 지층에서 더 잘 나타난다.
-
9모 둘 다 3인데 둘 중에 현실적으로 뭐가 더 어려울까요
-
생각해보니 영어는 그래도 혼자서도 더 연마할 자신있는데, 뭔가 스페인어 배울 기회가...
-
공대 쓸 예정 3학년 올라가는데 미적분이랑 수학을 하나 더 골라야하는데 확통해야함...
-
조금만 풀어질게 오늘 헬스하고...
-
인강듣는다고 자꾸 이어폰꼽고있어서그런가 평생 이명달고 산다고 생각하면 좀 무서움.....
-
2026 2
2025수능이 의대생들 참전하고 1.0x 수시생들 참전하면서 역대급으로 피터지고...
-
▲ 다운받기 9모 수학 풀컬러 손해설 / 손풀이 해설 / 손글씨 해설 막대한 노력이...
-
난 18,19,20,25,26,27,28,43,44,45
-
엄마몰래콘서트라 타이밍잡기 쉽지않았네요 안피곤하신가
-
추천글 올라갈수 있을느낌!! 100개 만들어 보고 싶습니다.! 그러니 부탁합니다..!
-
깜빡하고 그냥 집에 와버렸으다..
-
추천이 문제로다 2
냥대 인터칼리지 교과 추천과 종합 추천 둘 중 무엇을 쓸 것인가...
-
6평 88 더프~이퀄 1등급이고 9모는 12,13을 틀려버려서 92점뜬 07년생인데...
-
느낌이 다른 문제들을 풀기 시작했는데 밑바닥부터 다시 시작하는 기분이네요
-
혼자서는 공부할 의지도 없는 애들이 상위권 대학에 가는 것을 막아야함 독재 재종...
-
ㅈ반고 수시특 4
1,2점대들 수시 카드 정하는데 옆에서 허수 정시파이터(정시 선택 당함)들이...
-
6논술 1
내신 일반고 3등급 초반대 목표는 건대 이상(못가면 재수)인데 6 인문논술 쓰면...
-
다른과목은 2 이상인데 국어만 못해요(2,3,4파동). 파이널로 아수라 할꺼긴헌데...
-
오늘 기숙학원에서 학습 컨설팅을 받고 왔습니다. 전 현재 정시 준비를 하고 있는...
첫번째 댓글의 주인공이 되어보세요.