[DAY 92] 중간 프로젝트_ IRT 문항반응 이론

[천재교육] 프로젝트 기반 빅데이터 서비스 개발자 양성 과정 9기
학습일 : 2024.11.28

📕 학습 목록

• IRT 란?

 

📗 기억할 내용

1. IRT 란?

1) 정의

• IRT(Item Response Theory, 문항반응 이론): 평가 문항의 난이도, 변별력, 학습자의 능력을 수학적으로 모델링하여, 학습자의 실력을 더 정교하고 정확하게 측정할 수 있는 통계적 이론
• 문항의 특성과 학습자의 능력 간의 관계를 확률적으로 분석
• 다음 요소를 기반으로 작동함
  • 문항의 난이도 (b): 해당 문항이 얼마나 어려운지
  • 문항의 변별력 (a): 문항이 학습자의 능력을 얼마나 잘 구분하는지
  • 추측도 (c): 학습자가 정답을 우연히 맞힐 가능성

2) 예시

① 수학 문항의 IRT 적용

• 수학 학습 플랫폼에서 다음과 같은 문항들이 있다고 가정
  • 문항 1:난이도 낮음, 초등학생 수준
  • 문항 2: 중간 난이도
  • 문항 3: 난이도 높음, 고등학생 수준

② 학습자의 능력

• 학습자의 능력 수준은 θ\thetaθ로 측정하며, 학습자가 각 문항에 대해 정답을 맞출 확률을 계산함
• 예를 들어, 학습자의 능력(θ\thetaθ)이 0.5인 경우
  • 문항 1: 쉽게 맞춤 (확률 90%)
  • 문항 2: 맞출 가능성 있음 (확률 50%)
  • 문항 3: 맞추기 어려움 (확률 20%)

③ 문항 특성 곡선

• IRT는 각 문항에 대해 다음과 같은 문항 특성 곡선(Item Characteristic Curve, ICC)을 그릴 수 있음
  • x축: 학습자의 능력(θ\thetaθ)
  • y축: 문항을 맞출 확률
• 예를 들어
  • 문항 1: 곡선이 θ = −2 에서도 높은 확률(쉬운 문항)
  • 문항 3: 곡선이 θ = 2 이상에서만 높은 확률(어려운 문항)

[tip] IRT의 문항 특성 곡선(Item Characteristic Curve, ICC)
- 문항 1 (난이도 낮음, 변별력 낮음): 학습자의 능력이 낮아도 높은 확률로 맞출 수 있는 쉬운 문제
- 문항 2 (중간 난이도, 변별력 높음): 학습자의 능력이 평균 근처에서 정답 확률이 급격히 증가하는 문제로, 능력 구분이 잘 되는 문항
- 문항 3 (난이도 높음, 변별력 보통): 능력이 높은 학습자만 높은 확률로 맞출 수 있는 어려운 문제

 

④ IRT를 활용한 적응형 테스트

• IRT 기반으로 학습자에게 맞춤형 문항을 제시할 수 있음
  • 학습자가 문항 1과 2를 맞힘 → 학습자의 능력(θ)이 1.0으로 추정됨
  • 시스템은 문항 3과 같은 더 어려운 문제를 제시
  • 문항 3에서 오답 → 능력을 다시 θ = 0.7 로 조정

3) 에듀테크 수학 분야에서의 활용

• 적응형 학습 시스템
  • 학습자의 능력을 실시간으로 분석해, 적합한 난이도의 문제를 지속적으로 제시
  • ex: "현재 학습 수준이 중간이므로, 중간 난이도 문제를 풀이하도록 권장."
• 문항 데이터 분석
  • 플랫폼에서 제공하는 모든 문제의 난이도, 변별력, 추측도를 분석하여 문제 은행 최적화
  • 예: "이 문제는 변별력이 낮으므로, 삭제하거나 수정이 필요합니다."
• 학습 효과 극대화
  • 학습자의 정확한 능력 추정을 바탕으로 학습 경로를 제안
  • 예: "고난도 문제 풀이를 시도하기 전에, 중간 난이도의 추가 학습을 권장합니다."

 

3) IRT 3-모수 로지스틱 모델 식

* IRT의 주요 모델 중 하나

   - P(θ): 학습자가 문항을 맞출 확률

   - θ: 학습자의 능력 수준

   - a: 문항의 변별력 (Discrimination)

   - b: 문항의 난이도 (Difficulty)

   - c: 문항의 추측도 (Guessing Parameter)

   - e: 자연 상수 (약 2.718)

 

① 각 매개변수의 역할

• 난이도 (b)
  
  • 문항을 맞추기 위해 필요한 능력 수준을 결정
  • θ=b 일 때, P(θ)=0.5 + c/2
• 변별력 (a)
  • 학습자의 능력을 구분하는 문항의 민감도
  • a 값이 클수록 문항의 변별력이 높아져, 학습자의 능력 수준에 따라 정답을 맞출 확률이 더 명확히 구분
• 추측도 (c)
  • 학습자가 단순 추측으로 정답을 맞출 가능성을 나타냄
  • 보통 c는 0 ≤ c ≤ 0.25 사이의 값으로 설

② 식의 의미

• c: 추측으로 맞출 확률의 하한값
• θ → -∞: 학습자가 능력이 매우 낮을 때 P(θ) ≈ c
• θ → +∞: 학습자가 능력이 매우 높을 때 P(θ) ≈ 1

③ 예시

• 문항의 매개변수
  • a=1.5: 변별력 높음
  • b=0: 난이도 중간
  • c=0.2: 추측 확률 20%

 

• 학습자의 능력 (θ)

     ⁕ θ = -1: 능력 낮음

     ⁕  θ = 0: 능력 평균

     ⁕ θ = 1: 능력 높음

④ 추측도(c) 변화

IRT 모델의 세 가지 주요 매개변수(a: 변별력, b: 난이도, c: 추측도)가 변할 때 문항 특성 곡선(Item Characteristic Curve, ICC)이 어떻게 변화하는지 보여줌

• 변별력 (a)
  • a 값이 커질수록 곡선이 더 가파르게 변하며, 학습자의 능력에 따른 정답 확률 차이가 뚜렷해짐
  • 낮은 a: 완만한 곡선, 변별력 낮음
  • 높은 a: 가파른 곡선, 변별력 높음
• 난이도 (b):
  • b 값이 높아질수록 곡선이 오른쪽으로 이동하며, 더 높은 능력을 가진 학습자가 정답을 맞출 가능성이 높아짐
  • 낮은 b: 쉬운 문항
  • 높은 b: 어려운 문항
• 추측도 (c):
  • c 값이 커질수록 곡선의 최소값이 높아지며, 낮은 능력의 학습자가 단순 추측으로 정답을 맞출 확률이 커짐
  • c=0: 추측 없음
  • c>0: 추측 가능성 증가

 

 

 

📙 내일 일정

• 중간 프로젝트