****설문 조사 문항에 개인이 반응하는 데 걸리는 시간인 응답 시간은 불성실 응답을 탐지하는데 가장 널리 사용되는 도구 중 하나이다. 이 기법은 응답 시간이 자동으로 측정되는 온라인 설문조사에서 활용할 수 있다. 설문에 응답하기 위해서는 최소한의 시간이 필요하다는 가정에 근거하여, 극도로 짧은 응답 시간은 참가자의 불성실을 나타낸다. 따라서, 응답 시간은 응답자들이 가장 속이기 어려운 탐지 방법 중의 하나이다(Huang et al., 2012)¹. 응답 시간의 측정은 설문 조사의 설계 단계에서 계획되어야 하며 대부분의 온라인 플랫폼에서 측정이 가능하다.

한편, 개인이 설문조사에 얼마나 빨리 응답하는지에 대한 개인 내 변동이 존재할 수 있기에 탐지 사용이 어려울 수 있다. Huang et al(2012)의 연구에서는 cohens’ d(그룹 간 평균 차이, 즉 개인차를 나타낼 수 있음)가 클수록 불성실 응답 식별이 어려운 것으로 나타났다.

불성실 응답을 탐지하기 위해서는 Cutoff 시간이 설정되어야 한다. Cutoff 시간을 설정하는 두 가지 방법이 있다. 첫째, 설문 조사 완료 평균 시간이나 웹페이지의 응답 데이터로 평균 시간을 계산하고, 평균보다 현저히 낮은 시간으로 완료한 참가자를 불성실로 간주하는 것이다. 예를 들어, 설문 조사 완료의 평균 시간이 7분일 때, 2분 안에 완료한 참가자는 불성실한 참가자로 간주된다.

둘째, 각 문항에 대한 응답 시간을 설정하고 데이터 수집 후에 합산하고, 전체적인 Cutoff 시간을 충족하지 못하는 참가자를 불성실로 간주한다. 권장되는 Cutoff 시간은 문항 당 2초이다(Bowling et al., 2016)². 한편, 문항 당 2초의 기준을 사용할 때 전체 설문 완료 시간보다 웹페이지 당 응답 시간을 활용하는 것이 더 효과적이다(Bowling et al., 2016).

R manual

  1. 기준점을 따로 설정하지 않고, 전체 응답자의 평균 응답 시간을 기준점으로 하여 이보다 아주 낮은 경우를 불성실 응답으로 볼 수 있다. 데이터 수집 시 응답자 별 ‘전체 응답 시간’을 함께 수집했다면 데이터 프레임에서 몇번째 열에 존재하는지 확인한 후 코드 사용 시에 참고해야 한다. 예시 코드에서는 2열에 존재하며, 코드는 다음과 같다.
detect_below_average <- function(data) {
  # 전체 응답 시간의 평균 계산
  mean_response_time <- mean(data[, 2])  # 2열에 응답 시간이 있다고 가정
  
  # 평균보다 낮은 응답 시간을 가진 응답자 탐지
  below_average_responses <- data[data[, 2] < mean_response_time, ]
  
  return(below_average_responses)
}

# 함수 호출 예시

# data1 데이터셋에서 평균보다 낮은 응답 시간을 가진 응답자 탐지
below_average_responses <- detect_below_average(data)

# 결과 출력
print(below_average_responses)
  1. 아래에서 기준 시간을 따로 설정하여 탐지하고자 하는 코드를 설명하고자 한다. 데이터 수집 시 응답자 별 ‘전체 응답 시간’을 함께 수집했다면 데이터 프레임에서 몇번째 열에 존재하는지 확인한 후 코드 사용 시에 참고해야 한다. 예시 코드에서는 2열에 존재하였다. 이후 불성실 응답으로 간주하고자 하는 기준을 설정하여 불성실 응답을 탐지할 수 있다. 예시에서는 문항당 2초(총 40문항), 전체 응답 시간이 80초 이하인 응답을 기준으로 불성실 응답을 탐지하고자 한다.
careless_time <- subset(data, data[, 2] <= 80) # 2열에 응답 시간이 있다고 가정

# 결과 출력
print(careless_time)