자기 보고 척도들은 응답자에게 본인이 설문에 응답하는 데 얼마나 주의를 기울였는지 직접 물어보는 문항이다. Meade와 Craig(2012)¹는 그들이 개발한 ‘participant engagement’ 척도와 데이터 활용가능 여부, 설문에 들인 노력, 얼마나 집중했는지 등을 직접적으로 물어본 개별 문항들을 통해 응답자의 노력을 측정하였다. Participant engagement 척도는 성실성과 흥미를 하위 요인으로 가지며 다른 불성실 응답 탐지 기법들과 높은 상관관계를 보였다. 개별 문항에는 "솔직한 의견으로, 우리가 이 연구에서 당신의 데이터를 분석에 사용해도 될까요?" 또는 설문에 들인 노력을 1점(거의 아니다)부터 5점(매우 많다)까지 응답하게 하는 문항이 포함될 수 있으며 이에 대한 응답을 통해 불성실한 응답자를 구별할 수 있다.

이 기법은 효율적이고 정확하게 데이터를 구별할 수 있지만 실제 성실하게 응답된 데이터가 불성실한 응답으로 과대 평가될 1종 오류의 가능성이 있다는 단점이 있다. 응답자들이 사용될 만한 데이터에 대한 정확한 기준을 모르거나 그 기준이 응답자마다 다를 수 있기 때문이다. 성실한 응답자가 오히려 설문의 끝으로 갈수록 집중력이 저하되는 것을 인지하여 데이터의 질을 낮게 평가할 수 있는 반면 불성실한 응답자는 오히려 집중력의 저하를 인지하지 못할 수 있다. 또, 불성실한 응답자들은 설문 참여에 대한 보상을 받지 못하게 될 것을 우려해 거짓으로 답할 가능성도 존재한다. 이 경우 설문의 지시사항에 자기 보고 척도에 어떤 답을 하더라도 보상이 주어질 것이라고 명시하고 솔직하게 응답하길 부탁하는 것이 도움이 될 것이다(Curran, 2016)².

R manual

자기 보고 척도 역시 subset 함수를 이용하여 불성실 응답을 추출해낼 수 있다. 예를 들어 "당신은 얼마나 성실히 설문에 참여했나요?" 라는 문항에 ‘전혀 아니다’ (1점) 또는 ‘아니다’ (2점)에 응답한 응답자를 추출하는 코드는 가짜 문항에서 사용된 코드와 크게 다르지 않다. 자기 보고 문항이 ‘sample’이라는 데이터에 저장될 때에 ‘SR’로 코딩되었다면 1점이나 2점을 고른 응답자는 아래 코드와 같이 추출될 수 있다.

Careless_self_reported <- subset(sample, SR==1 | SR==2)