지시 응답 문항은 응답자에게 특정한 항목을 선택하라고 지시하는 것이다. “이 문항에는 답하지 마십시오”, “자료의 질을 확인하기 위해, 이 문항에는 ‘매우 그렇지 않다’에 응답하십시오”, 또는 “문항 내용과 상관없이 이번 문항에는 4에 표시하십시오”처럼 구체적인 응답을 요구한다. 응답자가 이 지시에 따르지 않는다면 불성실 응답으로 간주하는 간단한 기법이다. 다만 지시 응답 문항은 설문에서 눈에 쉽게 띄기에 응답자가 빠르게 알아차리고 대응할 수 있다는 단점이 있다.
지시 조작 체크(Instructional manipulation checks)는 긴 길이의 지시문에 체크 문장을 추가하여 그 핵심 문장을 따르지 않으면 불성실한 응답으로 간주하는 기법이다. 체크 문장은 응답하지 않고 넘어가기와 같이 특별한 방식으로 응답하라는 지시를 포함하거나 지시 응답 문항처럼 구체적인 응답을 요구한다. 아래 제시된 첫 번째 예시는 스포츠활동 참여에 대한 문항처럼 보이지만 ‘기타’ 선택지에 주어진 문구를 입력하라는 체크 문항이 포함된 지시 조작 체크 문항이다. 두 번째 예시는 지시문에 ‘초록’을 선택하라는 체크 문장이 담긴 지시 조작 체크이며 앞선 예시보다는 간단하여 지시 응답 문항과 유사하게 보이지만 눈에 쉽게 띄는 단점을 보완한 것으로 볼 수 있다. 지시 조작 체크는 연구의 조작이 숨겨져 있을 때 유용한 도구가 될 수 있는데 이러한 문항에 제대로 반응하지 못한 응답자들은 연구의 조작에도 정확히 반응하지 못할 가능성이 크기 때문이다. 지시 조작 체크는 다른 문항들과 유사한 형식으로 두드러지지 않게 제시되어야 탐지력을 잘 발휘할 수 있다.
지시 응답 문항이나 지시 조작 체크가 여러 문항 포함된 경우 그 중 하나라도 정확히 응답하지 않았을 때 불성실 응답으로 간주할 수 있다(Curran, 2016)¹.
지시 응답 문항과 간단한 지시 조작 체크 역시 subset함수를 이용하여 불성실 응답을 추출해낼 수 있다. 예를 들어 “이 항목에 ‘그렇다’를 응답하시오” 라는 문항이 있다고 할 때, ‘그렇다’라는 선택지가 4점이라면 4점을 응답한 사람을 제외하고 추출이 이루어져야 할 것이다. 이때는 ‘다르다’를 의미하는 비교연산자 !=를 사용하면 된다. ‘sample’이라는 데이터에 주의력 확인 항목이 ‘attention’이라고 코딩되어 있다면 ‘그렇다’를 응답하지 않은 응답의 추출 코드는 아래와 같다.
attention_check <- subset(sample, attention != 4)
반면 지시 조작 체크의 응답 방식이 독특하다면 R코드 역시 조금 복잡해질 것이다. 첫 번째 예시 문항과 같이 ‘특정한 문구를 ‘기타’ 선택지에 입력하기’를 지시할 때의 R코드는 ‘기타’ 항목을 잘 선택했는지, 지시된 문구를 잘 입력했는지를 모두 확인해야 한다. IMC 문항이 ‘sample’이라는 데이터프레임에 속하고 ‘Others’ 항목에 입력한 값이 ‘Response’라는 다른 열에서 제공된다고 할 때, 지시를 따르지 않은 불성실 응답을 식별하는 코드는 아래와 같다.
Careless_IMC <- subset(sample, !(IMC == 'Others' & Response == 'I read the instructions')
subset 함수를 통해 ‘sample’ 데이터에서 추출할 행의 조건에서 사용된 & 연산자는 두 조건을 모두 만족하는 값을 찾는 연산자이다. !(IMC == 'Others' & Response == 'I read the instructions')은 ‘IMC’ 열의 값이 ‘Others’ 이면서 ‘Response’ 열의 값이 지시문과 같은 행을 확인하라는 조건을 ‘!’연산자를 통해 반전시켰다. 즉 ‘Others’를 선택했지만 지시문을 정확하게 입력하지 않은 행, 또는 ‘Others’를 선택하지 않은 모든 행들을 추출하게 된다.