반의어/동의어 일관성(antonyms/synonyms consistency)이라고도 불리는 이 기법은 일관성을 기준으로 불성실 응답을 분류하는 방법이다. 성실한 응답자라면 의미상 유사한 문항에 대해서는 유사한 답변을, 반대되는 항목에 대해서는 상반된 답변을 할 것이라는 전제를 활용하는 것이다. 이는 설문 내 전체 문항 중 비교에 활용할 ‘동의/반의 관계에 있는 문항 쌍’들을 결정하는 방법에 따라 의미적(semantic) 방법과 심리측정적(psychometric) 방법으로 나뉜다(Curran, 2016; Goldberg & Kilkowski, 1985; Johnson, 2005). 의미적 방법은 연구자가 사전에 문항의 의미를 해석하여 유사한 답변이 예상되는 문항의 쌍을 지정하여 활용하는 방법인 반면, 심리측정적 방법은 연구자의 임의의 판단을 배제하고 사후에 전체 응답자들의 실제 응답 중 상관관계가 높은 문항 쌍을 통계적으로 추출하여 비교하는 방법이다. 서로 동의 또는 반의 관계에 있는 문항 쌍들을 다수 지정한 후, 각 그룹에 대한 개인의 응답을 벡터화하여, 두 벡터 간의 상관을 구하는 방법으로 동의어/반의어 일관성을 계산한다.

Curran(2016)¹에 의하면 동의어 측정 시 개인 내 상관관계가 음수로 나타나면 불성실 응답으로 간주할 수 있으며, 반의어의 경우에는 양수로 나타나면 불성실 응답으로 간주할 수 있다. 심리측정적 방법은 겉으로는 잘 드러나지 않는 높은 상관관계의 문항 쌍을 확보하여 이 기법의 신뢰도를 높일 수 있다. 심리측정적 방법은 대부분의 응답자가 성실한 응답자라는 가정을 전제하지만, 의미적 방법은 이 가정이 충족되지 않아도 된다.

R manual

의미적 반의어/동의어의 측정은 연구자가 반의 혹은 동의 관계에 있는 문항 쌍을 구조적으로 설정한 후 해당 문항의 응답 간의 상관을 분석하여 쉽게 진행할 수 있다. 반면 심리측정적 반의어/동의어 기법은 실제 응답 중 상관관계가 높은 응답을 문항 쌍을 추출하고 문항 쌍들을 이용하여 일관성을 구하는 보다 복잡한 과정을 거치며 이를 위한 코드가 개발되어 있다.

R에서 심리측정적 반의어/동의어 일관성 분석은 ‘careless’ 패키지에 포함된 ‘psychant’(반의)와 ‘psychsyn’(동의) 코드를 이용해 진행할 수 있다. ‘psychant’ 코드는 psychant(x, critval = -0.6, diag = FALSE) 이며 x는 데이터 매트릭스를 의미한다. critval은 심리측정적 반의어로 간주되기 위한 상관 관계의 최소 기준을 제공하는 매개변수이며 이 기준을 넘는 상관을 가지는 문항 쌍들이 분석에 포함된다. diag는 누락 값이 포함되어 있는지, 즉 데이터 유효성을 확인하는 매개변수이다. ‘psychsyn’ 코드는 psychsyn(x, critval = 0.6, anto = FALSE, diag = FALSE, resample_na = TRUE)로 이루어져 있다. anto매개변수는 동의어가 아닌 심리측정적 반의어로 반환할지 여부를 결정하는 함수로 보통 기본값은 거짓(False)이다. 한편 resample_na 매개변수는 psychsyn이 NA(결측값)를 반환하는 경우, NA가 아닌 결과를 얻기 위해 재표집을 시도할지 여부를 결정하는 것이다. 두 가지 코드를 사용하는 예시는 다음과 같다.

antonyms <- psychant(careless_dataset, .-50) # .-50 기준 반의 일관성 분석
antonyms <- psychant(careless_dataset, .-50, diag = TRUE) # .-50 기준 반의 일관성 분석 및 누락 값 확인
synonyms <- psychsyn(careless_dataset, .60) # .60 기준 동의 일관성 분석
antonyms <- psychsyn(careless_dataset, .-50, anto = TRUE) # .-50 기준 **반의** 일관성 분석

심리측정적 반의어/동의어 기법의 두 코드에서 각 문항 쌍이 반의어와 동의어 쌍으로 간주되기 위한 상관 계수 기준인 critval값은 각각 -.6과 .6을 기본값으로 가진다. 하지만 실제 연구를 진행하다 보면 이 기준을 만족하는 문항 쌍이 나타나지 않을 수 있다. 특히 반의 관계는 강하게 드러나지 않는 경우가 많아 보다 완화된 값을 적용해야 심리측정적 반의어 코드의 결과가 잘 나타난다. 그러므로 연구자는 자신의 데이터에서 심리측정적 반의어/동의어 기법을 사용하기에 적합한 기준치를 확인해야 하는데 이때 같은 ‘careless’ 패키지에 포함된 psychsyn_critval(x, anto = FALSE) 코드를 이용하면 된다. 이 코드는 가능한 모든 문항 쌍의 상관 관계를 강한 관계부터 보여주며 x는 데이터 매트릭스에 해당하는 매개변수이다. anto 매개변수가 TRUE일 때 반의 관계의 문항 쌍들의 상관을 제공하며 FALSE일 때 동의 관계의 문항 쌍들의 상관을 제공한다. 연구자는 코드의 결과를 참고하여 상관 분석이 이뤄질 수 있을 만큼 충분한 양의 문항 쌍을 포함하는 기준치를 정하여 사용해야 한다. Goldammer 등(2020)²은 최소 5개 문항 쌍을 사용할 것을 제안했다.

Practice example

실제 데이터로 분석 시의 과정과 결과를 예시를 통해 설명하고자 한다.1번 데이터의 성격을 측정하는 50문항에 대한 응답을 역코딩하여 사용하였다. 실제로 적용해본 코드와 그에 따른 결과는 다음과 같다.

psychsyn_critval(big5_reverse50, anto = TRUE)
psychsyn_critval(big5_reverse50)

antonyms <- psychant(big5_reverse50, .-20) # **.-20** 기준 반의 일관성 분석(기준값이 높은 경우 계산이 안되는 경우가 있으니 참고 바람)
synonyms <- psychsyn(big5_reverse50, .50, ) # .50 기준 동의 일관성 분석

<반의어 기준치 분석 결과>

 psychsyn_critval(big5_reverse50, anto = TRUE)
     var1 var2          cor
1839  a42 a40r -0.323821280
1889  a42 a41r -0.319683935
1437 a40r  a30 -0.313405780
1688 a41r  a36 -0.302182200
1844  a47 a40r -0.300263609
1687 a40r  a36 -0.292274240
2399  a52 a51r -0.279275623
1899  a52 a41r -0.275020113
1894  a47 a41r -0.264389075
1188 a41r  a25 -0.262537574
299   a52   a6 -0.262335499
2299  a52 a49r -0.253932512
688  a41r  a14 -0.247695669
259   a9r   a6 -0.244074245
2198 a51r  a47 -0.242973441
1198 a51r  a25 -0.242608805
2144  a47 a46r -0.233961708
1799  a52 a39r -0.231250159
1698 a51r  a36 -0.231157890
2049  a52 a44r -0.230771688
274   a25   a6 -0.228456842
269   a20   a6 -0.221487371
1849  a52 a40r -0.219210165
1438 a41r  a30 -0.214311569
1948 a51r  a42 -0.212441364
579   a30  a12 -0.208266077
1049  a52  a22 -0.206430248
1187 a40r  a25 -0.202416439
691  a44r  a14 -0.198252279
921   a22  a20 -0.197395285
2450 a53r  a52 -0.195794621
....

<동의어 기준치 분석 결과>

psychsyn_critval(big5_reverse50)
     var1 var2       cor
1689  a42  a36 0.7154555
449   a52  a9r 0.5852603
1949  a52  a42 0.5808142
1699  a52  a36 0.5651144
633  a35r  a13 0.5419323
1592 a45r a34r 0.5409265
500  a53r  a10 0.5384701
1041 a44r  a22 0.5373293
82   a34r   a2 0.5303160
1944  a47  a42 0.5241048
2097 a50r a45r 0.5129664
31   a33r   a1 0.5116777
1199  a52  a25 0.5116559
516   a16  a11 0.5079813
1444  a47  a30 0.5078708
1189  a42  a25 0.5022835
735   a37  a15 0.4877778
16    a16   a1 0.4865462
.....

<반의 일관성 분석 결과>

<동의 일관성 분석 결과>

먼저 상관 관계 기준치를 찾기 위한 psychsyn_critval코드를 이용해 문항 쌍의 상관 관계 기준을 동의어의 경우 .5, 반의어의 경우 -.2로 설정했다. 심리측정적 반의어/동의어 기법의 분석 결과, 반의어는 불성실 응답의 기준인 0 이상의 응답자가 323명으로 전체 응답자의 12.78%정도 였으며 동의어의 경우 0 이하의 응답자가 204명으로 8.07%정도로 나타났다. 반의어 분석에는 28개 문항 쌍, 동의어 분석에는 16개 문항 쌍이 사용되었다.