Estudo de fidedignidade e evidências de validade para o Rorschach - Performance Assessment System (R-PAS) em uma amostra de adolescentes pacientes e não pacientes

Abstract

O objetivo desta pesquisa foi verificar a precisão por avaliadores e estabilidade temporal de 60 variáveis em nível de protocolo do Rorschach - Performance Assessment System (R-PAS; traduzido como Sistema de Avaliação por Desempenho), assim como buscar evidências de validade com base em variáveis externas para algumas variáveis do R-PAS para a avaliação de adolescentes. O R-PAS é um instrumento baseado na performance típica do avaliado em que o foco interpretativo é a personalidade em ação, ou seja, por meio de uma amostra de comportamentos é possível observar características como engajamento e processamento cognitivo, problemas de percepção e pensamento, vivências de desconforto afetivo, bem como representação de si e de outros. A fim de atender aos objetivos propostos, foram conduzidos três estudos. O primeiro analisou a precisão entre avaliadores em uma amostra de 89 adolescentes gaúchos (55,1% meninas) com idade média de 13,2 anos (DP = 1,01). Foi encontrada uma concordância média excelente (ICC = 0,89; DP = 0,09) para as 60 variáveis no nível de protocolo, que são foco de interpretação. Foi observada maior precisão para variáveis comumente codificadas (M = 0,87) em oposição a variáveis raras ou pouco frequentes (M = 0,78). Comparando os resultados de cada uma das variáveis com outros três estudos recentes, a maioria das variáveis apresentou baixa variabilidade, sugerindo que para essas existem diretrizes bem definidas de codificação. Variáveis com maior variabilidade entre os estudos indicaram menor concordância e para essas seria desejável parâmetros mais detalhados de codificação. O segundo estudo, que analisou a estabilidade temporal das 60 variáveis no nível do protocolo, utilizou uma amostra de 65 adolescentes do Rio Grande do Sul (55,4% meninos) com média de idade de 13,37 (DP = 1,07). Eles foram avaliados duas vezes com intervalo médio de 20 dias (DP = 8,6). Para análise foram empregados o Índice de Correlação Intraclasse (ICC - Consistency), t de Student e d de Cohen. O nível geral médio de estabilidade ficou abaixo do desejado (ICC = 0,48; DP = 0,22). As médias da primeira avaliação (T1) e do reteste (T2) apresentaram diferenças estatisticamente significantes para sete variáveis (11,7%). Maior variabilidade entre T1 e T2 foi encontrada para as variáveis número de respostas (d = 0,55) e Complexidade (d = 0,54). O terceiro e último estudo, que buscou evidências de validade para algumas variáveis do R-PAS utilizando como critério os três principais escores da Escala Wechsler Abreviada de Inteligência (WASI): o QI total (QIT-4), o QI verbal e o QI de execução, em uma amostra de 158 adolescentes (MAge = 13,20, DP = 1,07; 54.4% meninos) do sul do Brasil. As variáveis do R-PAS foram selecionadas a partir de uma série de estudos prévios que analisaram possíveis associações com habilidades cognitivas em adolescentes, assim como estudos que avaliaram outros aspectos que pudessem estar relacionados com a adolescência como, por exemplo, idade e anos de estudo. A variável Complexidade e seus três subcomponentes (Complexidade da Localização, Espaço e Objeto; Complexidade do Conteúdo e Complexidade dos Determinantes) apresentaram correlação positiva com os três escores da WASI, variando de r = .18 para Complexidade de Conteúdo e QI de execução até .30 para Complexidade e QI total. A maioria das variáveis pertencentes aos subcomponentes da Complexidade apresentaram correlações consistentes, sendo que aquelas que pertencem à Complexidade dos Determinantes apresentaram maior número de correlações significativas. Contudo, algumas variáveis do R-PAS que foram selecionadas para análise não apresentaram correlações com as variáveis critério conforme esperado. As variáveis do R-PAS selecionadas para validade discriminante não foram correlacionadas com os escores da WASI. As diferenças entre um teste de performance máxima e típica são discutidas. No geral, os resultados indicam excelente confiabilidade entre avaliadores para a maioria dos códigos e apresentam bases sólidas para futuras pesquisas sobre confiabilidade entre avaliadores com o R-PAS. Já a estabilidade foi adequada para algumas variáveis, mas para outras foi limitada ou até inexistente. Os efeitos do examinador, o envolvimento dos adolescentes durante o reteste e o tamanho da amostra são discutidos como influência nos resultados. O estudo de evidências de validade indica que a magnitude das correlações, apesar de terem ficado abaixo do esperando em comparação a estudos anteriores, os resultados sugerem que o R-PAS é útil para avaliar as habilidades cognitivas em um contexto mais amplo do que apenas investigar a inteligência e contribui para a compreensão dos recursos cognitivos associados à produção de respostas. Os estudos de precisão e validade mostraram que, de modo geral, o R-PAS apresenta boas características psicométricas e são adequados para utilização clínica com adolescentes.

The objective of this research was to verify interrater reliability and temporal stability of 60 protocol level variables of the Rorschach - Performance Assessment System (R-PAS), as well as to examine validity evidence based on external variables of some R-PAS variables for the assessment of adolescents. R-PAS is an instrument based on the typical performance of the examinee in which the interpretive focus is the personality in action. In other words, through a sample of behaviors it is possible to observe characteristics such as engagement and cognitive processing, problems of perception and thinking, experiences of affective discomfort, and the representation of oneself and others. In order to meet the proposed objectives, three studies were conducted. The first, which analyzed interrater reliability, used a sample of 89 adolescents from south Brazil (55.1% girls) with an average age of 13.2 years (SD = 1.01). Excellent mean agreement (ICC = 0.89; SD = 0.09) was found for the 60 protocol level variables, which are the focus of interpretation. Greater reliability was observed for commonly coded variables (M = 0.87) as opposed to rare or infrequent variables (M = 0.78). Comparing results of each variable to three other recent studies, most of this study’s variables showed low variability, suggesting that for these, there are clear coding guidelines. Those with greater variability between the studies indicate that more detailed coding parameters are desirable. The second study, which analyzed the temporal stability of the 60 protocol level variables, used a sample of 65 adolescents from Rio Grande do Sul (55.4% boys) with a mean age of 13.37 (SD = 1.07). They were evaluated twice with an average interval of 20 days (SD = 8.6). The Intraclass Correlation Index (ICC-Consistency), Student's t, and Cohen’s d were used. The general average level of stability was below the desired level (ICC = 0.48; SD = 0.22). The means of baseline (T1) and retest (T2) showed statistically significant differences for seven variables (11.7%). Greater variability between T1 and T2 was found for the number of responses (d = 0.55) and Complexity (d = 0.54) variables. The third and last study sought validity evidence of some R PAS variables using the three main scores of the Wechsler Abbreviated Intelligence Scale (WASI) – Full Scale IQ (FSIQ-4), Verbal Comprehension Index (VCI), and Perceptual Reasoning Index (PRI) – as criteria in a sample of 158 adolescents (MAge = 13.20, SD = 1.07; 54.4% boys) from southern Brazil. The R-PAS variables were selected from a series of previous studies that analyzed possible associations with cognitive abilities in adolescents, as well as ones that evaluated other characteristics relatable to adolescence, such as age and years of education. The Complexity variable and its three subcomponents (Location, Space, and Object Complexity; Content Complexity; and Determinants Complexity) correlated positively with the three WASI scores, ranging from r = .18 for Content Complexity and PRI to .30 for Complexity and FSIQ-4. Most of the Complexity subcomponent variables had consistent correlations, and the Determinant Complexity ones exhibited the greatest number of significant correlations. However, some R-PAS variables selected for analysis did not show correlations with the criterion variables as expected. The R-PAS variables selected for discriminant validity did not correlate with the WASI scores. The differences between a typical and maximum performance test are discussed. In general, the results indicate excellent interrater reliability for the majority of codes and present solid bases for future research on R-PAS interrater reliability. As for temporal stability, results were adequate for some variables, but for others it was limited or even non-existent. How examiner effects, adolescent involvement during the retest, and sample size might influence the results are all discussed. The validity evidence analysis indicates that, while the magnitude of the correlations is lower than expected compared to previous studies, R-PAS is useful for assessing cognitive skills in a broader context than merely investigating intelligence, and it contributes to the understanding of the cognitive resources associated with the production of responses. Reliability and validity studies have shown that, in general, R-PAS possesses good psychometric characteristics and is suitable for clinical use with adolescents.