Normas para el desarrollo y revisión de estudios
instrumentales

Ámbito de aplicación de la propuesta y consideraciones previas

Los elementos a tener en cuenta en la labor que supone la construcción o adaptación de un test van a ser agrupados en categorías de interés

Estas categorías corresponden a cada uno de los pasos que deben darse a la hora de construir o adaptar un test, y aparecerán ordenadas según el lugar que ocupan dentro de este proceso

Las practicas habituales que se hacen

La adaptación de los instrumentos

Es decir.repetir de nuevo todos los pasos necesarios para que el instrumento se adapte adecuadamente
al nuevo entorno

Traducir una escala a una lengua distinta a la usada para su creación

Es uno de los posibles pasos a dar dentro de una adaptación

Creacion de una bateria de intrumentos

Topic principal

Normas para la elaboración y revisión de artículos instrumentales

Fases de contrucción/adaptación de Test

Justificación del estudio

1. Los antecedentes sobre los que se asienta la justificación son relevantes.
2. La creación/adaptación del instrumento va a suponer una aportación significativa para al área de estudio.
3. El objetivo general de evaluación del test está claramente especificado.
4. Se concreta la población a la que irá destinado el test.
5. Se especifica el propósito o finalidad para el que van a usarse las puntuaciones del test. 6. El proceso de creación/adaptación resulta viable.

Delimitación conceptual del constructo a evaluar

1. Aparecen claramente especificados los intentos de conceptuación más relevantes del constructo de interés.
2. Las distintas propuestas conceptuales se presentan integradas en uno o varios marcos teóricos de referencia.
3. Se hace una revisión de los principales instrumentos de evaluación encargados de evaluar a éste o a constructos relacionados.
4. Tras la revisión se realiza una propuesta operativa de las facetas o componentes operativos del constructo a evaluar, la cual es sometida a evaluación a través de expertos.
5. Se presenta detalladamente la información relacionada con el juicio de expertos (selección de expertos, material utilizado, forma de evaluar, etc.)
6. Considerando los resultados de la evaluación de los expertos, los datos de investigación y los marcos teóricos de referencia, se concreta definitivamente la definición operativa del constructo.
7. Teniendo en cuenta la definición adoptada del constructo, se concretan las relaciones esperadas entre éste y otras variables.
8. Las relaciones predichas para la puntuación total en el constructo están adecuadamente justificadas.
9. En el caso de que el constructo esté compuesto por distintas facetas o componentes también son establecidas las relaciones esperadas para cada uno de estos componentes.
10. Las relaciones predichas se presentan claras, especificándose cuando el constructo va ser variable predictora, cuando predicha y cuando covariado.

Construcción y evaluación cualitativa de ítems

1. La información que justifica el tipo de ítems a construir (incluyendo formato, tipo de redacción, escala de respuesta, etc.) es presentada con claridad.
2. El autor hace uso de una tabla de especificaciones de los ítems para guiar la elaboración de éstos. 3. La tabla de especificaciones de los ítems recoge toda la información necesaria para la construcción de éstos.
4. Se justifica adecuadamente el número de ítems final de la escala a crear/adaptar.
5. La batería de ítems inicial está compuesta por al menos el doble de ítems por componente de los que finalmente pretenden usarse.
6. En caso de traducir los ítems, se ha usado una estrategia que asegura la equivalencia conceptual entre los originales y los traducidos.
7. En caso de haber traducido los ítems, el autor proporciona nuevos ítems vinculados a los componentes del constructo a evaluar.
8. Se presentan las evidencias de validez de contenido proporcionadas por la valoración de un grupo de jueces acerca de la batería inicial de ítems.
9. Aparece toda la información relacionada con el procedimiento seguido para la valoración de los ítems por parte de un grupo de jueces.
10. La valoración de los ítems por parte de un grupo de jueces ha sido llevada a cabo adecuadamente.
11. Los ítems eliminados una vez terminado el proceso de valoración llevado a cabo por un grupo de jueces están claramente especificados.
12. Los ítems conservados una vez terminado el proceso de valoración llevado a cabo por un grupo de jueces están claramente especificados.

Análisis estadístico de los ítems

1. La delimitación del trabajo es clara (primer estudio de los ítems, estudio piloto o validación cruzada) 2. Los objetivos del análisis aparecen claramente especificados (homogeneidad y consistencia de la escala frente a validez de criterio).
3. Es facilitada toda la información referente a los ítems, instrucciones a los participantes, contexto de aplicación, etc.
4. La muestra de estudio tiene características similares a las de la población objetivo del test.
5. El tamaño de la muestra es adecuado para los objetivos del estudio.
6. El procedimiento de evaluación es similar al que se tiene planificado para la escala definitiva (muestreo).
7. Se especifican con claridad los criterios a considerar para la selección-eliminación de los ítems.
8. Los cálculos estadísticos efectuados resultan pertinentes.
9. Los resultados (cualitativos y cuantitativos) se discuten con claridad.
10. Las decisiones sobre los ítems tienen en cuenta cuestiones teóricas.
11. Se especifica claramente que ítems son eliminados y por qué.
12. Los ítems seleccionados quedan claramente delimitados.

Estudio de la dimensionalidad del instrumento (estructura interna)

1. La delimitación del trabajo es clara (primer estudio de dimensionalidad de la escala o validación cruzada de resultados previos).
2. Los objetivos del análisis aparecen claramente especificados (estudio exploratorio frente a análisis confirmatorio, o ambos).
3. La información presentada sirve para justificar con claridad los objetivos propuestos.
4. Es facilitada toda la información necesaria para que el lector conozca los antecedentes que justifican la escala y la dimensionalidad esperada de ésta.
5. La información sobre la muestra es completa y pertinente.
6. La muestra de estudio tiene características similares a las de la población objetivo del test.
7. El tamaño de la muestra es adecuado para los objetivos del estudio.
8. El procedimiento de muestreo seguido es correcto para los objetivos del estudio.
9. En el caso de usarse un procedimiento exploratorio de análisis factorial, aparece justificada su necesidad.
10. Se razona con claridad el por qué ha decidido usarse un tipo concreto de análisis factorial exploratorio y no otro.
11. Con anterioridad a la aplicación del análisis factorial exploratorio el autor informa sobre la adecuación de la matriz de correlaciones (esfericidad de Barlett e índice de Kaiser-Meyer-Olkin).
12. La interpretación de la dimensionalidad de la escala es efectuada sobre la solución factorial rotada.
13. El procedimiento de rotación factorial usado es justificado correctamente.
14. El procedimiento de rotación factorial usado es adecuado.
15. La información facilitada sobre la solución factorial resultante es la adecuada (número de factores, saturaciones factoriales relevantes de los ítems que los integran, porcentaje de varianza explicada y comunalidad).
16. Los procedimientos estadísticos usados para discutir cuáles son los factores relevantes a tener en cuenta son adecuados.
17. La discusión sobre los factores a tener en cuenta es enmarcada en la investigación teórica y empírica previa.
18. En el caso de aplicarse un procedimiento basado en el análisis factorial confirmatorio, el modelo de medida (forma de distribuirse los ítems) a analizar es claramente delimitado.
19. En el estudio, junto al modelo de referencia, se someten a diagnóstico comparativo propuestas alternativas.
20. Se justifica el procedimiento de estimación usado.
21. El procedimiento de estimación elegido en el estudio resulta adecuado.
22. Para el diagnóstico del modelo el autor usa simultáneamente varios índices.
23. En el trabajo se informa sobre el por qué de los índices seleccionados y cuáles van a ser los valores de corte a considerar para estimar la bondad de ajuste del modelo.
24. En el trabajo se presentan con claridad los resultados para los distintos índices de bondad de ajuste.
25. Si el autor hace modificaciones para mejorar el ajuste, las decisiones están claramente fundamentadas (teórica y empíricamente) y aparecen con claridad en el estudio.
26. El autor presenta el diagrama (path diagram) donde aparece la distribución de los ítems por factor, el “grado” en el que cada uno de éstos es predicho por el factor de pertenencia y, en general, todos los parámetros considerados relevantes en la especificación inicial del modelo.

Estimacion de la fiabilidad

1. En el trabajo se justifica el procedimiento de estimación de la fiabilidad a usar (adecuación teórica).
2. El método de estimación de la fiabilidad empleado se considera adecuado.
3. Si en el informe se usa el método test-retest, son proporcionados y discutidos los aspectos más significativos que afectan a este cálculo aparte de las cuestiones teóricas (intervalo temporal, condiciones de evaluación, correspondencia muestral, etc.).
4. Teniendo en cuenta los aspectos más significativos que afectan a la aplicación del método test-retest (intervalo temporal, condiciones de evaluación, correspondencia muestral, etc.), ésta se considera adecuada.
5. Si en el informe se usa el método de formas paralelas, son proporcionados y discutidos los aspectos más significativos que afectan a este cálculo aparte de las cuestiones teóricas (datos sobre la equivalencia de las pruebas, además de la información común al test-retest, como intervalo temporal, condiciones de evaluación, correspondencia muestral, etc.).
6. Teniendo en cuenta los aspectos más significativos que afectan a la aplicación de las formas paralelas (equivalencia de las pruebas, intervalo temporal, condiciones de evaluación, correspondencia muestral, etc.), ésta se considera adecuada.
7. Si en el informe se usa el índice alpha de Cronbach basado en la consistencia interna, son proporcionados y discutidos los aspectos más significativos que afectan a este cálculo aparte de las cuestiones teóricas (número de ítems por componente del constructo y formato de éstos).
8. Teniendo en cuenta los aspectos más significativos que afectan a la aplicación del alpha de Cronbach (número de ítems por componente del constructo y formato de éstos), ésta se considera adecuada.
9. Si en el informe se usa un procedimiento basado en la obtención de dos mitades de un test para el cálculo de la consistencia interna, son proporcionados y discutidos los aspectos más significativos que afectan a este cálculo aparte de las cuestiones teóricas (procedimiento para obtener las dos partes y número de ítems que las integran).
10. Teniendo en cuenta los aspectos más significativos que afectan a la aplicación del procedimiento basado en la obtención de dos mitades de un test (número de ítems y formato de éstos), ésta se considera adecuada.
11. El tamaño de la muestra de estudio es adecuado para los objetivos de la investigación.
12. Las características de los participantes son adecuadas en función de los objetivos del test y finalidad de las puntuaciones.
13. El procedimiento de evaluación utilizado es adecuado en función de las características de la prueba.
14. Los resultados derivados de la estimación de la fiabilidad se muestran con claridad.
15. La discusión de los resultados se hace teniendo en cuenta tanto aspectos metodológicos como teóricos.
16. En el caso de obtenerse unos datos deficientes de fiabilidad, en el trabajo son discutidas las estrategias a adoptar.

Obtención de evidencias externas de validez

1. Las evidencias de validez externa deben basarse en el estudio de las relaciones entre el test y a) un criterio que se espera prediga éste (validez de criterio), b)otros tests que supuestamente miden lo mismo o con otros constructos con los que tendría que mostrar relación (validez convergente); y c) otras variables teóricamente relevantes y de las que debería diferenciarse (validez discriminante). 2. En cualquier campo de investigación, al estudiar una dimensión, se busca integrar ésta en un esquema general que le dé sentido y donde pueda dársele utilidad y significado. 3. Para la elaboración o revisión de un trabajo dirigido a la obtención de evidencias externas de validez de un test, los autores deben justificar éste a partir de las teorías de referencia y resultados de investigación previos (lo cual debería estar concretado en la definición sintáctica de la variable realizada en las primeras fases de construcción/adaptación), y su puesta en marcha debe seguir los criterios consensuados para cualquier investigación, además de tener en cuenta los particulares de la metodología concreta que haya decidido usarse, como por ejemplo la experimental. 4. Para la obtención de evidencias de validez convergente y discriminante, el uso de la matriz multirrasgomultimétodo
(MRMM) resulta un procedimiento a considerar; éste se basa en la evaluación de un mismo constructo a través de distintos métodos y de distintos constructos con igual método. 5. Con los datos obtenidos se lleva a cabo una correlación cruzada que acaba facilitando una matriz de correlaciones donde deben tenerse en cuenta las aparecidas entre el test con otras medidas del mismo constructo pero con distinto método y las del test con otros constructos con el mismo
método. 6. La aportación que realizan las ecuaciones estructurales al estudio de la validez externa se utiliza para la confirmación de la dimensionalidad del instrumento. Sin embargo, las ecuaciones estructurales igualmente permiten poner a prueba modelos basados en las relaciones esperadas entre constructos distintos, tanto si éstas son tratadas como correlaciones simples, como si se propone a uno de éstos como “causa” del otro u otros. 7. La validez externa de un test es analizada fundamentalmente a través del coeficiente de correlación de Pearson entre éste y otras medidas. 8. El interés por explorar la validez de criterio, es la medida una variable es predicha por la puntuación o puntuaciones en el test, debe explorarse la proporción de varianza del criterio que puede predecirse a partir del test, recurriéndose al coeficiente de determinación, que no es otra cosa que elevar al cuadrado el coeficiente de correlación de Pearson. 9. Un test cuenta con todas las evidencias necesarias de validez interna y externa, junto con las encargadas de reflejar la fiabilidad, las fases a seguir son varias, su puesta
en marcha debe ser repetida y el tiempo que se necesita es igualmente elevado. Así, no hay test fiable y válido sin un trabajo estructurado, sistemático y prolongado detrás.