Tema 4 de la asignatura Fundamentos de Investigación en Psicología. Tema
4. La validez de la investigación. La validez de la investigación está
relacionada con la veracidad de sus resultados. Como esa veracidad no es
conocida, la validez estará en función de la estrategia de investigación
que utilicemos y, sobre todo, de lo cuidadosos y rigurosos que seamos en su
planificación. Cuanta más validez tenga una investigación, mayor fuerza
tendrán sus conclusiones, aumentando también el poder de generalización
de esas conclusiones a otra población, a otra situación o a otro momento
temporal. Vamos a ver el concepto y los tipos de validez. Cualquier tipo de
investigación se diseña con el objetivo de obtener información sobre las
relaciones funcionales entre las variables objeto de estudio. En general,
este objetivo puede alcanzarse en mayor o menor grado dependiendo del tipo
de investigación que realicemos y sobre todo de lo rigurosos que seamos a
la hora de planificarla. Pues en función de estos dos aspectos, del rigor
y lo rigurosos que seamos y el tipo de investigación, pues variará el
grado de confianza que puede adoptarse respecto a la veracidad o falsedad
de los resultados obtenidos en un estudio. A medida que este grado o nivel
de confianza aumenta, nuestra investigación tendrá mayor validez. Podemos
definir la validez de una investigación como el grado de confianza que
puede adoptarse respecto a la veracidad o falsedad de una determinada
investigación. Según Campbell y Stanley, en 1966 hablaron de dos tipos
fundamentales de validez. Validez interna, que es el grado de confianza con
el que puede inferirse que esa relación causa-efecto encontradas son
interpretables en el sentido que sugiere el investigador. Esta validez se
obtendrá con el control adecuado de las variables extrañas. La validez
externa, según Campbell y Stanley, es el grado de confianza con el que se
pueden hacer las generalizaciones sobre la supuesta relación causa-efecto
de las variables de la investigación a otras medidas alternativas de
causa-efecto y a diferentes tipos de personas y o contextos temporales y
lugares. Esta validez se obtendrá con la selección adecuada de los
sujetos de la población. Estos autores, Campbell y Stanley, identificaron
dos grandes grupos de sesgos posibles llamados amenazas a la validez
interna. Algunas de ellas se podían controlar con la asignación aleatoria
y también las amenazas a la validez externa, generalmente no controladas
con la asignación aleatoria. Posteriormente, Koch y Campbell en 1986
añadieron dos nuevos tipos de validez. Uno, la validez de conclusiones
estadísticas, que es previa a la validez interna y se puede definir como
grado de confianza con el que podemos inferir o concluir que existe
covariación entre las variables en base a pruebas de significación
estadística. Esta validez, la validez de conclusiones estadísticas, está
relacionada con la precisión con la que el diseño del experimento detecta
los efectos de los tratamientos, si existen esos efectos. El segundo, el
segundo tipo de validez que añadieron Koch y Campbell es la validez de
constructo de causas y efectos que antecede o es previa a la validez
externa y se define como el grado de confianza con el que podemos
establecer generalizaciones a constructos de orden superior. La validez de
la investigación se evalúa en función de la calidad de la inferencia, es
decir, cuanto más causal sea esa inferencia, más validez interna tiene. Y
también se debe, se evalúa mediante el grado de generalización de la
misma, de la inferencia, es decir, la validez externa. Pues bien, en 2002,
Sadis, Koch y Campbell plantearon... plantean un esquema de la validez que
implica los cuatro tipos anteriores. Consideran que la validez... de
conclusiones estadísticas, perdón, y la validez interna, están
relacionadas con la inferencia causal y la validez de constructo y la
validez externa con la generalización de esa inferencia. Vamos a ver la
validez de conclusión estadística. Concepto y amenazas. Se le denomina
también, a la validez de conclusión estadística, se le denomina también
validez inferencial. Y habla, hace referencia a la potencia que tiene un
diseño para detectar el efecto del tratamiento. Es decir, la validez de
conclusión estadística se puede definir como el grado de confianza que
podemos tener dado un nivel determinado de significación estadística en
la correcta inferencia de la hipótesis. Gracias. Este tipo de validez, de
conclusión estadística, se refiere principalmente a dos inferencias
estadísticas que pueden afectar a la covariación o la relación empírica
entre la variable causa, la variable independiente, y la variable efecto,
la variable dependiente. En concreto, si dichas variables covarían y
también, en caso de que covaríen, ¿cuál es la magnitud empírica de su
covariación? La primera, si dichas variables covarían, está relacionada
con el error tipo 1 y el error tipo 2, y la segunda, la magnitud, con la
infra o sobreestimación de la magnitud de esa covariación. El error tipo
1 se comete cuando concluimos que existe una relación entre las variables
cuando en realidad no se da dicha relación. Es decir, se da. Se comete
cuando rechazamos la hipótesis nula cuando en realidad es verdadera. El
error tipo 2 se comete cuando concluimos que no existe relación en las
variables cuando en la realidad sí se da dicha relación, es decir, cuando
aceptamos la hipótesis nula cuando en realidad es falsa. En general, las
amenazas contra la validez inferencial están relacionadas con los
siguientes aspectos. 1. Elección de la prueba estadística. 2. El aumento
de la varianza error, también con los tratamientos y con la muestra. Entre
las amenazas contra este tipo de validez destacan 1. La violación de los
supuestos del modelo estadístico. Pues se puede infra o sobreestimar el
tamaño y la significación del efecto del tratamiento. 2. La baja potencia
estadística. Otra amenaza contra la validez de conclusión estadística.
La baja potencia estadística porque se puede concluir erróneamente que la
realidad es falsa. La relación entre las variables no es significativa.
Sería un error. Tercer lugar, la tasa de error tipo 1, que es la
probabilidad de cometer este error y que se incrementa a medida que aumenta
el número de pruebas ejecutadas. Cuarto lugar, la imprecisión de las
medidas. Es decir, cuando se utilizan medidas de poca fiabilidad puede
aumentar la varianza de error provocando conclusiones erróneas sobre la
covariación. En quinto lugar, la escasa fiabilidad en la aplicación de
los tratamientos. Pues si los tratamientos no se aplican de forma
homogénea a todos los participantes y al mismo participante de una
aplicación a otra, puede aumentar la varianza de error provocando
conclusiones erróneas sobre la covariación. En sexto lugar, tenemos como
amenazas contra la validez de conclusión estadística la restricción del
rango de las variables. Pues cuando las variables presentan restricciones.
En su variación, tanto en su rango inferior, es decir, por abajo, el
efecto suelo, como en su rango superior, por arriba, el efecto techo, la
potencia disminuye y la inferencia se debilita. Séptimo lugar tenemos como
amenaza la presencia de varianza-error en el contexto de la investigación.
Si hay alguna característica del contexto que aumenta la varianza-error de
forma artificial, se puede llegar a conclusiones erróneas respecto a la
covariación. En octavo lugar podemos tener una amenaza que puede ser que
la muestra sea muy heterogénea, muy diferente. Cuanto más heterogénea
sea la muestra, mayor será la desviación típica y menor... ...será la
probabilidad de detectar la posible covariación entre la variable
independiente y la variable dependiente. Y en noveno lugar está la amenaza
que es la estimación imprecisa de la magnitud del efecto, pues hay algunos
estadísticos que infraestiman o sobreestiman la magnitud de un efecto. De
entre las amenazas contra este tipo de validez, las que acabo de relatar,
cabe destacar la violación de los supuestos del modelo estadístico y la
baja potencia estadística. Amenaza contra la validez de conclusiones
estadísticas. Bien, pasamos al apartado de la violación de los supuestos
del modelo estadístico. La primera de ellas. Esta amenaza está
relacionada con el hecho de que a veces aplicamos una prueba estadística
sin tener en cuenta los supuestos que deben cumplir los datos para que
dicha prueba se pueda aplicar. La violación de estos supuestos puede
sobreestimar o infraestimar el tamaño y la significación del efecto del
tratamiento. Para controlar esta amenaza es necesario elegir adecuadamente
una prueba estadística paramétrica o no paramétrica, dependiendo de si
los datos cumplen o no los supuestos del modelo paramétrico. Continuamos
con la violación de los supuestos, la baja potencia estadística. La
potencia de una prueba es la probabilidad de rechazar la hipótesis nula
cuando la hipótesis alternativa es cierta. Cuando no elegimos
adecuadamente el nivel de significación estadística y sobre todo el
tamaño de la muestra, podemos concluir de forma incorrecta que la
relación entre la variable independiente y la variable dependiente no
existe cuando en realidad sí existe, sí la hay. Aquí estamos cometiendo
el error tipo 2. Es decir, cuando aceptamos la hipótesis nula cuando la
hipótesis alternativa es la que es cierta. Pues, ¿qué pasa? A medida que
aumentamos el tamaño de la muestra, incrementamos la probabilidad de
detectar el efecto del tratamiento. Esta amenaza, la baja potencia
estadística, se controla eligiendo adecuadamente el nivel de
significación estadística y el tamaño de la muestra necesario para no
cometer el error tipo 2. Como hemos dicho, ¿no? Concluir que no hay
relación cuando en realidad sí la hay. Pasamos a la validez interna, el
concepto y las amenazas. La validez interna hace referencia a la
probabilidad de obtener conclusiones correctas acerca del efecto de la
variable independiente sobre la variable dependiente. Se considera causal
porque se centra en especificar los factores causantes del cambio observado
en la variable dependiente. En un contexto y en un periodo determinado, una
inferencia causal será válida en la medida que el diseño de
investigación utilizado sea capaz de establecer una contigüidad temporal
entre la variable independiente y la variable dependiente y de eliminar
todas las hipótesis explicativas rivales, de tal forma que demuestre que
el efecto observado o efecto y, variable dependiente o criterio, se debe
exclusivamente a la variable independiente o predictiva, x. Para ello,
además de controlar las variables extrañas, es necesario distinguir si la
dirección de la causa es desde la variable manipulada, causa, a la
variable medida, efecto, o viceversa. Esta distinción de la dirección de
la causalidad dependerá del conocimiento que se tenga de la secuencia de
la causa. Y de la secuencia temporal de las variables. La validez interna
está relacionada con la calidad del experimento y se logra cuando
controlamos la varianza sistemática secundaria y los grupos sólo difieren
entre sí en el tratamiento y cuando la medición de la variable
dependiente es válida y fiable. Se puede considerar un diseño
internamente válido cuando las diferencias observadas en la variable
dependiente entre los diferentes grupos pueden atribuirse única y
exclusivamente a las variaciones producidas en la variable independiente.
Para ello se deben controlar las siguientes amenazas a la validez interna.
1. La procedencia temporal ambigua de la causa, la historia, la
maduración, la administración de las pruebas, la instrumentación, la
regresión estadística, la selección diferencial, mortalidad experimental
y las posibles incidencias. 2. Las interacciones de todas las anteriores
con la selección diferencial. Vamos a comenzar por la ambigüedad de la
contiguidad temporal de la causa. ¿En qué consiste? Consiste en la falta
de claridad que se puede dar sobre cuál es la causa y cuál es el efecto
debida a la ambigüedad que puede haber respecto a la contiguidad temporal
de las variables o objetos de estudio. Esto suele ocurrir en algunas
investigaciones no experimentales y sobre todo en investigaciones ex post
facto, donde las variables de estudio son de selección de valores. Para
controlar la amenaza de la ambigüedad de la contiguidad temporal de la
causa, en los estudios no experimentales se pueden hacer diseños
longitudinales y utilizar algunas técnicas de análisis de datos.
Historia, otra amenaza a la validez interna. La amenaza de historia se
define como los acontecimientos que ocurren durante el desarrollo del
estudio dentro del estudio. ¿Fuera del estudio o fuera del estudio? que
pueden afectar a la variable dependiente y confundir resultados.
Normalmente estos acontecimientos se deben a factores ambientales,
sociales, de la vida personal del participante, etc. Y existen diferentes
formas de controlar esta amenaza. Una sería utilizar grupos de control y
otra podría ser utilizar la técnica de aleatorización, de constancia, de
eliminación, las técnicas de control que hemos visto. En algunos
diseños, como los cuasi-experimentales, donde los grupos ya están
formados antes de seleccionarlos, puede darse una interacción entre la
selección y la historia, llamada historia local. Dicha amenaza consiste en
la posibilidad de... ...de que acontecimientos externos estén afectando de
forma diferente a cada uno de los grupos, debido al hecho de que los
sujetos proceden de contextos diferentes. Otra amenaza a la validez
interna. Maduración. Esta amenaza de maduración se refiere a que se
pueden dar procesos internos en los participantes como consecuencia del
transcurso del tiempo y son cambios debidos al mero paso del tiempo. Son
independientes del tratamiento. Estos cambios se pueden producir
principalmente como consecuencia de la fatiga, la adaptación, el
aburrimiento, el crecimiento biológico, psicológico, etc. Y tienen más
probabilidad de ocurrir cuando el intervalo de tiempo entre la aplicación
del tratamiento y la medición de la variable dependiente es muy largo y
cuando los participantes son niños, ya que los niños cambian mucho en muy
poco tiempo. Una forma de controlar esta amenaza... ...sería reduciendo el
tiempo del experimento y añadiendo grupos control que no reciban
tratamiento. Otra amenaza a la validez interna. La administración de las
pruebas, que se familiaricen, ¿no? La familiaridad producida por la
administración de una prueba puede distorsionar la respuesta de los
sujetos en la prueba siguiente que se les aplica, en grado proporcional al
número de veces que se utiliza dicha prueba. Este problema puede ocurrir
también cuando se utilizan pruebas diferentes, pero afines. Por ejemplo,
cuando se utilizan pruebas paralelas de un test. Esta amenaza de la
administración de las pruebas suele darse en diseños intersujetos si se
utilizan medidas pre-, pre-test y post-test, donde puede haber interacción
entre el pre-test y el tratamiento. También se da esta amenaza en diseños
intrasujetos mediante el efecto de orden o error progresivo y los efectos
residuales o de arrastre. Esta amenaza se puede controlar en los diseños
pre-test. ¿Qué es la amenaza de las pruebas intersujetos? prescindiendo
de la medida pre-test o utilizando grupos de control sin tratamiento con
medida pre y post. Y en los diseños intrasujetos se controla con las
técnicas de contrabalanceo. La siguiente amenaza a la variabilidad interna
es la instrumentación. ¿A qué se refiere? Se refiere al proceso de
medición de la variable dependiente y está provocada por los cambios que
pueden darse a lo largo del tiempo en los instrumentos o en los
procedimientos de registro o de medida. La medición de la conducta tiene
que ser precisa y consistente a lo largo de toda la investigación y con
todos los participantes. Cuando los observadores son humanos, como ocurre
en la metodología observacional y cualitativa, esta amenaza se puede dar
con mucha mayor frecuencia debido a que las medidas dependen de la
percepción y la decisión de los observadores que realizan el registro.
Esta amenaza, instrumentación, se puede controlar entrenando a los
observadores y utilizando instrumentos estandarizados, válidos, que miran
lo que presenten medir, y fiables, es decir, que miran siempre lo mismo
cuando se utilizan varias veces, en los mismos participantes y en las
mismas circunstancias. Otra amenaza a la validez interna, selección
diferencial. Esta amenaza está relacionada con la formación de los
grupos. En toda investigación, los grupos deben ser equivalentes antes de
la aplicación del tratamiento, en la variable dependiente y en otras
variables de sujeto relacionadas con el objetivo de la investigación. Solo
así sabremos que los resultados son debidos al efecto del tratamiento y no
a las diferencias iniciales entre los grupos. Si los grupos no se han
formado aleatoriamente o son tan pequeños que no ha podido actuar
correctamente el azar, no serán equivalentes. La amenaza de selección
diferencial es muy frecuente en los diseños cuasi-experimentales, ya que
utilizan la técnica de la aleatorización, los bloques o el emparejamiento
en la formación de los grupos. Para conseguir que los grupos sean
equivalentes es innecesario en los diseños inter-sujeto que los
participantes se asignen a los grupos o tratamientos mediante las técnicas
de asignación aleatorias o de bloques aleatorios. Por otro lado, en los
diseños intra-sujeto la muestra debe seleccionarse aleatoriamente de la
población. En los diseños no experimentales se deben utilizar muestras
amplias y representativas, utilizando para ello procedimientos aleatorios
para seleccionar la muestra. Otra amenaza a la validez interseccional. La
mortalidad experimental. Esta amenaza se refiere a la pérdida diferencial
de participantes durante el experimento y está muy relacionada con la
anterior amenaza, con la selección diferencial. En una investigación
puede ocurrir que la equivalencia inicial de los grupos se vea amenazada
debido a que algunos sujetos de uno de los grupos abandonan el experimento.
La forma de controlarla sería tener grupos de sujetos lo suficientemente
grandes como para que pudiera seguir actuando el azar. Otra amenaza a la
variabilidad interna, la regresión estadística. Esta amenaza también
está relacionada con la selección de los sujetos. A veces los sujetos no
se asignan de forma aleatoria a los tratamientos sino en función de los
valores obtenidos en una variable. Cuando esto ocurre y seleccionamos a
participantes con puntuaciones muy extremas Suele ocurrir que cuando los
volvemos a medir estas puntuaciones se han acercado a unos valores medios.
Este fenómeno se suele deber a la falta de fiabilidad en los instrumentos
de medida y se puede subsanar realizando varias medidas antes de
seleccionar a los sujetos. Hasta aquí la validez interna. Vamos a pasar a
la validez de constructo, previa a la validez externa. Validez de
constructo, concepto y amenazas. La validez de constructo hace referencia
al grado de correspondencia que hay entre la manipulación de la variable
independiente y la medida de la variable dependiente. Por un lado, y
también el constructo teórico que se pretende estudiar o medir por el
otro lado. Es decir, hasta qué punto se pueden inferir constructos
teóricos a partir de las relaciones causa-efecto que se dan entre las
variables objeto de la investigación. ¡Gracias! Nuestras variables
experimentales pueden ser producto de una operativización de un concepto o
constructo. El problema es saber el grado en que esas operativizaciones
representan realmente ese constructo o representan alguna otra cosa.
Valuerca distingue dos tipos de variedad de constructo. Uno, la variedad de
constructo de una causa, que sería el grado en que la variable
independiente representa el constructo teórico al que se pretende atribuir
el efecto del tratamiento en la conducta. Es decir, ¿hasta qué punta
representa el tratamiento teórico de interés? Por otro lado, el otro tipo
de variedad de constructo es la variedad de constructo de un efecto o grado
en que la variable tomada como variante de un efecto es la validez de un
efecto. La variable dependiente representa el atributo teórico que se
pretende medir. Este tipo de validez de un efecto se ve amenazada cuando
existe una deficiente comprensión, explicación o definición del
constructo por parte de los investigadores. que da lugar a una inadecuada
operativización de este o de constructo o cuando se lleva a cabo una
inadecuada medición de los constructos. Estas dos amenazas se controlan si
se desarrolla una teoría adecuada del constructo que lo relacione con
otros constructos y con otras posibles operacionalizaciones. Por otra
parte, cuando los participantes en la investigación son humanos la
reactividad a los dispositivos experimentales puede afectar a la validez de
constructo además de a la validez externa. Esta amenaza se puede controlar
con la técnica del simple ciego y del doble ciego mediante las cuales
participantes experimentadores desconocen la condición experimental que
les ha sido asignada. Validez externa, concepto y amenaza. La validez
externa habla de la posibilidad de generalizar los resultados de una
investigación a unas poblaciones, que sería la validez poblacional, a
unas situaciones, que sería la validez ecológica, o a momentos
temporales, que sería la validez histórica, diferentes a los utilizados
en esa investigación. Es decir, hace referencia a la posibilidad de
generalizar la relación causal observado en un determinado estudio, más
allá de las circunstancias bajo las que se ha obtenido esta relación.
Para que un experimento tenga validez externa, es fundamental que la
muestra sea representativa de la población de referencia y que se haya
seleccionado aleatoriamente. Las principales amenazas contra la validez
externa son problemas de interacción, interacción entre el tratamiento y
algunos aspectos del experimento. En la investigación, como puede ser
interacción, tratamiento, selección, situación, momento temporal, etc.
Aunque también hay otras amenazas a esta validez que no están
relacionadas con esas interacciones. Vamos a ver, amenazas contra la
validez externa relacionadas con la interacción. Estas amenazas que
interaccionan con el tratamiento se pueden agrupar de la siguiente manera.
A. Interacción entre selección y tratamiento, lo que nos daría la
validez poblacional. B. Interacción entre situación y tratamiento, que
nos daría la validez ecológica. C. Interacción entre momento temporal y
tratamiento, nos daría la validez histórica. Vamos a comenzar por la
interacción entre selección y tratamiento. Selección y tratamiento,
validez poblacional. La validez poblacional se produce por la interacción
entre selección y tratamiento. Una investigación carece de validez
poblacional. Cuando los resultados obtenidos en una muestra no pueden
generalizarse a la población de referencia ni a otras poblaciones debido a
que la relación hallada entre las variables es específica de los
participantes en el estudio. ¿Cómo se controla esta amenaza? Esta amenaza
se controla definiendo o acotando con exactitud las características de la
población de referencia y seleccionando aleatoriamente nuestra muestra, la
muestra de dicha población. Cuando esto no es posible, es conveniente
procurar incluir en la investigación una muestra formada por muchos
sujetos heterogéneos en las variables relacionadas con el tratamiento y
replicar el resultado. El experimento con muestras diferentes. Vamos a ver
otra amenaza a la validez externa. Interacción entre situación y
tratamiento. Sería la validez ecológica. La validez ecológica se produce
por la interacción entre situación y tratamiento. Y está provocada por
la artificialidad, a veces excesiva, de las situaciones experimentales. Es
una circunstancia que puede llevar a que sea imposible generalizar los
resultados a situaciones reales. Dicha amenaza es muy frecuente cuando se
utiliza el método experimental y no se suele dar en situaciones
observacionales. La forma de controlar esta amenaza puede ser replicar la
investigación en situaciones diferentes y procurar que la situación
experimental sea lo más natural posible, dentro del rigor que exige la
investigación. Otra amenaza a la validez externa, interacción de la
historia y el tratamiento, sería la validez histórica, que es el producto
de la interacción entre la historia y el tratamiento. Si durante el
transcurso de una investigación ocurren acontecimientos, que interactúan
con el tratamiento, los resultados estarían directamente vinculados a ese
momento temporal y por lo tanto no se podrían generalizar a momentos
temporales diferentes. Ocasionando un déficit en la validez histórica de
la investigación. Esta amenaza se controla replicando el experimento en
diferentes momentos temporales. Y vamos a ver ahora las amenazas no
relacionadas con la interacción. Según Valuerca, se pueden considerar
tres amenazas fundamentalmente. La interferencia de tratamientos
múltiples, el efecto reactivo de las pruebas y el efecto reactivo de los
dispositivos experimentales. Comenzamos por la primera, la interferencia de
tratamientos múltiples. En los diseños intrasujetos, donde se aplican
varios tratamientos a los mismos participantes, la respuesta del
participante a un tratamiento puede estar condicionada por los tratamientos
anteriores. Lo que provoca una disminución de la validez interna y externa
y en consecuencia una reducción de la capacidad de generalización de los
resultados. Esta amenaza se puede controlar mediante el contrabalanceo.
Ahora, el efecto reactivo de las pruebas. Otra amenaza no relacionada con
la iteración. El efecto reactivo de las pruebas es muy parecido a la
anterior, la interferencia de tratamientos múltiples. Y se puede dar
también en los diseños inter-sujetos con medidas pre-test. El pre-test
puede sensibilizar a los sujetos, disminuyendo además de la validez
interna, la validez externa y dificultando la capacidad de generalización
de los resultados. Y en último lugar, otra amenaza no relacionada con la
interacción, sería el efecto reactivo de los dispositivos experimentales.
El hecho de que un participante sea consciente, cuando participa en una
investigación, sea consciente de que la prueba de la prueba es una prueba
de la prueba. Y el que está siendo observado y evaluado, puede llevarle a
desarrollar una serie de percepciones o suposiciones sobre lo que el
experimentador quiere de él. Son características de la demanda de la
situación experimental y a evitar las respuestas que cree pueden suscitar
una valoración negativa. Así, no estaría respondiendo al tratamiento
sino a lo que cree que desea el experimentador que responda. Esta amenaza
se puede controlar utilizando la técnica de simple ciego y doble ciego.