Fundamentos de Metodología Observacional y Fiabilidad de Datos

Variables en Investigación Observacional

Tipos de Variables

• Variable No Manipulada: No tiene Variable Independiente (VI) o sus valores provienen del sujeto o entorno.
• Variable Manipulada: Hay Variable Independiente (VI) cuyos valores provienen del investigador.

Distinción de la Variable Independiente (VI)

La Variable Independiente (VI) implica una comparación (aumenta, disminuye). Por ejemplo: “consumir cafeína aumenta el nerviosismo”. El 90% de los estudios son sin VI.

Si los valores de la VI son manipulados por el investigador, el estudio es manipulado. Ejemplo: El investigador asigna al azar el trabajo que realiza cada niño.

Contexto Metodológico

Metodología que Manipula

• Experimental: Control de Variables y Variables Extrañas (VEE).
• Cuasiexperimental: No hay control de Variables Extrañas (VEE).

Metodología que No Manipula

• Selectiva: Contexto Alterado.
• Observacional: Contexto No Alterado.

Técnicas de Registro

Metodología Observacional

Criterios de Participación

• No Participación / Externa:
  • Directa: Ver cómo ocurre.
  • Indirecta: Ver huellas.
• Participante Activa: Observador y observado interactúan en el registro.
  • Autoobservación: Sujeto observado y observador son los mismos.
• Participante Pasiva: Observador y observado no interactúan.

Tipos de Muestreo

Muestreo de Sujetos o Intersesional

Muestreo Probabilístico

• Aleatorio Simple: Elegir al azar 300 personas de un listín, sin considerar el distrito.
• Aleatorio Sistemático: Según una constante ‘k’, se forman subgrupos.
• Por Conglomerados: Elegir al azar 1 distrito, y de ese elegir al azar 300 personas.

Muestreo No Probabilístico

• Intencional: Elegir intencionalmente 300 personas.
• Por Cuotas: Elegir 100 personas de cada distrito (ej. 3 distritos).

Muestreo Intrasesional

Reglas del Muestreo Intrasesional

• Focal: El tiempo total de la sesión se dedica a un solo sujeto.
• No Focal: Dos condiciones:
  1. Más de un observador y más de un sujeto.
  2. En la misma sesión, cada observador se encarga de un sujeto diferente.
• Multifocal: Repartir el tiempo entre distintos sujetos.
• No Multifocal: En la misma sesión, cada observador se encarga de más de un sujeto como mínimo, compartiendo el tiempo entre ellos.

Reglas de Registro

Registro Activado por Transiciones (RAT)

El RAT se activa por transiciones. Se deben tener bien delimitadas las conductas a observar. Permite grabación y registro continuo.

Ejemplo de Secuencia de Conductas y Duraciones

D A C B A B A C B (20 total)

Duración: 2 1 4 3 1 4 2 3

Indicadores Básicos o Primarios

1. Frecuencia Absoluta (Fi): Fa = 3.
2. Frecuencia Relativa (Pi): Pa = 3/8 = 0.37.
3. Duración Absoluta (Da): Da = 2+3+4 = 9”. Duración de un comportamiento en una sesión.
4. Duración Relativa (Phi a): Duración A / Duración Total = 9/20 = 0.45. Es el porcentaje de ocurrencia de A en una sesión, en este caso es del 45%.
5. Duración Media (Dm): Duración A / Nº de veces que aparece A.
6. Tasa de Respuesta: Cantidad de respuestas en un determinado intervalo de un minuto.
7. Lapso (Lij): Tiempo en que la categoría no está presente. Ej: Lcc = 12”.
8. Tiempo de Espera (Eij): Tiempo desde que empieza la nueva conducta hasta que vuelve a comenzar la siguiente conducta C. Ej: 13” (se cuenta la duración de la primera conducta).

Conducta Estado: Tiene duración.

Conducta Evento: Ocurre en un momento dado.

8. Latencia (Li): Es el tiempo que tarda la conducta en aparecer en la secuencia. Ej: Lc = 2.

Indicadores de Orden

Secuencia: A C B A B A C B

Duración: 2 1 4 3 1 4 1 3

1. Frecuencia de Transición de Orden 1 (Fij): Ej: Fac = 2.
2. Frecuencia de Transición Relativa de Orden 1 (Pij): Ej: 2/3.
3. Frecuencia de Transición de Orden 2 (Fijk): Ej: Facb = 2.
4. Frecuencia Relativa de Transición de Orden 2: Ej: Pbab = 1/2 (pareja BA que podría tener otra después).
5. Frecuencia de Retardo: Busca asociación entre conductas separadas (ej. 1ª y 3ª). Fij” = Fab2.
6. Frecuencia Relativa de Retardo 2”: Ej: Pca = 1/1.

Reglas de Registro / Registro Activado por Unidades de Tiempo (RAUT)

El RAUT permite registrar solo en un momento específico.

• RAUT A (Puntual): Puntúa solo al final del registro. Si en el momento de observación se presenta la conducta, se puntúa con 1; si no, con 0. Genera ERROR ALEATORIO (pérdida de información).
• RAUT B (Intervalo Parcial): Se anota con 1 toda conducta que ocurra en el intervalo, aunque no lo ocupe totalmente. Genera ERROR ALEATORIO + ERROR SISTEMÁTICO (pérdida de ceros debido a la regla de registro). Se detectan ocurrencias (ej. 5 segundos). En el RAUT B, es el único intervalo donde pueden aparecer varias conductas a la vez.
• RAUT C (Intervalo Total): Solo se anota la conducta que ocurre durante todo el intervalo. Genera ERROR SISTEMÁTICO (pérdida del registro de los unos). No ocurrencias inferiores a 10”.

Elección de la Longitud del Intervalo en RAUTs

Si el tiempo del intervalo es muy grande, entonces podemos perder información, aunque es cómodo para el observador. Si el tiempo es pequeño, es exacto pero muy incómodo.

Técnicas de Martín y Bateson

Al mismo tiempo, se realiza un RAT y varios RAUTs de diferentes longitudes.

Sanson-Fisher

Al mismo tiempo, se realizan varios RAUTs de diferentes duraciones, aunque ahora no hay RAT. Como referencia, se toma el RAUT más pequeño y se comparan los demás con él.

Cálculo de la Longitud Óptima del Intervalo

Partimos con RAT, RAUTs de 10”, RAUTs de 15” y RAUTs de 20”.

1. Paso 1: Calcular las discrepancias de cada RAUT con respecto al RAT.
2. Paso 2: Se elige el RAUT con el tiempo de mayor duración, donde todas las discrepancias valgan 0.1 o menos.

Para calcular la longitud óptima del intervalo, se utiliza Sanson-Fisher y se toma como referencia el RAUT de 10”.

Coeficiente de Correlación de Spearman

Entre 3 y 20 categorías. Se considera fiable si el valor es ≥ 0.7.

Se toman los dos RAUTs, se numeran con subíndices, se restan entre los RAUTs y se elevan al cuadrado. Se suman los cuadrados.

Coeficiente de Correlación de Pearson

Más de 20 categorías.

Calidad de los Datos Observacionales: Validez y Fiabilidad

Validez

Validez de Constructo

Tres aspectos para obtenerla:

• Validez Convergente: Indicadores multimétodo-monorasgo. Significativa (≥ 0.7).
• Validez Discriminante: Indicadores monométodo-multirasgo. No significativa (< 0.7).
• Fiabilidad: Indicadores monométodo-monorasgo de 0.7 o más. La fiabilidad debe ser alta, correlación entre los datos.

Monométodo-Multirasgo: Validez de Constructo, por ejemplo, si cuando los niños inician el juego es por liderazgo u otra variable. Validez Discriminante: < 0.7, indicadores no significativos.

Validez de Criterio

• Validez Concurrente: Relacionar mi test con otro ya validado.
• Validez Predictiva: Ej. selección de personal.

Fiabilidad de los Datos Observacionales

Teoría Psicométrica de los Tests

Coeficiente Kappa (Acuerdo entre Observadores)

Se refiere a formas paralelas.

1. Tabla dicotómica.
2. Calcular la probabilidad de acuerdo entre observadores.
3. Elegir el adecuado. Cálculo del porcentaje de ‘1s’ en cada observación. P1 o P2: fila 1 / totales o columna / totales.

El Kappa total se elegirá cuando el porcentaje de ocurrencias (OCU) en ambos observadores esté entre 0.2 y 0.8 (ambos incluidos).

• Kappa ANOC (Acuerdo No Ocurrido): ≥ 0.8 (es grande).
• Kappa AOC (Acuerdo Ocurrido): ≤ 0.2 (si el porcentaje de uno es pequeño, entonces se elige, pues es poco probable que estas se den por azar).

Ver Tabla para valores de referencia.

Significación del Kappa: Intervalo de Confianza

• Si el intervalo incluye 0: Intervalo amplio, Kappa no significativo. El acuerdo entre observadores no difiere significativamente del esperado por azar.
• Si el intervalo no incluye el 0: Significativo. El acuerdo observado es mayor al esperado por azar.

Fiabilidad desde el Coeficiente de Correlación Psicométrico PHI (φ)

Se deben tener al menos dos observadores con observaciones de 0/1. Debe darse al mismo tiempo. Significativo si es ≥ 0.7. Un valor negativo es un mal indicativo para la fiabilidad.

PHI (φ): (20 * 40 – 5 * 10) / √(25 * 50 * 30 * 45) = 0.58

Fiabilidad: Desde la Teoría de la Generalizabilidad

• Objeto de Estudio: A quien se observa.
• Variable de Medida: Lo que observamos, la conducta.
• Faceta: Cualquier variable que tenga al menos 2 valores.

Tipos de Facetas

• Faceta Sistematizada: Si este sujeto es visto por los mismos observadores.
• Faceta Anidada: Un sujeto es visto por 2 observadores y otro sujeto no es visto por los mismos observadores, sino por otros (ej. Obs 1 y 2 ven al Sujeto 1; Obs 3 y 4 ven al Sujeto 2).
• Faceta Confundida: En una escuela observa el Obs 1, pero en la escuela 2 hay otro observador.

Diseños con una Faceta Generalizada

Cálculo de la Generalizabilidad

Coeficiente de Correlación de Spearman

Se considera fiable si el valor es ≥ 0.7.

rs = 1 – (6 * Σd²) / (N * (N² – 1)) = 1 – (6 * 24) / (4 * (4² – 1)) = 1 – 144 / (4 * 15) = 1 – 2.4 = -1.4

Fuentes de Varianza y Fiabilidad (FVAR-FIABILIDAD)

Fuente de Varianza del Sujeto: Variación Explicada

1. Calcular la media de cada sujeto y la media total.
2. Calcular las diferencias (Xsuj – Xtotal) y elevarlas al cuadrado, luego sumarlas.

Suma de Cuadrados del Sujeto (SCSj) = (0.5² + 0.5² + 0.5² + (-1.5)² + 0²) * Nº Observadores = (0.25 + 0.25 + 0.25 + 2.25 + 0) * 2 = 3 * 2 = 6

Suma de Cuadrados de los Observadores (SC.OBSERVADORES)

Variación No Explicada o Error Sistemático

1. Calcular la media de los observadores.

2. Calcular las diferencias (Xo – Xt): 0.5, -0.5.
3. Elevar al cuadrado y sumar: (0.5)² + (-0.5)² = 0.25 + 0.25 = 0.5.
4. Multiplicar por Nº de sujetos = 4. 0.5 * 4 = 2. SC Obs.

Suma de Cuadrados del Error (SC.ERROR)

1. Copiar la Tabla de Datos Original.

Calcular las desviaciones de cada observación respecto a la media del sujeto y la media del observador, luego elevar al cuadrado y sumar.

Grados de Libertad (GL)

• Nº de sujetos – 1 = 3
• Nº de observadores – 1 = 1
• Sujetos x Observadores = 3 * 1 = 3

Tabla de Varianza (ANOVA)

Que la varianza poblacional (σ²) sea cero es negativo para la fiabilidad.

Coeficiente de Correlación Intraclase (CCI)

CCI = Varianza del Sujeto / (Varianza del Sujeto + Varianza SXO) = 1.51 / (1.51 + 0.12) = 0.93

Decisión de la Fiabilidad del Estudio: Estudio de Decisión (Estudio D)

Fórmula: P = σ²s / (σ²s + σ²error) = 8 / (8 + 1.5) = 0.85

• σ² ABSOLUTO: El sujeto se mide, pero no se tienen en cuenta las Xis de los demás sujetos.
• σ² RELATIVO: El sujeto se mide con respecto a las Xis de los demás sujetos.

Si P ≥ 0.7: Fiable.

Si P < 0.7: No fiable.

Estimar la Media Global de un Sujeto: ¿Cuál sería el porcentaje de error?

% Error = 1 – σ² absoluto = 1 – 0.85 = 0.15 (15%). Se tomaría el absoluto porque es un solo sujeto.

Estudio No Fiable: Observadores no están de acuerdo.

Estimar las Condiciones Óptimas en las que debe hacerse el estudio

P = σ² / (σ²S – σ²error) = 0.63. Como P < 0.7, NO es fiable. Despejando del error absoluto:

0.7 = no * 0.63 / 2 + (no – 3) * 0.63 = 5. Se debe aumentar el número de observadores.

• Si la fiabilidad es baja, el error es alto.
• Si la varianza es alta (de Observadores o de SXO): Aumentar el número de observadores.
• Si la varianza de error mayor es de Sujeto (S) o Medida (M), entonces habrá que aumentar el número de facetas.

Análisis de Datos Secuenciales

Para hacer un análisis de datos secuenciales, hay que hacer un RAT (Registro Activado por Transiciones). Con RAUT (Registro Activado por Unidades de Tiempo) es imposible, porque se requiere un orden en las conductas.

Análisis de la Transición

Construcción de la Matriz de Datos I

Ejemplo de secuencia: A C A A C B C B A C B

P(AC) = 3 (A seguido de C) / 4 (total de A’s)

Objetivo: Ver si un comportamiento antecedente fomenta o inhibe a otro comportamiento consecuente, o si es neutro.

Ver si el componente es repetible o no.

• Repetible: La diagonal de la matriz de transiciones debe tener al menos un elemento > 0. Ceros de la diagonal = Muestrales.
• Datos Irrepetibles: La diagonal de la matriz es toda ceros y se llamará No Repetible.

Ceros de la Diagonal: Estructurales (imposibilidad de que una conducta se siga a sí misma).

Ceros fuera de la Diagonal: Muestrales.

Prueba de la Independencia General: Chi Cuadrado (χ²)

Sirve para valorar si en la matriz hay una conducta que condiciona a una posterior.

1. Paso 1: Calcular los Valores Esperados por Azar (Eij)

Eij = Fi+ * F+j / F++

Ej: Fi+ = 4, F+j = 3, F++ = 10

Eij = 4 * 3 / 10 = 1.2 (dato para la tabla)

Zij = (Fij – Eij)² / Eij

Ej: Zaa = (-0.2)² / 1.2 = 0.033

Zab = (-1.2)² / 1.2 = 1.2

Zac = (1.4)² / 1.6 = 1.225

χ²obs = 0.033 + 1.2 + 1.225 + 0.267 + 0.6 + 0.05 + 0.033 + 2.7 + 1.6 = 7.708

χ²tco (GL = (filas – 1) * (columnas – 1), α = 0.05) = 9.94 (dado en examen).

Decisión

• Si χ²obs > χ²tco: Se rechaza Ho (Hipótesis Nula). Al menos en una casilla hay dependencia.
• Si χ²obs ≤ χ²tco: Se acepta Ho. No existe dependencia en ninguna casilla.

Para saber en qué casilla exacta hay dependencia, se usa la Z Hipergeométrica.

Zij = (Fij – Eij) / √(Eij * (1 – Fi+/F++) * (1 – F+j/F++))

Ej: Para la casilla A-A: (-0.2) / √(1.2 * (1 – 4/10) * (1 – 3/10)) = -0.2 / √(1.2 * 0.6 * 0.7) = -0.2 / √(0.504) = -0.2 / 0.71 = -0.28

Decisión de la Z Hipergeométrica

Ztca (α = 0.05) = 1.96

• Si |Zij| ≤ Ztca (1.96): En la casilla se acepta la Nula (no hay dependencia significativa).
• Si |Zij| > Ztca (1.96): Se rechaza la Nula. Hay dependencia en las casillas.

• Dependencia Positiva (+): Activación.
• Dependencia Negativa (-): Inhibición.

Análisis de la Transición de Orden 1 en Conductas No Repetidas

1. Paso 2: Construir una tabla de Fij – Eij. Esta tabla es la más importante del análisis.

(Fij – Eij)² / Eij

Ej: Para C-A: (1.4)² / 3.6 = 0.544

χ²obs = 2.7 + 0 + 0.267 + 0 + 0.544 + 0.817 = 4.328

χ²tco = (i-1) * (j-1) (i y j son el número de casillas no diagonales); GL = (3-1) * (3-1) = 4.

Como χ²obs ≤ χ²tca: Ho (Hipótesis Nula) se acepta. Las conductas son independientes, las casillas son independientes. Finaliza el análisis.