Validität und Reliabilität in der Forschung mit gemischten Methoden

In der Mixed-Methods-Forschung ist die Validität ein Diskussionsthema unter Forschern. Während viele sie in ihren Diskussionen verwenden, wird die Verwendung des Begriffs Validität ständig in Frage gestellt. Lesen Sie in diesem Artikel mehr über den Hintergrund und die Grundlagen von Reliabilität und Validität in der Mixed-Methods-Forschung.

Einführung

Im Laufe der Zeit haben sich die Diskussionen über Zuverlässigkeit und Validität in der Mixed-Methods-Forschung weiterentwickelt, um die einzigartigen Herausforderungen der Integration qualitativer und quantitativer Ansätze zu bewältigen. Frühe Bemühungen zielten darauf ab, die Validität mit den in beiden Traditionen verwendeten etablierten Kriterien in Einklang zu bringen. Tashakkori und Teddlie (1998) gehörten zu den ersten, die untersuchten, wie Validitätsüberlegungen diese methodologischen Paradigmen überbrücken könnten, und legten damit den Grundstein für die Bewertung der Rigorosität in der Mixed-Methods-Forschung.

Mitte der 2000er Jahre erweiterten die Wissenschaftler den Diskurs um Validierungsstrategien, die speziell für gemischte Methoden gelten. Onwuegbuzie und Johnson (2006) stellten einen Rahmen von neun Legitimationstypen vor, in dem sie Qualitätsaspekte aufzeigten, die nur bei Studien mit gemischten Methoden auftreten. Dazu gehören die Legitimation der Stichprobenintegration, bei der bewertet wird, wie verschiedene Teilnehmergruppen zu den Ergebnissen beitragen, und die Legitimation der paradigmatischen Vermischung, bei der die Kompatibilität der zugrunde liegenden philosophischen Annahmen berücksichtigt wird.

Spätere Beiträge verfeinerten diese Perspektiven. Dellinger und Leech (2007) haben die Validität in ein breiteres Rahmenwerk zur Konstruktvalidierung integriert und Strategien für quantitative, qualitative und gemischte Methoden kategorisiert. Teddlie und Tashakkori (2009) erweiterten diese Arbeit durch die Einführung von Konzepten wie Designqualität, die die Angemessenheit des Forschungsdesigns für die Behandlung spezifischer Fragen bewertet, und interpretative Rigorosität, die bewertet, wie gut die Ergebnisse mit theoretischen Rahmen und realen Anwendungen übereinstimmen.

Mit zunehmender Reife der Mixed-Methods-Forschung betonten die Wissenschaftler, wie wichtig es ist, die Validierungsstrategien auf spezifische Studiendesigns zuzuschneiden. O'Cathain (2010) schlug einen strukturierten Rahmen für die Wahrung der Validität in allen Phasen einer Mixed-Methods-Studie vor, von der Planung bis zur Verbreitung. Creswell und Plano Clark (2011) bekräftigten diese Perspektive, indem sie die Notwendigkeit betonten, Validitätsüberlegungen mit verschiedenen Mixed-Methods-Ansätzen in Einklang zu bringen. Ivankova (2014) wandte diese Grundsätze in der Praxis an und zeigte, wie Forscher durch die strukturierte Integration qualitativer und quantitativer Daten Strenge in erklärenden sequenziellen Designs gewährleisten können.

Diese sich entwickelnden Diskussionen verdeutlichen die zunehmende Raffinesse der Validierungsstrategien in der Mixed-Methods-Forschung. Von frühen Konzeptualisierungen der Validität bis hin zu zeitgenössischen Rahmenwerken, die sich mit studienspezifischen Belangen befassen, haben Forscher nuancierte Ansätze entwickelt, um Strenge zu gewährleisten. Da sich das Feld weiter entwickelt, werden wahrscheinlich weitere Verfeinerungen entstehen, die die Qualität und Glaubwürdigkeit der Forschung mit gemischten Methoden stärken.

Validität in der qualitativen Forschung

In der qualitativen Analyse wird die Validität stärker betont als die Reliabilität. Qualitative Validität gewährleistet die Genauigkeit der Ergebnisse, die durch Forscher, Teilnehmer und Peer-Reviewer bestimmt wird. Im Laufe der Zeit haben sich alternative Begriffe für qualitative Validität herausgebildet, wie z. B. Vertrauenswürdigkeit und Authentizität. Die Feststellung der qualitativen Validität kann aufgrund der Vielzahl der verfügbaren Ansätze eine Herausforderung darstellen, ist jedoch entscheidend für die Gewährleistung einer glaubwürdigen Forschung (Creswell & Plano Clark, 2018).

Die Überprüfung der Validität bei der qualitativen Datenanalyse beinhaltet die Bewertung der Genauigkeit der erhobenen Daten. Dies beinhaltet die Gewährleistung von Glaubwürdigkeit, Übertragbarkeit, Zuverlässigkeit und Bestätigbarkeit. Zu den Strategien zur Validierung qualitativer Forschungsergebnisse gehören:

• Member Checking - Forscher legen Zusammenfassungen ihrer Ergebnisse (z. B. Fallstudien, Hauptthemen oder theoretische Modelle) den wichtigsten Teilnehmern zur Überprüfung vor. Dadurch wird sichergestellt, dass die Interpretationen mit den Erfahrungen der Teilnehmer übereinstimmen.
• Triangulation - Die Verwendung mehrerer Quellen, wie z. B. Interviews, Beobachtungen und Dokumente, stärkt die Aussagekraft der Studie. Dieser Prozess beinhaltet die Bestätigung von Beweisen aus verschiedenen Datenpunkten.
• Bestätigende Beweise - Die Einbeziehung von Daten, die den bei der Analyse ermittelten Hauptthemen widersprechen, erhöht die Glaubwürdigkeit der Studie. Daten aus der realen Welt enthalten oft widersprüchliche Perspektiven, so dass die Angabe dieser Diskrepanzen eine ausgewogene Interpretation gewährleistet.
• Peer-Debriefing und externe Prüfung - Die Beauftragung unabhängiger Forscher oder Prüfer mit der Überprüfung der Daten und Ergebnisse bietet eine zusätzliche Validierungsebene. Peers, die mit qualitativen Forschungsmethoden vertraut sind, können beurteilen, ob die Schlussfolgerungen logisch sind und durch die Daten gut gestützt werden.

Zuverlässigkeit in der qualitativen Forschung

Die Verlässlichkeit in der qualitativen Forschung spielt im Vergleich zur Validität eine untergeordnete Rolle. Sie betrifft in erster Linie die Konsistenz der Kodierung und Interpretation zwischen den Forschern. Ein Schlüsselaspekt der qualitativen Reliabilität ist die Intercoder-Übereinstimmung, bei der mehrere Kodierer dieselben Codes auf Textpassagen anwenden und dann ihre Ergebnisse vergleichen. Um die Reliabilität zu erhalten, sollten Forscher:

• Ein detailliertes Codebuch führen, um Codes klar zu definieren und Bedeutungsverschiebungen zu vermeiden.
• Regelmäßige Teambesprechungen durchführen, um die Konsistenz der Kodierung zu gewährleisten.
• Die Codes zwischen den Forschern gegenprüfen, um eine hohe Intercoder-Reliabilität zu erreichen (in der Regel gilt eine 80%ige Übereinstimmung als akzeptabel).

Obwohl die Zuverlässigkeit in der qualitativen Forschung weniger betont wird, erhöht die Sicherstellung der Konsistenz der Kodierung die Vertrauenswürdigkeit der Ergebnisse. Zusammen tragen qualitative Validität und Reliabilität zur allgemeinen Strenge der qualitativen Forschung bei.

Validität und Zuverlässigkeit in der quantitativen Forschung

In quantitativen Studien sind Validität und Reliabilität die wichtigsten Maßstäbe für die Datenqualität. Die Validität bezieht sich darauf, ob eine Messung tatsächlich das misst, was sie zu messen beabsichtigt. Mit anderen Worten: Ein gültiges Instrument in quantitativen Analysen würde das untersuchte Phänomen genau erfassen, ohne dass es durch äußere oder nicht damit zusammenhängende Faktoren beeinflusst wird. Es gibt verschiedene Arten der Validität, die sich aus verschiedenen Analysemethoden ergeben:

• Inhaltsvalidität: Deckt der Test oder die Messung die gesamte Bandbreite des zu messenden Konzepts ab?
• kriteriumsbezogene Validität: Wie gut korreliert der Test oder das Instrument mit einem Ergebnis oder Verhalten, das es vorhersagen soll?
• Konstruktvalidität: Misst der Test wirklich das theoretische Konstrukt, das er messen soll?

Die Reliabilität bezieht sich auf die Konsistenz oder Stabilität einer Messung im Laufe der Zeit oder über verschiedene Bewerter oder Instrumente hinweg. So würde ein zuverlässiges Messinstrument konsistente quantitative Ergebnisse liefern, wenn die Untersuchung unter ähnlichen Bedingungen wiederholt wird. Es gibt verschiedene Arten der Zuverlässigkeit, die mit unterschiedlichen statistischen Verfahren zusammenhängen:

• Test-Retest-Reliabilität: Sind die erzielten Ergebnisse konsistent, wenn derselbe Test der gleichen Gruppe zu zwei verschiedenen Zeitpunkten verabreicht wird?
• Inter-Rater-Reliabilität:** Inwieweit stimmen verschiedene Forscher oder Beurteiler bei der Bewertung desselben Phänomens überein?
• Interne Konsistenz: Sind mehrere Items, die dasselbe Konzept messen sollen (z. B. in einer quantitativen Erhebung), miteinander konsistent?

Gültigkeitsbedrohungen in gemischten Methoden-Designs

Validitätsrisiken in der Mixed-Methods-Forschung ergeben sich aus der Integration von qualitativen und quantitativen Ansätzen. Jedes Mixed-Methods-Design birgt einzigartige Herausforderungen, die die Glaubwürdigkeit der Studie gefährden können und spezifische Strategien zur Abschwächung dieser Risiken erfordern.

Konvergentes Design

Eine häufige Gefahr für die Validität eines konvergenten Mixed-Methods-Designs besteht darin, dass bei der quantitativen und qualitativen Datenerhebung keine parallelen Konzepte verwendet werden. Wenn die Konzepte nicht aufeinander abgestimmt sind, besteht bei Mixed-Methods-Forschungsdesigns die Gefahr der konvergenten Validität, einer Art von Inhaltsvalidität, die die Integration der Ergebnisse problematisch machen kann. Um dem entgegenzuwirken, sollten Forscher parallele Fragen erstellen, die die Konsistenz der Datenstränge gewährleisten.

Eine weitere Herausforderung ist die Verwendung ungleicher Stichprobengrößen bei der quantitativen und qualitativen Datenerhebung. Dies kann die Ergebnisse verfälschen, insbesondere wenn der Vergleich auf individueller Ebene stattfindet. Um diese Gefahr zu minimieren, sollten Forscher gleiche Stichprobengrößen verwenden, wenn sie Daten für jeden Teilnehmer vergleichen, oder unterschiedliche Stichprobenabsichten anerkennen, z. B. qualitative Daten für tiefere Einblicke verwenden, während quantitative Daten eine breitere Verallgemeinerung ermöglichen.

Eine weitere Gefahr, die den Zweck eines konvergenten Designs untergräbt, besteht darin, die Ergebnisse aus verschiedenen Datenbanken getrennt zu halten. Ohne eine angemessene Integrationsstrategie bleiben die Ergebnisse isoliert, was die Gesamtkohärenz und interne Konsistenz der Studie beeinträchtigt. Forscher sollten eine konvergente Datenanalysestrategie anwenden, wie z. B. gemeinsame Anzeigen oder Seite-an-Seite-Vergleiche, um die Ergebnisse effektiv zusammenzuführen und zu vergleichen.

Wenn es nicht gelingt, widersprüchliche Ergebnisse zu klären, schwächt dies die Aussagekraft der Studie, d. h. die Frage, inwieweit die Studie das erfasst, was sie zu analysieren beabsichtigt. Wenn Diskrepanzen auftreten, sollten die Forscher weitere Analysen durchführen, die Daten erneut untersuchen oder neue Interpretationen in Betracht ziehen, um die Gültigkeit der integrierten Ergebnisse zu gewährleisten.

Erläuterndes sequentielles Design

Bei einem erklärenden sequentiellen Design besteht eine erhebliche Gefahr für eine sinnvolle Triangulation darin, dass wichtige quantitative Ergebnisse, die einer Erklärung bedürfen, nicht identifiziert werden. Wenn Forscher wichtige Ergebnisse übersehen, kann es sein, dass die qualitative Nachbereitung die Kernfragen nicht angemessen behandelt. Um dies zu verhindern, sollten die Forscher in der quantitativen Phase alle möglichen Erklärungen sowohl für signifikante als auch für nicht signifikante Prädiktoren berücksichtigen.

Eine weitere Herausforderung besteht darin, qualitative Daten nicht zur Erklärung überraschender oder widersprüchlicher quantitativer Ergebnisse heranzuziehen, was die inhaltliche Validität und interne Konsistenz der verschiedenen Methoden beeinträchtigen könnte. Lücken in der Interpretation könnten die Glaubwürdigkeit der Studie schwächen. Um dies abzumildern, sollte die qualitative Datenerhebung so angelegt sein, dass unerwartete Ergebnisse durch offene Fragen, die die zugrunde liegenden Gründe erforschen, untersucht werden. Darüber hinaus können die Forscher qualitative Methoden wie die Überprüfung von Mitgliedern und die Nachbesprechung unter Gleichgesinnten anwenden.

Ein weiteres Problem ist die fehlende Verbindung zwischen den anfänglichen quantitativen Ergebnissen und der qualitativen Nachbereitung. Wenn die beiden Phasen nicht sinnvoll miteinander verknüpft sind, verliert die Studie ihre Aussagekraft. Die gezielte Auswahl qualitativer Teilnehmer auf der Grundlage quantitativer Ergebnisse stellt sicher, dass die qualitativen Daten relevante und zielgerichtete Erklärungen liefern und so die Integration der Ergebnisse stärken.

Exploratives sequentielles Design

Eine wichtige Gefahr für die Validität eines explorativen sequentiellen Designs ist das Versäumnis, die quantitative Komponente auf der Grundlage qualitativer Erkenntnisse aufzubauen. Wenn sich die quantitative Phase nicht direkt aus den qualitativen Erkenntnissen ableitet, fehlt es der Studie an interner Konsistenz. Die Forscher sollten ausdrücklich darlegen, wie jedes wichtige qualitative Ergebnis in die Gestaltung der quantitativen Phase einfließt.

Darüber hinaus wird die Glaubwürdigkeit der Studie untergraben, wenn es nicht gelingt, strenge quantitative Merkmale zu entwickeln. Um die Zuverlässigkeit der quantitativen Phase zu erhöhen, sollten die Forscher systematische Verfahren anwenden, wie z. B. die Verwendung psychometrisch fundierter Instrumente oder die Erprobung von Interventionsmaterialien.

Ein weiterer häufiger Fehler ist die Auswahl der Teilnehmer für die quantitative Phase aus demselben Pool wie die qualitative Stichprobe. Dies kann die Verallgemeinerbarkeit einschränken und zu Verzerrungen führen. Um dem entgegenzuwirken, sollten Forscher für die quantitative Phase eine größere und unabhängige Stichprobe verwenden, um eine breitere Anwendbarkeit der Ergebnisse zu gewährleisten.

Gemischte Methoden: Partizipatorisch-soziales Gerechtigkeitsdesign

Bei transformativen oder partizipatorisch-sozialen Gerechtigkeitsdesigns sind die zuvor erwähnten Bedenken bezüglich der Gültigkeit und Zuverlässigkeit quantitativer und qualitativer Methoden relevant, aber es gibt zusätzliche Bedenken, die nur bei dieser Art von Sozial- und Verhaltensforschung auftreten. Wenn der partizipatorische Schwerpunkt oder der Blickwinkel der sozialen Gerechtigkeit nicht klar festgelegt wird, schwächt dies die Wirkung der Studie. Forscher sollten diesen Fokus frühzeitig festlegen und sicherstellen, dass alle methodischen Entscheidungen mit dem partizipativen Rahmen übereinstimmen.

Ein weiteres Problem ist die fehlende Spezifizierung des Kerndesigns, das in den partizipativen Ansatz eingebettet ist. Ohne diese Klarheit fehlt es der Studie an methodischer Kohärenz. Die Identifizierung des Kerndesigns für gemischte Methoden und seine Verknüpfung mit dem Rahmen für soziale Gerechtigkeit gewährleistet Strenge.

Eine weitere Gefahr besteht darin, dass es nicht gelingt, die integrierten Ergebnisse mit potenziellen Maßnahmen und sozialen Veränderungen zu verbinden. Ohne explizite Verknüpfung mit realen Anwendungen erreicht die Studie möglicherweise nicht ihren beabsichtigten Zweck. Die Forscher sollten gemeinsame Darstellungen entwickeln, die spezifische Ergebnisse mit umsetzbaren Schritten für den sozialen Wandel verbinden.

Ein weiteres häufiges Problem ist die Ausgrenzung von Teilnehmern im Forschungsprozess. Dies widerspricht dem partizipativen Ansatz und kann die Glaubwürdigkeit der Studie untergraben. Die Forscher sollten die Teilnehmer in allen Phasen einbeziehen, von der Entscheidungsfindung bis zur Durchführung, um sicherzustellen, dass ihre Stimmen die Richtung der Studie bestimmen.

Schlussfolgerung

Die Gewährleistung von Zuverlässigkeit und Validität in der Mixed-Methods-Forschung erfordert einen durchdachten Ansatz, bei dem qualitative und quantitative Methoden effektiv integriert werden. Während das Konzept der Validität im Feld diskutiert wurde, arbeiten Forscher weiterhin an der Verfeinerung von Rahmenwerken zur Bewertung der Rigorosität in Studien mit gemischten Methoden. Verschiedene Strategien, darunter Triangulation, Member Checking und systematische Datenintegration, tragen zur Stärkung der Validität in der qualitativen Forschung bei, während sich die quantitative Forschung auf statistische Maßnahmen stützt, um Genauigkeit und Reproduzierbarkeit zu gewährleisten.

Jedes Mixed-Methods-Design birgt einzigartige Herausforderungen, die maßgeschneiderte Strategien zur Abschwächung von Validitätsbedrohungen erfordern. Konvergente Designs müssen parallele Konzepte über Datenquellen hinweg abgleichen, erklärende sequentielle Designs benötigen starke Verbindungen zwischen quantitativen und qualitativen Phasen, und explorative sequentielle Designs müssen sicherstellen, dass die quantitative Komponente direkt auf qualitativen Erkenntnissen aufbaut. Partizipatorisch-soziale Gerechtigkeitsdesigns erfordern eine klare Artikulation der sozialen Gerechtigkeitslinse und eine aktive Beteiligung der Teilnehmer, um die Integrität des Forschungsprozesses zu wahren.

Mit der Weiterentwicklung der Mixed-Methods-Forschung entwickeln die Wissenschaftler immer ausgefeiltere Ansätze zur Validierung der Ergebnisse. Die Integration von qualitativen und quantitativen Methoden verbessert die Tiefe und Anwendbarkeit der Forschung und ermöglicht ein umfassendes Verständnis komplexer Phänomene. Indem sie sich systematisch mit Validitätsbedrohungen auseinandersetzen und methodische Strenge wahren, können Forscher glaubwürdige, gut gestützte Schlussfolgerungen ziehen, die einen sinnvollen Beitrag zu ihrem jeweiligen Fachgebiet leisten.

Referenzen

1. Creswell, J. W., & Plano Clark, V. L. (2018). Designing and conducting mixed methods research (3rd ed.). SAGE Publications.
2. Tashakkori, A., & Teddlie, C. (1998). Mixed Methodology: Combining Qualitative and Quantitative Approaches. Thousand Oaks, CA: Sage Publications.
3. Onwuegbuzie, A. J., & Johnson, R. B. (2006). The Validity Issue in Mixed Research. Forschung in den Schulen, 13(1), 48-63.
4. Dellinger, A. B., & Leech, N. L. (2007). Toward a Unified Validation Framework in Mixed Methods Research. Journal of Mixed Methods Research, 1(4), 309-332.
5. O'Cathain, A. (2010). Assessment the Quality of Mixed Methods Research: Toward a Comprehensive Framework. In A. Tashakkori & C. Teddlie (Eds.), SAGE Handbook of Mixed Methods in Social & Behavioral Research (2nd ed., pp. 531-555). Thousand Oaks, CA: Sage Publications.
6. Ivankova, N. V. (2014). Implementing Quality Criteria in Designing and Conducting a Sequential QUAN → QUAL Mixed Methods Study of Student Engagement with Learning Applied Research Methods Online. Journal of Mixed Methods Research, 8(1), 25-51.
7. Creswell, J. W., & Plano Clark, V. L. (2011). Designing and Conducting Mixed Methods Research (2. Aufl.). Thousand Oaks, CA: Sage Publications.
8. Teddlie, C., & Tashakkori, A. (2009). Foundations of Mixed Methods Research: Integrating Quantitative and Qualitative Approaches in the Social and Behavioral Sciences. Thousand Oaks, CA: Sage Publications.