Handbuch 5. Auflage

414 Groenemeyer · Schmidt  Methoden der Evaluationsforschung Ausgehend von der US-amerikanischen Entwick- lung nach dem 2. Weltkrieg wurde auch in Deutschland zumindest bis in die 1980er und 1990er Jahre Evaluation mit quantitativer Evalua- tionsforschung, d. h. mit Kausalanalyse gleichge- setzt (vgl. zur historischen Entwicklung der Eva- luationsforschung z. B. Heiner 2001; Lange 1999). Auch heute wird innerhalb der Sozialwissenschaf- ten überwiegend die Ansicht vertreten, dass die in Evaluationen eingesetzten Methoden und wissen- schaftlichen Qualitätskriterien denen der (quanti- tativen) empirischen Sozialforschung entsprechen müssen (Lüders /Haubrich 2003; May 2010; Stockmann /Meyer 2010). Am Kausalmodell ist bereits in den 1970er Jahren erste Kritik laut geworden, die dann in der Ent- wicklung und Verwendung qualitativer oder inter- pretativer Verfahren in der Evaluationsforschung mündeten (Flick 2006). Parallel dazu kamen eben- falls in den 1970er Jahren Modelle der Aktions- forschung auf, bei der Forschung direkt mit Praxis und Intervention verknüpft wurde. Ausgehend hiervon entwickelten sich dann zunächst in den USA seit den 1980er Jahren Evaluationsmodelle, bei denen nicht mehr nur die Erkenntnis- und Wissensvermehrung über Programme und Maß- nahmen im Vordergrund standen, sondern die un- mittelbare Verwendung und Nützlichkeit des über Evaluationen generierten Wissens (Guba / Lincoln 1989; Patton 1997). Diese Umorientierung der Evaluationsmodelle von Wissenschaftsorientierung zu einer Anwendungsorientierung fand insbeson- dere im Bereich der professionellen Praxis eine hohe Akzeptanz (Spiegel 1993; Heiner 1998; Schröder / Streblow 2007) und führte konsequen- terweise zur begrifflichen Unterscheidung von Evaluation und Evaluationsforschung. Evaluationsforschung als Kausalanalyse Im Prinzip existieren keine speziellen Methoden der Evaluation, vielmehr ist aus dem gesamten Arsenal der empirischen Sozialforschung das für die spezi- fische Aufgabe Geeignete auszuwählen und an die jeweiligen Gegebenheiten anzupassen (Kromrey 2000). Diese Auffassung bezieht sich sowohl auf quantifizierende und hypothesentestende Wissen- schaftsmodelle als auch auf interpretative und kon- struktivistische Perspektiven der Evaluationsfor- schung. Im Prinzip würde es also ausreichen, auf entsprechende Methodenlehrbücher der quantitati- ven und qualitativen empirischen Sozialforschung zu verweisen. Tatsächlich können grundsätzliche methodische Fragen, z.B. über Forschungsdesigns, Mess- und Erhebungsverfahren, Fragen der Validität oder Auswertungsmethoden in diesem Rahmen nicht hinreichend behandelt werden. Stattdessen werden wir hier nur knapp einige Probleme und Herausforderungen der praktischen Durchführung von Evaluationsstudien thematisieren, die auf einige Besonderheiten der Evaluationsforschung im Ver- gleich zur „normalen“ quantitativen Forschung hin- weisen und zudem als Kriterien der kritischen Be- trachtung vorliegender Studien dienen können. Im Prinzip handelt es sich zumindest bei der quanti- tativen Evaluationsforschung um ein hypothesentes- tendes Verfahren, nämlich um die Prüfung der Frage, ob und in welchem Ausmaß durch eine Maß- nahme oder durch ein Programm Effekte erzielt werden, bzw. ob die gemessenen Effekte tatsächlich kausal auf die Maßnahme zurückgeführt werden können. Theoretisch sind dabei die anzuwendenden Verfahrensschritte zunächst einfach, erweisen sich aber in der Durchführung als äußerst komplex. Aus- gangspunkt der Evaluation ist die Festlegung von Zielen der zu evaluierenden Programme oder Maß- nahmen und ihre Übersetzung in messbare (d.h. quantifizierbare) Indikatoren. Hierbei stellt sich in der Praxis das Problem, dass sich die Vorstellungen der an der Maßnahme beteiligten Akteure über die mit einer Intervention zu erreichenden Ziele sehr weit auseinander liegen können. So können die Ak- teure des politischen Systemmit der Verabschiedung und Finanzierung eines Programms durchaus ganz andere Ziele verfolgen als die durchführenden Orga- nisationen in ihren Programmen festlegen; wieder andere Vorstellungen entwickeln dann die Professio- nellen in ihrer alltäglichen Arbeit mit der Klientel. Dabei ist es durchaus üblich, dass weder alle Vorstel- lungen der beteiligten Akteure miteinander kom- patibel sind noch sie realistischerweise tatsächlich alle über die entsprechende Maßnahme zu erreichen wären. In der Praxis handelt es sich bei der Fest- legung von zu messenden Zieldimensionen entwe- der um ad hoc Entscheidungen, die sich am Pro- grammziel orientieren, weshalb aber möglicherweise