Handbuch 5. Auflage

Evaluation und Evaluationsforschung 415 der Nachweis ihrer Erreichung in der Evaluation nicht erbracht werden kann, oder die Festlegung der Ziele erfolgt über einen Aushandlungsprozess der an der Maßnahme Beteiligten, was nicht nur zeitauf- wändig und unter Umständen konfliktträchtig ist, sondern auch keine Gewähr für eindeutige Fest- legungen gibt. Auf alle Fälle handelt es sich bei die- sem Verfahrensschritt nicht um eine in der Natur der Sache liegende Festlegung, sondern um eine Entscheidung, die auch immer mit guten Gründen anders ausfallen könnte. Verkompliziert wird diese Festlegung, wenn zudem der Anspruch erhoben wird, auch nicht-intendierte Folgen oder Neben- wirkungen in den Blick zu nehmen. Ähnliches gilt auch für die Übersetzung der Zielvorstellungen in messbare Indikatoren. Allein das Skalenniveau der entwickelten Messinstrumente, aber auch z.B. die verwendeten Begrifflichkeiten und die Reihenfolge der Fragen in einem Fragebogen beeinflussen das Ergebnis und erfordern Entscheidungen durch die Forscher und Forscherinnen. In den Lehrbüchern der empirischen Sozialforschung finden sich weitere Hinweise zu Kriterien und möglichen Fehlerquellen bei der Entwicklung von Mess- und Erhebungs- instrumenten. Grundlage der Interpretation kausaler Zusammen- hänge ist die Messung von Veränderungen bei denje- nigen, die am Programm oder an der Maßnahme teilgenommen haben. Dieser zunächst trivial klin- gende Schritt wird aber keineswegs in allen Evaluati- onsstudien durchgeführt. Veränderungsmessung bedeutet einen Vorher-Nachher-Vergleich, es müs- sen mindestens zwei Messzeitpunkte vorgesehen sein. Dabei gilt es gerade für Programme und Maß- nahmen, die nicht nur eine Veränderung von Kom- petenzen und Orientierungen anstreben, sondern dauerhaft Verhalten oder gar die Lebensweise ver- ändern wollen, dass Effekte sinnvollerweise erst nach Abschluss der Beteiligung an der Maßnahme gemes- sen werden können. Dazu muss entschieden werden, wann der richtige Messzeitpunkt liegen soll. Zudem muss in der Praxis die Frage entschieden werden, wie mit Klienten und Klientinnen in der Evaluation verfahren werden soll, die das Programm vorzeitig verlassen haben oder die für die Nachuntersuchung nicht mehr zur Verfügung stehen. Sehr häufig werden bereits auf dieser Grundlage Erfolgsquoten berechnet, d. h. diejenigen, bei denen sich Veränderungen in der angestrebten Richtung zeigen, werden als Erfolge der Maßnahme, diejeni- gen, bei denen keine Veränderung gemessen wer- den kann oder deren Situation sich in Bezug auf das Ziel verschlechtert hat, als Misserfolge gezählt. In einer Evaluation einer stationären Drogenthera- pie konnte demonstriert werden, dass allein durch die Art der Operationalisierung des Ziels „Drogen- freiheit“ und durch die Variation der Kriterien für die Teilnahme an der Behandlung (planmäßig be- endet, vorzeitig abgebrochen u. ä.) Erfolgsquoten für ein und dieselbe Untersuchungspopulation zwischen 10 und 90 Prozent berechnet werden konnten (Groenemeyer / Birtsch 1991). Dies spricht nicht grundsätzlich gegen die Berechnung von „Erfolgsquoten“, sondern nur dafür, dass im Forschungsbericht das Vorgehen der Konstruktion dieses Indikators genau dokumentiert wird. In je- dem Fall sind Vergleiche zwischen Maßnahmen und Untersuchungspopulationen nur dann sinn- voll, wenn ihre Bewertung tatsächlich auf der Grundlage gleicher Prinzipien der Messung erfolgt ist. Allerdings ist der Informationsgehalt von Er- folgsquoten sowohl für die Praxis als auch für die Weiterentwicklung von Programmen grundsätzlich sehr beschränkt, aber häufig unabdingbar für die politische Legitimation von Programmen und Maßnahmen. Es stellt sich das Problem, dass sich Individuen auch ohne (oder möglicherweise trotz) der Teil- nahme an der Maßnahme entwickeln, sie mit un- terschiedlichen Voraussetzungen (Kompetenzen, Ressourcen, Motivationen) an ihr teilgenommen haben und während und nach der Maßnahme je- weils wieder sehr unterschiedlichen anderen Ein- flüssen ausgesetzt sind und dies umso mehr je wei- ter der Messzeitpunkt von der Beendigung der Maßnahme entfernt ist. Als Kausalanalyse steht die Evaluationsforschung vor dem Problem, gemessene Veränderungen auch tatsächlich ursächlich auf die Maßnahme zurückzuführen. Von Kausalität wird üblicherweise dann gesprochen, wenn zwischen (angenommener) Ursache und Wirkung ein zeitli- cher Unterschied liegt, d. h. die Ursache geht der Wirkung voraus. Zudem müssen Veränderungen in den Ursachen mit Veränderungen in den Wir- kungen einhergehen und alternative Erklärungen hierfür ausgeschlossen werden. Der „Königsweg“ der Evaluationsforschung zur Lö- sung dieser Probleme ist das kontrollierte Experi- ment, bei dem mindestens eine Untersuchungs- gruppe, die an der Maßnahme teilnimmt, mit