BdWi - Bund demokratischer Wissenschaftlerinnen und Wissenschaftler

»Wissenschaft ist also ein prinzipielles Gegen-den-Strom-Schwimmen.«

Klaus Holzkamp

Newsletter abonnierenKontaktSuchenSitemapImpressumDatenschutz
BdWi
BdWi-Verlag
Forum Wissenschaft

Auf tönernen Füßen

15.08.2007: Generalverdacht gegen Evaluation

  
 

Forum Wissenschaft 3/2007; Titelbild: Stefan Knaab

1986 titelte ich in Das Hochschulwesen zur Evaluation: „statt bloßer Rituale ... praktischer Nutzen“; verständlich meine Neugier auf die in Hannover angenommene Dissertation von Christine Schwarz „Evaluation als modernes Ritual. Zur Ambivalenz gesellschaftlicher Rationalisierung am Beispiel virtueller Universitätsprojekte“ (LIT-Verlag, Münster [u.a.] 2006, Reihe Soziologie, Bd. 58, br., ISBN 3-8258-9638-2, € 24,90). Ich bin überzeugt: Es gibt weiterhin viele nutzlose und methodisch fragwürdige Evaluationen. Bei deren Betrachtung verfährt diese Dissertation nicht seriöser und steigert die vorherrschende unproduktive Verwirrung.

Die Arbeit will „dem scheinbar homogenen Schema ‚Evaluation‘ die politische Komplexität von Gesellschafts- und Technikentwicklung gegenüberstellen“ (20f.) und behandelt damit zwei Gegenstände: die Modellvorhaben zur Entwicklung „virtueller Universitäten“, Ende der 90er Jahre großzügig finanziert, und deren Evaluation. „Das virtuelle Versprechen“ mit den daran geknüpften Hoffnungen auf Effizienzsteigerung, Qualitätsverbesserung usw. der Hochschullehre wird im Teil I als „Rationalisierungsmythos“ bezeichnet. Bei drohender Delegitimierung dieses Kernelements moderner Hochschulpolitik greife die Politik nach dem Strohhalm ‚Evaluation‘. Den „enorm dehnbaren“ Terminus ‚Evaluation‘ belässt die Autorin unscharf, weil jeder darunter etwas anderes verstehe, „potenziell jeder bei der Evaluation mitmachen“ könne (258f.). Darunter subsumiert sie Disparates wie Rechnungsprüfung, Performanzmessung, Expertengutachten, selbst alltägliches Bewerten. Sie konstruiert ihren Gegenstand als Worthülse, was sie an anderer Stelle bemängelt. Soweit ich Frau Schwarz referiere, setze ich ‚Evaluation’ in einfache Gänsefüßchen, um an diese programmatische Unklarheit zu erinnern.

Teil II analysiert zwei anonymisierte Modellvorhaben zur „Virtualisierung von Hochschulen“, will herausfinden, „wie die Evaluierenden mit der ... Überprüfung eines unglaubwürdigen Versprechens umgehen“. (93) Im Anschluss an Methodisches (u.a. ethnographische Fallstudie, Insider-Problematik als Hochschul-Forscherin) erzählt II.2 die Geschichten beider Projekte, basierend auf Dokumentenanalysen und Interviews mit Projektmitarbeitenden und Evaluierenden. Packend wie im Krimi geschildert sind Konstellationen der Akteurinnen und Akteure, Interessenlagen, strategische wie taktische Manöver und die unter Rollendiffusität wie Aufgabenüberfrachtung leidenden ‚Evaluationen‘. Die Autorin resümiert, dass die Projekte ihre Ziele weit verfehlten und ihre ‚Evaluationen‘ kaum genutzt wurden. Statt informationstechnologisch verbesserter Lehr-/Lernprozesse sei eine transformierte Universität mit unerwünschten Nebenwirkungen entstanden.

Teil II.3 will die Ausgangsfragestellung/-these „Evaluation als modernes Ritual“ auf Basis der Interviews klären. Auswertungsregeln, zumal solche aus dem von der Autorin genannten Referenzwerk, sind nicht erkennbar. Das Kapitel schließt wie der Interviewleitfaden mit der Frage „Hat Evaluation etwas von einem modernen Ritual?“. Die Autorin nimmt die teils verunsicherten, teils kreativen Reaktionen der Antwortenden ironisierend zur Kenntnis. Die einzige Tabelle des Buches „Quantitative Auswertung der Ritualfrage“ ordnet 34 Antwortende den drei Kategorien „Ja, Ritual“, „Nein, kein Ritual“ und „Ambivalent“ zu. Die Angabe der Häufigkeiten spare ich, denn „auch bei der Auswertung der Ritual-Frage [ist] nur sehr schwer zu unterscheiden, ob erstens die Befragten aufgrund ihrer konkreten Erfahrungen mit Evaluation antworten oder unter Bezugnahme auf das, was Evaluation eigentlich sein sollte bzw. zu was sie gedacht und eingeführt wurde.“ (229) Die Schlussfolgerungen bleiben bei steter Unsicherheit des Gemeinten (‚Evaluation‘?) meist orakelhaft wie in folgendem Beispiel: „Das Auflösen der rationalitätsgläubigen Hülle klärt auch auf über die vielen unvernünftigen, chaotischen aber funktionaler Aufgaben, die Evaluation offenbar hier als Ersatz geteilter Ziele und Wertvorstellungen übernommen hat.“ (238)

Der Schlussteil III behandelt ‚Evaluation‘ über den Hochschulbereich hinaus und generalisiert auf breite gesellschaftliche Anwendungsbereiche, spricht dabei Kapitalismus- und Bürokratiekritik sowie Neoinstitutionalismus an. Das Ergebnis: ‚Evaluation‘ ist allerorten ein widersprüchliches, der Emanzipation genauso wie der illegitimen Herrschaft dienendes Ritual. Dies ist nicht hergeleitet, sondern wiederholt die a priori gesetzte Figur der Ambivalenz. Im Kapitel II werden hierzu Interviewdaten wie Datengebende funktionalisiert. Auch die Literaturverarbeitung im Schlussteil des Buches dient der Affirmation dieser bemüht kritischen Haltung. Die Veröffentlichungen der Sozialanthropologin Marilyn Strathern „Audit Cultures“ und des Professors für Rechnungswesen an der London School of Economics Michael Power „The Audit Society“ werden selektiv und verfälschend rezipiert. Anders als Schwarz dies insinuiert, behandeln nämlich beide Evaluation randständig; Power schreibt ihr gerade für den Hochschulbereich weit höhere Angemessenheit zu als standardisierten, auditbasierten Verfahren, die Akkreditierung oder Zertifizierung.

Fazit: Das Buch verfehlt wissenschaftliche Standards. Statt Missverständnisse und Projektionen zu Evaluation zu klären, nach klarer Abgrenzung zu anderen Praktiken wie z.B. Controlling zu suchen, steigert die Autorin fahrlässig die Desorientierung. Der misslungene Versuch zeigt auch, wie schwierig es ist, das eigene, unter hohem Druck stehende Handlungsfeld systematisch und mit gebotener Distanz zu betrachten.

Für mich ist dieses Buch Teil des Problems, ein materialreicher Ausdruck interessegeleiteter Innensichten auf ‚Evaluation‘, die an den vom Wissenschaftssystem gezogenen Außengrenzen changieren. Dabei sind die Wahrnehmungsdifferenzen zwischen neoliberalen, strukturkonservativen, systemtheoretisch oder emanzipatorisch orientierten InsiderInnen marginal.

Der Band bestätigt: Der Widerstand gegen Evaluation – einen sozial-/humanwissenschaftlichen Ansatz, der systematisch nicht nur bei der Erhebung und Verarbeitung von Daten, sondern auch bei der Bewertung sozialer Gegenstände verfährt – ist auch im Professionsfeld der Hochschul-Lehrenden und -Forschenden beträchtlich. Deren Handlungsbedingungen haben sich in den letzten Jahrzehnten dramatisch verändert, meist verschlechtert. Damit liegen dem Widerstand berechtigte Interessen zugrunde. Diese Haltung führt rasch zu undifferenzierten EURnehmungen davon, was Evaluation ist und was sie grundsätzlich unterscheidet von Monitoring, Benchmarking, Qualitätsmanagement und anderen „modernen“ Steuerungsverfahren. Genau diese Abgrenzung ist eine zentrale Anforderung an die Evaluation als Transdisziplin und Bestandteil einer professionellen Evaluationsethik.

Das Eine ist, solche Ansprüche, wie sie in den „Standards“ der Deutschen Gesellschaft für Evaluation (www.degeval.de ) formuliert sind, in Verträge mit Evaluationsauftragnehmenden und universitäre Evaluationsreglements aufzunehmen, Evaluationsberichte öffentlich zugänglich zu machen, von Evaluatorinnen und Evaluatoren den Nachweis ihrer Befähigung zu verlangen – zu Evaluationstheorien, zu Methoden, zur aufrichtigen Interessen- und Rollenklärung. Das Andere ist, dass Beteiligte und Betroffene im Hochschulsystem und um es herum die emotionale und intellektuelle Anstrengung auf sich nehmen, die verschiedenen systematischen Verfahren der Betrachtung und Bewertung ihres eigenen Handelns nach nüchterner Abwägung differenziert zu nutzen. Evaluation, die ihren Namen wert ist, wird sich dabei nach meiner Überzeugung als eines der besten erweisen.



Dr. Wolfgang Beywl ist Studienleiter des Weiterbildungsprogramms Evaluation der Koordinationsstelle für Weiterbildung an der Universität Bern und Wissenschaftlicher Leiter von Univation – Dr. Beywl & Associates GmbH in Köln.

Zum Seitenanfang | Druckversion | Versenden | Textversion