Der jährliche Bildungsmonitor der INSM
11.01.2013: Hinter der Fassade eines bildungspolitischen Länderrankings
 |
|
|
Forum Wissenschaft 4/2012; Foto: Fotolia.com – alphaspirit |
In der Bundesrepublik existiert ein einflussreicher, als ›wissenschaftliche Statistik‹ getarnter Lobbyismus. Dessen Arbeitsweise - und wie die Mainstreampresse regelmäßig auf diesen hereinfällt - analysiert Tobias Kaphegyi und stellt im Folgenden einiges richtig.
Jedes Jahr im August raschelt es im Blätterwald. Das jährliche Update des sogenannten "Bildungsmonitors" der Initiative Neue Soziale Marktwirtschaft (INSM) wird in einer großen Pressekonferenz präsentiert. Viele große deutsche Tageszeitungen schreiben über den indikatorbasierten Bildungspolitikvergleich, den das von den Arbeitgeberverbänden getragene Institut der deutschen Wirtschaft (IW) im Auftrag der INSM seit 2004 erstellt. Die Berichterstattung konzentriert sich zumeist auf die im Bildungsmonitor scheinbar objektiv erstellte Rangordnung der ›Qualität‹ der Bildungspolitik in den Bundesländern. Viele Länder-Ministerien sehen sich sogar auf Grund des Medienechos bemüßigt, sich zur verkündeten Rangordnung und der ihnen zugedachten Rolle zu verhalten und geben Pressemitteilungen heraus. In den Pressemitteilungen loben sich die Ministerien meistens selbst und der Bildungsmonitor wird für die anscheinenden Fortschritte der eigenen Bildungspolitik als Beweis herangezogen.
Der Bildungsmonitor bewirbt sich natürlich selbst damit, für die "kontroverse" Diskussion darüber, "wie man Bildung verbessern sollte", die "Fakten" zu liefern. Laut eigener PR der INSM-Verantwortlichen ist der Bildungsmonitor "so umfassend [...] wie keine andere Studie in diesem Bereich".1
Im Auftrag der Gewerkschaft Erziehung und Wissenschaft (GEW) und gefördert durch die Max-Traeger-Stiftung war es mir 2011 möglich, einen intensiven Blick hinter den Reiz des Bundesländer-Rankings von 2010 zu werfen. Dieser ist den JournalistInnen im schnellen Alltagsgeschäft wohl eher nicht möglich. Wobei einige der entdeckten Mängel schon der Anlage des Bundesländer-Rankings zu Grunde liegen und leicht zu erkennen sind. Benötigt eventuell auch die Informations- und Medienbranche einfache Geschichten über eindeutig ›gute‹ und ›schlechte‹ Bildungsqualität, Verbesserungen, scheinbare Gewinner- und Verliererländer und ›wissenschaftlich‹ eindeutig ermittelte Rangordnungen? Kann es für das Bildungssystem gut sein, dass der gesellschaftliche Diskurs über Verbesserungen der Qualität von Bildung in Form eines Wettbewerbs geführt wird, der von Arbeitgeberorganisationen organisiert und bestimmt wird?
Aufbau des Bildungsmonitors
Der Argumentationsaufbau des Benchmarkings im Bildungsmonitor 2010 rekurriert auf ein Wachstumsmodell, wie es auch aus den ›neuen‹ oder ›endogenen‹ Wachstumstheorien bekannt ist.2 Sie sind Weiterentwicklungen der neoklassischen Wachstumstheorie und setzen aber im Gegensatz zu dieser einen neuen Schwerpunkt auf das ›Humankapital‹. Es wird dabei behandelt wie beispielsweise Sachkapital. Eine Erhöhung des Inputs an Humankapital bedeutet immer auch automatisch ein erhöhtes Wachstum, weil durch die Übernahme der Gleichgewichtsannahme aus der Neoklassik, jede Inputerhöhung bei einem freien Spiel der Preise zu einer Wachstumssteigerung führt (siehe Abb.1). Bildung interessiert also im Bildungsmonitor nur dahingehend, dass sie dazu dient, das Qualifikationsniveau der Menschen anzuheben und damit als einer von vier genannten Wachstumstreibern zu fungieren.3 Unrealistischerweise bedeutet in der Ideologie dieser Wachstumstheorie, dass eine Anhebung des Qualifikationsniveaus eines Menschen automatisch seine berufliche Beschäftigung nach sich zöge - und diese wiederum eine erhöhte Wertschöpfung und damit erhöhtes Wirtschaftswachstum. Das ist empirisch betrachtet natürlich leicht zu falsifizieren (man denke z.B. an Südeuropa mit dem bisher höchsten Qualifikationsniveau und der gleichzeitig riesigen Jugendarbeitslosigkeit) und eine Annahme, die beispielsweise die Nachfragewirkungen auf den betreffenden Arbeits- oder Produktmärkten völlig ignoriert.4 Eine die Bildungspolitik ergänzende Sozial- und Beschäftigungspolitik ist aus dieser Optik entbehrlich. Es wird angedeutet, dass Bildung auch weitere Aufgaben habe, deren Betrachtung aber einer "pädagogischen Perspektive" unterliege.5
Der Bildungsmonitor hat nach eigenen Angaben 111 Indikatoren innerhalb des Bildungssystems benannt, anhand derer sich die Verbesserungen innerhalb eines Bundeslandes bei der "Erhöhung des Qualifikationsniveaus" - damit auch automatisch bei der "Mobilisierung von Beschäftigung" - und im Endeffekt bei der Förderung des regionalen Wirtschaftswachstums messen lassen. Diese Indikatoren sind auf 13 "Handlungsfelder" aufgeteilt, von denen fünf im sogenannten Inputbereich des regionalen Bildungssystems und acht im sogenannten Outputbereich des regionalen Bildungssystems liegen (Vgl. mit Abb. 2).
"Eine quantitative Abbildung der komplexen Wechselwirkungen zwischen der Bildungspolitik in den einzelnen Ländern und dem regionalen Wirtschaftswachstum über kausal argumentierende Leistungsrankings und sogenannte Benchmarkings vorzunehmen ist ein wissenschaftlich umstrittenes Unterfangen. Der Bildungsmonitor versucht es trotzdem."6
Kritische Analyse des Bildungsmonitors 2010
Das erste Ergebnis ist eher die Feststellung eines gewollten Missverständnisses: Die Öffentlichkeitsarbeit der INSM und des IW legen es darauf an, dass die berichtenden Medien bei oberflächlicher Betrachtung nicht sofort erkennen können, dass es sich beim Bildungsmonitor nicht etwa um ein Ranking handelt, das die pädagogische Qualität der unterschiedlichen Bildungssysteme der Bundesländer misst. Wie in der Einführung in den Argumentationsaufbau des Bildungsmonitors schon deutlich wurde: Im humankapitaltheoretischen Ansatz des Bildungsmonitors interessieren nur die Verbesserungen des Bildungssystems, die dann später einmal automatisch Verbesserungen beim regionalen Wirtschaftswachstum nach sich ziehen. Bei der Pressekonferenz 2010 tätigten die Verantwortlichen aber beispielsweise Aussagen zur Schulstrukturfrage, die 2010 in keinster Weise Untersuchungsgegenstand des Bildungsmonitors war. Auch die Überschriften und die Ergebnispräsentationen in der Pressearbeit der INSM und des IW treffen Aussagen, die sie gar nicht messen und die weit über den "ökonomischen Blick" hinausgehen. Zum Beispiel: Sachsen habe "das beste Bildungssystem". Eigentlich müsste genauer gesagt werden: "Sachsen hat das Bildungssystem, das nach den Erkenntnissen des Bildungsmonitors die besten Ausgangsbedingungen für zukünftiges Wirtschaftswachstum bietet". Kaum eine Redaktion gibt hier den grundsätzlichen Aufbau des Bildungsmonitors richtig wieder: Er wird zumeist als ein Ranking insbesondere auch der pädagogischen Qualität der Bildungspolitik in den Ländern weiter vermittelt.
Indikatoren zur Hälfte falsch
Das grundlegende Problem des Bildungsmonitors besteht darin, dass sich die AutorInnen nicht an die Art des methodischen Aufbaus eines Benchmarkings halten, auf das sie selbst verweisen7: "Statt im Sinne eines einigermaßen kritisch-rationalen Vorgehens, geeignete Falsifikationskriterien für die Indikatoren und Handlungsfelder zu definieren und zu prüfen, werden diese Indikatoren aufgrund eines interessenorientierten Auswahlprozesses - euphemistisch als ›Metastudien‹ bezeichnet - bestimmt."8 Dies führt dazu, dass die Indikatoren und Handlungsfelder im Bildungsmonitor aufgrund empirisch weitgehend unbestätigter Theorien der sogenannten Mainstreamökonomie, und aufgrund simplifizierender Übertragungen von Elementen der ›endogenen Wachstumstheorien‹, zur Wachstumswirkung von Bildung ausgewählt und definiert wurden.
Bei einer Untersuchung des empirischen Gehalts der Handlungsfelder und Indikatoren treten diese Mängel deutlich zu Tage. "Nur die Konstruktion eines der 13 Handlungsfelder kann überhaupt als empirisch unterstützt gelten".9 Die anderen zwölf Handlungsfelder sind in ihrer Mehrheit gerade einmal neoliberal-theoretisch hergeleitet oder werden einfach so unbegründet konstruiert.10 An dieser einen, empirisch unterstützten Konstruktion des Handlungsfelds "Schulqualität" kann aber exemplarisch verdeutlicht werden, wie methodisch falsch diese einmalige empirische Unterstützung der Konstruktion eines einzigen von 13 Handlungsfeldern stattfindet:
Schulqualität wird im Bildungsmonitor gleichgesetzt mit den Ergebnissen von internationalen Schulleistungsvergleichstests. Zur Begründung dieser Art der Definition von Schulqualität wird auf die Arbeiten von Hanushek und Wößmann (2008) sowie Wößmann und Piopiunik (2009) verwiesen.11 In diesen wurde mithilfe von Regressionsanalysen12 ein statistischer Zusammenhang zwischen dem Wirtschaftswachstum und den Bildungskompetenzen in Industrieländern identifiziert. Leider werden diese Regressionsanalysen nicht nur im Bildungsmonitor als Beweise für eine Kausalität in Form von ›Mehr Bildung = mehr Wachstum‹ verwendet. Durch eine einfache Umrechnung des Regressions-Koeffizienten in einen Multiplikator kommt der Bildungsmonitor zu folgender, scheinbar empirisch bewiesener Wahrheit: "Gelingt es folglich der Politik, die Kompetenzen der Schüler durchschnittlich um 25 PISA-Punkte zu erhöhen, so steigt langfristig die jährliche Wachstumsrate um rund 0,3 Prozentpunkte an".13 Dies ist ein grober methodischer Fehler: Regressionsanalysen können keine kausalen Zusammenhänge beweisen! Wößmann und Piopiunik schreiben in ihrer Arbeit selbst: "Der [...] Zusammenhang zwischen Bildungsleistungen und Wirtschaftswachstum ist noch nicht notwendigerweise ein Beweis dafür, dass es sich dabei um einen kausalen Effekt der Bildungskompetenzen auf das Wachstum handelt".14 Auch über die Richtung eines Zusammenhangs kann eine Regressionsanalyse keine abschließenden Aussagen machen. D.<V> <^*>h., es könnte sich auch um einen Zusammenhang zwischen Wirtschaftswachstum und Bildungskompetenzen handeln oder um einen reziproken Zusammenhang, der sich gegenseitig aufschaukelt.
Wenn man dann genauer untersucht, ob die 111 Indikatoren eigentlich das messen, was sie vorgeben zu messen, ergibt sich dasselbe Bild: Nur knapp 50 Prozent der Indikatoren messen überhaupt das Behauptete. Dies soll hier kurz an einem typischen Beispiel, anhand von Indikatoren im Handlungsfeld "Betreuungsbedingungen" dargestellt werden. In diesem Handlungsfeld kommen beispielsweise auch Indikatoren zu "erteilten Unterrichtsstunden pro Klasse" zur Anwendung. "Bei diesen Indikatoren können Bundesländer auch Verbesserungen durch Verschlechterungen der Betreuungsrelationen erreichen. Wenn Klassengrößen erhöht werden, lassen sich mit der gleichen Anzahl an LehrerInnen mehr Unterrichtsstunden erteilen."15 Das hat dann aber mit verbesserten Betreuungsbedingungen nichts mehr zu tun, sondern ist sogar die direkte Umkehrung des Sinns dieses Indikators.
Die Gegenprobe: was misst der Monitor überhaupt?
Bei all der Kritik an den ideologischen, ökonomietheoretischen Grundannahmen des Bildungsmonitors, an seinen unempirisch konstruierten Handlungsfeldern und den falsch ausgewählten Indikatoren: Kann der Bildungsmonitor überhaupt seinem Anspruch gerecht werden und die unterschiedlichen Wachstumswirkungen der Bildungspolitik in den Bundesländern messen? Wenn ja, sollte doch wenigstens ein signifikanter16 statistischer Zusammenhang zwischen dem Punkte-Ranking des Bildungsmonitors und eines Rankings durchschnittlicher Wachstumsraten in den Bundesländern für den Zeitraum des Bildungsmonitors feststellbar sein.
Es lässt sich aber in einer Korrelationsanalyse für die Unterschiede zwischen den gesamten Bildungsmonitorwerten der Bundesländer kein statistisch signifikanter Zusammenhang mit den unterschiedlichen durchschnittlichen Wachstumsraten der Bundesländer seit Beginn des Monitorings bis heute (2004 bis 2010) erkennen. "Sowohl der Punktestand der Bundesländer im Bildungsmonitor 2004, der Punktestand von 2010 und der Punktezuwachs zwischen 2004 und 2010 weisen keinerlei signifikanten statistischen Zusammenhang mit dem durchschnittlichen Wirtschaftswachstum (2004-2010) in den Bundesländern auf".17 In einem kritisch-rationalen Verständnis von empirischer Forschung muss die scheinbar "ökonomische Sicht"18 des Bildungsmonitors in ihrer Operationalisierung von 2010 als falsifiziert gelten. Auf den ersten Blick lassen sich aber auch zur Operationalisierung 2012 keine allzu großen Unterschiede erkennen. Damit verfehlt der Bildungsmonitor die selbst gestellte Aufgabe zu messen, welche Bildungspolitik in den Ländern gut für das Wirtschaftswachstum eines Bundeslandes sein soll. Warum dann das Ganze?
Wissenschaftlich-methodische Mängel
Neben dem schon oben angesprochenen methodischen Hauptproblem des Bildungsmonitors, das darin besteht, dass er die Regeln, die er sich selbst als Grundlage gibt, nicht einhält und keine prüfbaren ›Falsifikatoren‹ benennt, die die Grenzen einer Korrespondenz zwischen Indikator und zu messendem theoretischen Konstrukt festlegen, zeigen sich gravierende methodische Mängel beispielsweise auch noch in der Konstruktion des sogenannten "Dynamikrankings". Nach den vom Bildungsmonitor selbst beschriebenen "Standardisierungs- und Aggregationsverfahren" müssten eigentlich für die Jahre, in denen für manche Indikatoren keine Daten vorhanden sind, diese Indikatoren aus dem Ranking genommen werden. Auch der Umgang mit fehlenden Daten für einzelne Bundesländer wird nicht erläutert. Die euphemistische Verwendung des Begriffs "Metastudien" wurde oben schon angesprochen.
Die vielen Mängel des wissenschaftlichen Arbeitens sind aber gravierender.19 Exemplarisch sollen hier die zwei wichtigsten angesprochen werden:
1. Der am meisten störende Verstoß gegen die Kriterien des wissenschaftlichen Arbeitens liegt darin begründet, dass beim Bildungsmonitor 2010 für alle Indikatoren keine Quellennennungen vorliegen. "Die komplette Herkunft der zahlenmäßigen Grundlage des Bildungsmonitors bleibt im Dunkeln! Das widerspricht eigentlich den sonst üblichen Kriterien wissenschaftlichen Arbeitens."20 Es ist ärgerlich: Nichts kann nachgerechnet oder nachgeprüft werden. Viele Daten sind wahrscheinlich vom IW selbst konstruiert.
2. Der Umgang mit anderen Studien und Literatur, die zitiert wird, wirkt stellenweise manipulativ. Das geht so weit, dass manche Belege ganz ins Leere führen, weil auf den angegebenen Seiten in der angegebenen Literatur sich die entsprechenden Belege nicht finden lassen. Des Weiteren findet oftmals eine inhaltlich falsche Wiedergabe statt oder selektiv-verzerrendes und zu stark interessenorientiertes Zitieren.
Schlussfazit
Der Bildungsmonitor, seit seinem Start 2004 als sogenanntes Benchmarking konzipiert, ist keine wissenschaftliche Analyse, sondern ein professionelles Lobbyinstrument. In seinen Ergebnissen stößt er (bisher) niemanden so richtig vor den Kopf und gesteht allen Bundesländern jedes Jahr aufs Neue zu, dass sie sich "verbessert" haben. Die Gewinner- und Verliererrollen und die politischen Kernaussagen bleiben aber trotzdem stabil verteilt. Die Methode des Benchmarking entstammt ursprünglich den betriebsinternen Steuerungsmethoden der Betriebswirtschaftslehre. Im Gegensatz zu den von der Kultusbürokratie stark angefeindeten OECD-Untersuchungen ("Education at a Glance") hält der Bildungsmonitor noch alle ›bei der Stange‹. D.h. Medien, PolitikerInnen und Regierungen verleihen durch ihre Reaktionen auf den Bildungsmonitor diesem erst seine Bedeutung. Es besteht ein Synergieeffekt der Herrschaft: Anstatt deprimierender und langatmiger Analysen liefert er eine spannende Wettbewerbsgeschichte und bescheinigt der Politik oftmals gute Arbeit. So schafft es der Bildungsmonitor als normatives Ranking wirklich Qualitätsmaßstäbe in der Bildungspolitik zu beeinflussen. Das Etablieren von Benchmarkings: Ein altbekanntes Machtspiel! Wer einen Qualitätswettbewerb initiiert und evaluiert, definiert auch normativ die Qualitätskriterien und kann Politik lenken. Er ersetzt die sich im politischen Diskurs bildende Solidarität bei den und für die (Bildungs-) Benachteiligten durch eine scheinbar wissenschaftliche Erzählung über Konkurrenz und Wettbewerb regional konstruierter Identitäten. Der Arbeitgeber-Lobbyorganisation INSM in Zusammenarbeit mit dem IW scheint es gelungen zu sein ein Machtinstrument innerhalb der Bildungspolitik zu generieren, was vorgibt eine wissenschaftlich neutrale "Best Practice" zu entwickeln.
Wissenschaftlich betrachtet kann man das verunglückte Benchmarking Bildungsmonitor im Gesamten aber höchstens als normative, offene Koordinierungsmaßname bezeichnen, die die Bildungspolitik der Bundesländer auf eine einheitliche ideologische Ausrichtung hin beraten soll. Mit realen Auswirkungen der Bildungspolitik in den Bundesländern auf das Wirtschaftswachstum in den Bundesländern hat der Bildungsmonitor empirisch nichts zu tun. Und mit der pädagogischen Qualität der Bildungspolitik in den Bundesländern schon von vornherein nicht. Das wird von Medien und Politik, von der INSM gewollt, hineingelesen.
Anmerkungen
1) Hubertus Pellengahr 2010: Bildungsmonitor 2010: Bessere Bildung trotz Haushaltskonsolidierung - Die Chance des demografischen Wandels nutzen, Statement des Geschäftsführers der INSM. Pressekonferenz am 19. August 2010. www.insm.de/insm/Presse/Pressemeldungen/Bildungsmonitor-2010.html [10.09.2010].
2) Beispielsweise Robert J. Barro 1997: Determinants of Economic Growth: a Cross-Country Empirical Study, Cambridge (Mass.).
3) Die anderen genannten Wachstumstreiber sind die Mobilisierung von Beschäftigung, die Stimulation von Investitionen und die Haushaltskonsolidierung. Die Haushaltskonsolidierung, die nur als Reduktion der Staatsausgaben gedacht wird, hat dabei - typisch für arbeitgebernahe WirtschaftswissenschaftlerInnen - höchste Priorität als "Wachstumstreiber". Sie hat damit Vorrang vor der Humankapitalbildung. Dies ist inzwischen aber bis weit in liberale ÖkonomInnenkreise oder auch im Sachverständigenrat umstritten. Dies geschieht aus der arbeitgebernahen Interessenorientierung heraus: Eventuelle Steuererhöhungen für die Kapitalseite zur Verbesserung von Bildung sollen möglichst schon über die ›wissenschaftliche‹ Politikberatung verhindert werden.
4) Ausführlich dazu mit weiteren empirischen Falsifizierungen: Tobias Kaphegyi 2012: Black Box Bildungsmonitor. Ein Blick hinter den Reiz des Rankings, Frankfurt: 24-29.
5) Erdmann et al. 2010: Bildungsmonitor 2010. Bessere Bildung trotz Haushaltskonsolidierung - Die Chancen des demografischen Wandels nutzen. Forschungsbericht, Köln: 7.
6) Tobias Kaphegyi 2011: Kurzfassung. Black Box Bildungsmonitor. Ein Blick hinter den Reiz des Rankings. Tübingen, den 09. August 2011. www.gew.de/Binaries/Binary80605/Kurzfassung++Black+ Box+Bildungsmonitor+%282%29.pdf [10.10.12].
7) Der Bildungsmonitor verweist auf: Wolfgang Meyer 2004: Indikatorenentwicklung. Eine praxisorientierte Einführung, Ceval-Arbeitspapiere, Nr.10, 2. Auflage, Saarbrücken. www.ceval.de/typo3/fileadmin/user_upload/PDFs/workpaper10.pdf [10.12.2010].
8) Kaphegyi 2011: 28.
9) Ebd.: 29.
10) Vgl. Kaphegyi 2012: 39-56.
11) Eric A. Hanushek / Ludger Wößmann 2008: "The Role of Cognitive Skills in Economic Development", in: Journal of Economic Literature, 46 (3), September 2008, Kansas. Und: Marc Piopiunik / Ludger Wößmann 2009: Was unzureichende Bildung kostet. Eine Berechnung der Folgekosten durch entgangenes Wirtschaftswachstum. Studie im Auftrag der Bertelsmann Stiftung, Gütersloh.
12) Regressionsanalysen dienen in der schließenden Statistik dazu, innerhalb eines Modells anhand einer begrenzten Anzahl von Fällen, Zusammenhänge zwischen Variablen quantitativ zu beschreiben. Einen Beweis für eine empirisch geprüfte Kausalität eines allgemeinen Zusammenhangs in der Realität können sie nicht liefern. Sinnvoller können sie im Sinne einer Falsifizierung dazu genutzt werden, manche Hypothesen über Kausalitäten als eher unwahrscheinlich auszuschließen.
13) Erdmann et al. 2010: 14.
14) Piopiunik / Wößmann 2009: 22.
15) Kaphegyi 2011: 14f.
16) Signifikant bedeutet, dass ein statistischer Zusammenhang zwischen Bildungsmonitorranking und Wirtschaftswachstumsranking der Bundesländer nur mit einer ganz geringen Wahrscheinlichkeit, die kleiner als 0,05% ist, durch Zufall zustande gekommen sein kann.
17) Kaphegyi 2011: 12.
18) Erdmann et al. 2010: 4.
19) Kaphegyi 2012: 120-125.
20) Kaphegyi 2011: 20.
Tobias Kaphegyi, Bildungsökonom, Arbeitsgruppe Alternative Wirtschaftspolitik, DGB, ver.di, Lehrbeauftragter an der Dualen Hochschule Baden-Württemberg in Villingen-Schwennigen.