Methodologische Probleme der Szientometrie

	Forum Wissenschaft 4/2012; Foto: Fotolia.com – alphaspirit

Szientometrie ist eine quantitative Methode zur Messung wissenschaftlicher Forschung. Sie wurde in den USA entwickelt, um wissenschaftliche Arbeit und Forschungsprozesse beschreiben, bewerten und vergleichen zu können. Konkrete Zahlen schaffen - so scheint es - objektive Vergleichsmöglichkeiten. Gleichwohl stößt diese Methodik mitunter an ihre Grenzen, wie Matthias Wille aufzeigt.

Ist Usain Bolt der beste 100-Meter-Sprinter unserer Zeit? Zweifelsohne, denn die gemessenen Zeiten in den großen Finals der letzten Jahre belegen dies eindeutig. Wer für den 100-Meter-Sprint weniger Zeit benötigt als andere, der ist auch schneller als diese, und wer schneller ist als alle anderen, der ist der Schnellste und damit im fraglichen Wettbewerb der Beste. Diese empirischen Daten bedürfen nicht nur keiner weiteren Deutung, sondern die mit ihnen einhergehende Bewertung hat auch künftig Bestand (das Dopingproblem einmal außen vor): Egal wer künftig die bisherigen Fabelzeiten pulverisieren wird, Bolt wird der beste Sprinter zwischen 2008 und 2012 bleiben.

Es ist diese Klarheit, Exaktheit und Verbindlichkeit, die wir an Zahlen und Metrisierungen schätzen. Zahlen ermöglichen Vergleichbarkeit und sie stiften Sicherheit. Auf das Bestreben nach objektiver Beurteilbarkeit treffen wir in so ziemlich allen Bereichen, auch in der akademischen Welt, wo unter dem Zwang knapp geratener monetärer Mittel der Bedarf nach einer vernünftigen Ressourcenallokation besonders groß ist. Herausragende Wissenschaft soll unter den Rahmenbedingungen akademischer Mangelwirtschaft in der Mittelzuweisung bevorzugt berücksichtigt werden und (unter)durchschnittliche entsprechend weniger. Wie wir indes ausgehend von quantitativen Größen, die wir empirisch erheben können, zu evaluativen gelangen sollen, ist mehr als umstritten. Dass aus dem bloßen "mehr" noch lange kein "besser" folgt, darin sind sich Kritiker sowie Befürworter der Szientometrie einig, weshalb die zuletzt Genannten auf immer raffiniertere und stetig komplexer werdende mathematische Verfahren setzen, mit denen sich wissenschaftliche Qualität aussagekräftig messen lassen soll. Doch diesem ehrgeizigen Ziel steht eine Vielzahl von Bedenken im Weg, die von der Zulässigkeit der investierten Werturteile und Normen über den Imperialismusverdacht der angelsächsischen Wissenschaftskultur bis hin zum Vorwurf eines messtheoretischen Methodenmonismus reicht, der einmal mehr die Besonderheiten der nicht naturwissenschaftlich orientierten Forschungspraxis unberücksichtigt lässt. Wir benennen im Folgenden lediglich zwei methodologische Probleme, mit denen zwar nicht die lokale Möglichkeit des Messens von Wissenschaft in Frage gestellt wird, wohl aber deren Universalisierungstendenzen: der manipulative Charakter der Messpraxis sowie die Tragik des Einzelfalls.

Manipulativer Charakter

Der manipulative Charakter der Messpraxis: Die Auswahl der szientometrischen Größen und die sie unterstützende wissenschaftspolitische Lobby nehmen erheblichen Einfluss auf die Gestaltung der akademischen Welt. Wissenschaftler sind endliche Vernunftwesen. Sie streben nach Wahrheit und intellektueller Selbstverwirklichung, aber auch nach Anerkennung und materieller Absicherung. Nur in der Idee der Res publica litteraria ist die Realisierung der zuletzt genannten Ziele eine unmittelbare Folge der Realisierung der erstgenannten. Wirklichkeitsnäher ist indes die Konstellation, dass Wissenschaftler auch schon mal pragmatisch agieren und ihr akademisches Ethos in die zweite Reihe stellen, wenn es die Umstände erforderlich machen. Kompromisse, auch in Fragen des akademischen Selbstverständnisses, sind nicht die Ausnahme. Gut nur, dass unser Staat die akademischen Institutionen - allen voran die Universität - mit Schutzrechten versieht, die es dem Wissenschaftler ermöglichen, nicht allzu viele Kompromisse eingehen zu müssen, die sich letztlich nachteilig auf seine wissenschaftliche Forschung auswirken würden. Das zentrale Motiv hinter dem Gedanken der akademischen Autonomie, so wie es sich wie ein roter Faden durch die Geschichte der wissenschaftlichen Bildungseinrichtungen spätestens seit dem 4. Jh. in Byzanz (und damit bereits im Römischen Recht) entfaltet, besteht gerade in einer Dispensierung und Privilegierung: Zum Zweck gelingender akademischer Tätigkeit wird der Wissenschaftler von Zwängen befreit, die sich hinderlich auf seine Tätigkeit auswirken könnten, und er wird zugleich mit Vorrechten ausgestattet, die seine Tätigkeit entscheidend befördern sollen. Einzig die materielle Ausdeutung dieses Strukturmerkmals variiert über die Jahrhunderte hinweg, aber im Kerne ging und geht es stets um die Stiftung besonders guter Rahmenbedingungen für die wissenschaftliche Arbeit.

De jure hat sich daran auch in den letzten 15 Jahren nichts geändert, denn die Freiheit von Forschung und Lehre genießt bei uns nach wie vor Verfassungsrang. De facto sind allerdings Wertbegriffe wie Autonomie, Freiheit und akademische Selbststimmung in den Augen vieler zu ausgewaschenen Worthülsen verkommen, denn politisch gewollte Kenngrößen der Szientometrie wurden aufgrund einer Eigendynamik zu globalen Steuerungselementen des Wissenschaftsbetriebs. Mit den flächendeckenden Metrisierungsbemühungen von Phänomenen in Forschung und Lehre wurde ein dominantes Anreizsystem geschaffen, das bestimmenden Einfluss auf die soziale Konstruktion der akademischen Wirklichkeit genommen hat. Die vielfältigen Formen wissenschaftlichen Daseins stehen zwar nicht dem Gesetz nach, aber faktisch unter der Herrschaft einer positivistisch verkürzten Monokultur des Messens, die derart mächtig scheint, dass das Anbiedern an die Kenngrößen zu einem weiter verbreiteten Phänomen der "akademischen Prostitution"¹ geworden ist. Die Jagd nach dem Erfüllen parametrisierter Standards begünstigt vor allem Konformität und weniger den Mut zur Originalität. Die damit verbundenen und zum Teil tiefgreifenden Folgen werden seit Jahren umfassend untersucht. Stellvertretend hierfür sei auf die hervorragenden wissenschaftssoziologischen Studien von Richard Münch² verwiesen, die beeindruckend belegen, wie die wissenschaftsbiographische Entwicklung des Einzelnen sowie die Forschungskultur der Gemeinschaft zunehmend von wissenschaftsfremden Erwägungen bestimmt wird. Dies führt nicht nur dazu, dass im Einzelfall hervorragende Wissenschaft der Gegenwart behindert wird, sondern es wird auch das Potenzial für künftige Spitzenwissenschaft gemindert, weil die gewollten Normwerte dem akademischen Nachwuchs eine standardisierte Planerfüllung auferlegen, die im Einzelfall ebenso fruchtbar wie katastrophal sein kann. Es überrascht daher wenig, dass inzwischen Einzelpersonen und Institutionen der Rankingpraxis enttäuscht den Rücken zukehren, weil die szientometrisch ermittelten Resultate häufig genug die Besonderheiten des Einzelfalls verkennen und nicht nur nach Einschätzung der Betroffenen massiv an der akademischen Wirklichkeit vorbeigehen.³ Pauschalurteile verbieten sich selbstverständlich auch an dieser Stelle, aber es ist schon bedenklich, dass die gegenwärtige Ranking- und Metrisierungspraxis vornehmlich die subjektiven Befindlichkeiten des Wissenschaftlers und weniger sein akademisches Ethos bedient. Dabei weiß ein guter Wissenschaftler auch ohne Anreizsystem, wie er seine Forschung sowie seine weitere akademische Tätigkeit nach bestem Wissen und Können auszurichten hat. Aber der Hebel der Wissenschaftspolitik setzt stattdessen an den Triebfedern Geld und Prestige an, von denen sich nur die wenigsten Wissenschaftler gänzlich zu transzendieren wissen. Der Forscher wird an seiner schwächsten Stelle gepackt: seiner menschlichen Eitelkeit. Dies sagt allerdings mehr aus über die Wissenschaftspolitik als über die Fehlbarkeit des Wissenschaftlers, denn wer zum Zweck eines künstlichen - eventuell "sinnlosen"⁴ - Wettbewerbs ein Belohnungssystem schafft, der unterstellt, dass die Wissenschaftspraxis nicht gut genug funktioniert und es deshalb eines Anreizsystems bedarf, damit der Forscher besser arbeitet. Bedenklich an dem hier investierten Bild des Homo academicus ist weniger, dass es bisher gänzlich inadäquat war, denn bereits der durchschnittliche Wissenschaftler an einer deutschen Universität ist ein Multitasking-Talent, das weitaus mehr akademische Aufgaben zu bewältigen hat (und dies auch tut!) als sein politisch gewolltes internationales Vorbild. Bedenklich ist das investierte Bild vor allem deshalb, weil man dessen Realisierung gerade mit dem Anreizsystem begünstigt: Wir brauchen uns nicht wundern, wenn sich der Homo academicus von morgen selbst als die Summe seiner Drittmittelkonten, ergänzt um die Gesamtheit seiner Artikel in A-Journals versteht. Im Vordergrund steht dann möglicherweise nicht mehr die Frage, wohin einen die intellektuelle Neugier führt, sondern über welchen Weg man möglichst effizient die besagten Bilanzposten aufbessern kann. Grund und Folge wissenschaftlichen Treibens werden damit verkehrt und die Wissenschaftspraxis erfährt eine stärkere Manipulation als dies ohne politisch gewollte Szientometrie schon der Fall war. Wer sich nicht anpassen kann oder dies gar nicht erst will, der braucht nicht überrascht sein, wenn er langfristig zu den Verlierern der diversen Rankings und Statistiken zählt. Tragisch nur, dass unter diesen - in der Tat objektiv ermittelten - Verlierern nicht wenige sein werden, die sich in Bezug auf ihr akademisches Ethos und ihre epistemische Tugendhaftigkeit nicht nur nichts vorzuwerfen haben, sondern deren selbstbestimmte wissenschaftliche Daseinsform schlicht und ergreifend durch die Kenngrößen nicht angemessen erfasst werden kann. Damit kommen wir zu unserem zweiten methodologischen Problem.

Tragik des Einzelfalls

Die Tragik des Einzelfalls: Wissenschaftler bedürfen eines selbstgewählten Gestaltungsspielraums, um innovativ forschen zu können. Es gehört gerade zu den allesentscheidenden Erfahrungen in der Entwicklung eines Nachwuchswissenschaftlers, dass er den für sich idealen Modus wissenschaftlichen Daseins findet. Alles andere begünstigt Entfremdungsphänomene und behindert die Schöpfung intellektueller Kreativität. Je nach wissenschaftlicher Disziplin, den Besonderheiten der akademischen Biographie und dem Individualcharakter des einzelnen Wissenschaftlers kann ein solcher Gestaltungsspielraum mannigfaltige Formen annehmen: Vom intellektuellen Eremiten, der nur selten den Kontakt zur Community sucht, weil er vor allem Zeit, Ruhe und eine Bibliothek benötigt, bis hin zum Jetset-Leben eines global agierenden Wissenschaftsmanagers darf und muss hier alles erlaubt sein. Diese Möglichkeit zur eigenverantwortlichen Selbstentfaltung benötigt Vertrauen vorab und sie sollte auch künftig durch die Autonomie akademischer Institutionen gewährleistet sein, denn die Einheit der Res publica litteraria besteht gerade in der Vielfalt der wissenschaftlichen Daseinsformen. Von diesen akademischen Seinsweisen kann jedoch szientometrisch überhaupt nur ein kleiner Teil berücksichtigt und standardisiert werden. Doch nicht jeder ist ein begnadeter Fundraiser und - weitaus bedeutsamer - nicht jeder braucht einer zu sein, denn manche Forschungspraxis benötigt kaum Geld. Jene Spielweisen der Wissenschaftskultur, die in der Messpraxis unberücksichtigt bleiben, erfüllen damit bereits per definitionem nicht den szientometrischen Standard und verfehlen folglich auch die Kriterien wissenschaftlicher Qualität. Den statistischen Durchschnitt interessiert das wenig, wohl aber jeden wissenschaftsbiographischen Einzelfall, der sich nicht als statistischer Durchschnitt versteht. Mit der Bewertung des Einzelfalls nach szientometrischen Größen nehmen wir fahrlässig die Möglichkeit massiver Fehlurteile in Kauf, weil das Bestehen eben dieser Größen im Einzelfall weder notwendig noch hinreichend ist für den Nachweis wissenschaftlicher Qualität.

Betrachten wir den Fall des Jenaer Mathematikers und Philosophen Gottlob Frege (1848-1925). Heute wissen wir mit Bestimmtheit, dass Frege der größte Logiker seiner Zeit war. Mehr noch: Er zählt inzwischen zu den größten Philosophen der Geschichte. Im Alleingang begründet er die formal-axiomatische Logik und moderne Semantik, die nicht nur der Philosophie kategorial neue Perspektiven eröffnet hat, sondern die zu den theoretischen Grundlagen diverser Einzelwissenschaften - allen voran die Mathematik - werden sollten. Freges bahnbrechende Innovationen waren ihrer Zeit weit voraus. Doch im selben Maße wie sie damit zu einem Musterbeispiel origineller und visionärer Forschung wurden, entzogen sie sich einer angemessenen Beurteilung durch die meisten Zeitgenossen. Hätten seine Fachkollegen mittels szientometrischer Größen evaluieren müssen, ob Gottlob Frege zur "wissenschaftlichen Exzellenz" seiner Zeit gehört, er hätte bestenfalls (unter)durchschnittlich abgeschnitten: Akademisch immobil verweilte er die gesamte Zeit seiner akademischen Tätigkeit an der Universität Jena, an der er bereits studiert und sich auch habilitiert hatte, er erhielt nie einen Ruf auf eine ordentliche Professur, er partizipierte so gut wie überhaupt nicht am nationalen oder internationalen Tagungsgeschehen und er hatte keine Schüler. Er prägte weder das intellektuelle Klima seiner Alma Mater noch hinterließ er dort einen institutionellen Fingerabdruck noch kam auch nur ein einziger Student wegen ihm nach Jena. Publizistisch war er unauffällig aktiv und durchweg erfolglos. Neben anhaltenden Phasen des Schweigens (1886-1891 und 1906-1918) publizierte er weit entfernt vom Mainstream. Auf seine Aufsätze nahm kaum jemand Bezug und seine wenigen Bücher wurden von kaum jemandem gelesen, geschweige denn verstanden. In der Universitätslandschaft des Kaiserreichs war er so gut wie unbekannt. Nach Maßgabe szientometrischer Größen war Frege weit von "wissenschaftlicher Exzellenz" entfernt und kann a fortiori auch nicht zu den Besten seines Faches gezählt haben. Zu diesem Urteil kamen bereits die meisten von Freges Zeitgenossen. Ein kapitales Fehlurteil, wie sich gut ein Vierteljahrhundert nach seinem Tod herausstellen sollte. Wir können von Glück sprechen, dass Frege Zeit seines akademischen Schaffens unbeirrt und unter großen persönlichen Entbehrungen an seinen wissenschaftlichen Idealen festgehalten hat und sich nun gerade nicht auf jenes Anreizsystem eingelassen hat, das eine sichere Professur oder akademische Anerkennung eingebracht hätte. Er bediente nicht die populären Themen und bereits um 1879 lässt er die aussichtsreiche Option auf eine ordentliche Professur für Mathematik wissentlich verstreichen, nur um unentwegt in Forschung und Lehre der Entwicklung seines neuartigen Logikkalküls in aller gebotenen Gründlichkeit nachgehen zu können. Hätte es zu Freges Zeiten bereits eine ausgeprägte Kultur des Fundraising gegeben, so wäre er aufgrund der abweisenden Haltung der wissenschaftspolitisch einflussreichen Großordinarien wahrscheinlich leer ausgegangen, aber wir dürfen sogar bezweifeln, ob er überhaupt am Antragstellungsgeschäft um Drittmittel partizipiert hätte.

Zugestanden, das gewählte Beispiel ist ein drastisches, das für den Wissenschaftsbetrieb keinesfalls repräsentativ ist. Auch Verfechter der Szientometrie würden nicht beanspruchen, mit den investierten Mess- und Auswertungsmethoden jeden Einzelfall angemessen erfassen zu können. Doch das Beispiel zeigt, dass jene Kenngrößen, nach denen man sich heute evaluieren lassen muss, keine verlässlichen Kriterien sind. Weder sollte aus ihrem Nichtbestehen verbindlich auf fehlende wissenschaftliche Qualität geschlossen werden noch folgt aus ihrem Bestehen automatisch das Vorliegen wissenschaftlicher Exzellenz. Die Wissenschaftsgeschichte kennt nicht nur Fälle eines Frege, sondern sie ist ebenso reich an Beispielen, in denen erfolgreiche Wissenschaftler ihrer Zeit schließlich in Vergessenheit gerieten, weil sich ihr Wirken, mit zeitlichem Abstand betrachtet, als wenig innovativ bis wertlos erwiesen hat. Dies gilt auch für unsere Tage: So mancher "Star", der in der Rankingpraxis exzellent abschneidet, wird auf lange Sicht ins Mittelmaß der Wissenschaftsgeschichte abrutschen und so mancher Wissenschaftler, der nach den geltenden Kriterien um seine akademische Daseinsberechtigung bangen muss, wird langfristig zu den großen Wegbereitern des wissenschaftlichen Fortschritts zählen. Wir können nicht heute mit Verbindlichkeit messen, was man eventuell erst morgen im Ansatz erahnen kann. Aus dieser Einsicht folgt freilich nicht, dass wir uns jedes evaluativen Urteils über die zeitgenössische Wissenschaftspraxis enthalten sollten. Das Bewerten wissenschaftlicher Projekte und Resultate war, ist und bleibt ein konstitutives Merkmal von Wissenschaft. Die Bewertungspraxis ist der Brennstoff, der den Motor des kontroversen wissenschaftlichen Diskurses zum Zweck des Erkenntnisfortschritts antreibt. Doch die Möglichkeiten des Bewertens erschöpfen sich bei Weitem nicht in den szientometrisch verwertbaren Daten und sollten daher auch keinesfalls auf diese beschränkt werden. Jeder Wissenschaftler, der dies in seiner alltäglichen akademischen Praxis berücksichtigt, dokumentiert damit eine echte wissenschaftliche Qualität.

Anmerkungen

1) Bruno S. Frey: "Publishing as prostitution? - Choosing between one's own ideas and academic success", Public Choice 116, 2003, 205-223.

2) Die akademische Elite. Zur sozialen Konstruktion wissenschaftlicher Exzellenz, Suhrkamp 2007; Globale Eliten, lokale Autoritäten. Bildung und Wissenschaft unter dem Regime von PISA, McKinsey & Co., Suhrkamp 2009; Akademischer Kapitalismus. Zur Politischen Ökonomie der Hochschulreform, Suhrkamp 2011.

3) Aktuell: Ebenso wie sich die Universitäten Leipzig und Hamburg künftig nicht weiter am CHE-Ranking beteiligen werden, boykottieren inzwischen viele Professoren der Wirtschaftswissenschaften das BWL-Ranking des Handelsblatts. Siehe: Forschung & Lehre 10/12, 790 bzw. 820f.

4) Mathias Binswanger, Sinnlose Wettbewerbe. Warum wir immer mehr Unsinn produzieren, Herder 2010, 140ff.

---

Matthias Wille, Privatdozent am Philosophischen Seminar der Westfälischen Wilhelms-Universität Münster, derzeit Lehr- und Prüfungsvertretung an der Universität Duisburg-Essen. Forschungsschwerpunkte: Erkenntnistheorie, Philosophie der Logik, Mathematik und Beweistheorie, Bedeutungstheorie, Sprachphilosophie.