LibRank: Neue Formen der Relevanz-Sortierung in bibliothekarischen Informationssystemen:

librankWährend moderne bibliothekarische Informationssysteme bereits auf Suchmaschinentechnologie basieren, sortieren sie ihre Treffer bislang zumeist auf Grundlage relativ einfacher Algorithmen. Auch heute noch beschränken sie sich vielfach auf Text-Matching und die Gewichtung einzelner Felder aus den Metadaten. Die Möglichkeiten, welche durch Rankingfunktionen potentiell gegeben werden, werden bei weitem nicht ausgenutzt.

Die Erwartungen von Benutzerinnen und Benutzern an diese Informationssysteme jedoch sind deutlich höher und auf vielfältige Weise durch den Umgang mit Web-Suchmaschinen und dem Social Web geprägt. Insbesondere werden die Sortierung der Suchergebnisse nach der Qualität der einzelnen Treffer, die Zusammenstellung ausgewogener Ergebnissets sowie Popularität, also von anderen Nutzern häufig angesehene Treffer, auf den vorderen Trefferpositionen erwartet.

Ziel des Kooperationsprojektes LibRank ist die Entwicklung von intelligenten Rankingverfahren für bibliothekarische Informationssysteme, die aufbauend auf den Erkenntnissen aus dem Bereich der Web-Suche

(1) qualitätsinduzierende Faktoren wie z.B. Aktualität, Popularität und Verfügbarkeit von einzelnen Medien berücksichtigen,

(2) den Nutzungskontext in die Rechercheergebnisse einbeziehen,

(3) die Treffer erwartungskonform präsentieren.

Durch die Kooperation zwischen Hochschule und Infrastruktureinrichtung (ZBW) werden die Verfahren direkt im Kontext einer häufig genutzten Suchanwendung (EconBiz) entwickelt und mithilfe des Relevance Assessment Tools  evaluiert. Der Transfer in den gesamten Bereich der Wissenschaft wird gewährleistet durch die Offenlegung und Möglichkeit zur Nachnutzung (1) der entwickelten Rankingfaktoren, (2) der im Projekt aufgebauten Testkollektionen sowie (3) des im Projekt entwickelten Demonstrators.

 

Laufzeit: 03/2014 bis 02/2016

Finanzierung: Deutsche Forschungsgemeinschaft

Kooperationspartner: Deutsche Zentralbibliothek für Wirtschaftswissenschaften (ZBW) und HAW Hamburg, Department Information

Kontakt:  Prof. Dr. Dirk Lewandowski, Christiane Behnert

 

Wie Google – nur in der Bibliothek: Vom Suchen und Finden im digitalen Informationszeitalter

Ein Essay von Christiane Behnert

Durch das World Wide Web haben wir heutzutage scheinbar unbegrenzten Zugang zu jeglicher Art von Information. Tatsächlich sind Suchmaschinen der meistgenutzte Dienst im Internet, wobei Google seit Jahren weltweiter Marktführer ist – das Verb „googeln“ steht seit 2004 sogar im Duden. Dabei gilt die Informationssuche mit Google meist als erfolgreich, unter anderem weil wir häufig einfach zu beantwortende, navigationsorientierte Suchanfragen verwenden, also die Suche nach einer bestimmten, uns bereits bekannten Webseite. Diese verlangen im Gegensatz zu thematischen Suchanfragen nur ein einziges, korrektes Suchergebnis, wie zum Beispiel die Seite unseres Facebook-Profils, unseres Online-Bankings oder der Kartenausschnitt zur gesuchten Restaurantadresse. Recherchen zu einem bestimmten, uns unbekannten Thema erfordern dagegen das Durchforsten verschiedener Webseiten und oft können wir die Qualität dieser vielen Suchergebnisse nicht sicher einschätzen. An dieser Stelle hilft uns insbesondere das Ranking der Suchmaschine: Wir vertrauen Google, dass sie uns auf unsere in der Regel sehr kurzen Suchanfragen die besten Ergebnisse auf den vorderen Rängen der Trefferliste präsentiert, also absteigend nach Relevanz sortiert.

Weil sich diese Erwartungshaltung auch auf die Suche in wissenschaftlichen Suchsystemen, z.B. universitäre Bibliothekskataloge übertragen lässt, sollte die Sortierung und Darstellung der Suchergebnisse in diesen ebenso erfolgen, mit anderen Worten, so wie wir das Ranking von Google gewohnt sind. Solche neuartigen Rankingformen für Bibliothekssysteme erforscht das Team um Prof. Dr. Dirk Lewandowski am Department Information der Hochschule für Angewandte Wissenschaften Hamburg (HAW) zusammen mit der Deutschen Zentralbibliothek für Wirtschaftswissenschaften (ZBW), dem Leibniz-Informationszentrum Wirtschaft.

Während Wissenschaftler vor 30 Jahren noch den Zettelkatalog ihrer Universitätsbibliothek durchsuchen mussten, erlaubt Suchmaschinentechnologie in Bibliothekskatalogen heutzutage die Suche sowohl in den gedruckten Beständen der Bibliothek anhand der Metadaten (also Titelstichwort, Autor, Schlagwort usw.) als auch in elektronischen Volltexten. Die Sortierung der Ergebnisse geht ebenfalls über eine alphabetische Auflistung anhand der Autorennamen oder die chronologische Reihenfolge nach Erscheinungsjahr hinaus: Taucht beispielsweise ein gesuchtes Wort bereits im Titel einer Publikation auf, wird dies stärker gewichtet als das alleinige Vorkommen des Suchworts im Abstract und das Suchergebnis entsprechend höher gerankt. Dieser Abgleich der Suchanfrage mit dem Index, dem Kernstück des Suchsystems mit allen durchsuchbaren Daten, basiert auf textstatistischen Verfahren. Ein qualitativ hochwertiges Relevanz-Ranking braucht jedoch mehr als das und Websuchmaschinen wie Google können diesbezüglich als Vorbild dienen.

Hinter Googles Ranking-Algorithmus, nach dem die Suchergebnisse sortiert werden, verbirgt sich zwar eine Vielzahl von Ranking-Faktoren bzw. einzelnen Ranking-Signalen, diese beruhen jedoch auf einigen wenigen Konzepten: Neben den grundlegenden textstatistischen Verfahren und der Aktualität der Ergebnisse spielt die Popularität von Webseiten die bedeutendste Rolle. Popularität beruht hier auf dem Prinzip der „Weisheit der Vielen“. So steht auch hinter Googles Ranking-Verfahren die Idee, dass Webseiten, die von vielen Personen sehr häufig angeklickt werden, populärer und somit wahrscheinlich auch relevanter für andere Menschen sind als Webseiten, die sehr selten und nur von wenigen aufgerufen werden.

Dieser Ansatz lässt sich auch auf Bibliotheken übertragen: Je häufiger ein elektronischer Artikel oder ein Kapitel eines E-Books angeklickt bzw. heruntergeladen wird, als desto höher wird seine Qualität und Popularität angesehen. Für traditionelle Medien in Bibliotheken liefern Ausleihzahlen oder auch Vormerkungen einen Indikator für Popularität. Da diese Nutzungszahlen in Bibliotheken ohnehin anfallen und bereits im Rahmen des Medienerwerbs eine zentrale Bedeutung einnehmen, liegt es nahe, diese Daten auch in das Relevanz-Ranking miteinzubeziehen. Dafür sind allerdings konzeptuelle Entscheidungen zu treffen, zum Beispiel wenn es um die Frage geht, ob ein Download mit der Ausleihe eines gedruckten Buches gleichgesetzt werden kann.

Ein bekanntes Maß für Qualität in der Wissenschaft ist die Zahl der Zitationen – je häufiger ein Aufsatz zitiert wird, je höher die Zitationszahl eines Autor ist, umso bedeutender und wichtiger wird er für die Wissenschaft erachtet. Dass die Zitationszahl ein wichtiges Kriterium für die Bewertung eines wissenschaftlichen Beitrags ist, hat Google ebenfalls erkannt und zeigt in Google Scholar auch die Zitationszahl in den Snippets an. Kritik an diesem Vorgehen wird begründet mit dem Matthäus-Effekt („Wer hat, dem wird gegeben.“), der in diesem Zusammenhang aussagt, dass bekannte und populäre Webseiten, Aufsätze, Bücher höher gewichtet werden und dadurch bekannter und populärer und wiederum höher gewichtet werden usw. Weniger bekannte Inhalte, z.B. Working Paper aus kleinen Fachgruppen, welche Nischenthemen bedienen, können dadurch vernachlässigt werden. Um diesem negativen Effekt entgegenzuwirken, müssen also auch andere Faktoren in das Ranking einfließen. Ein Lösungsansatz in Bezug auf Nischenthemen ist die Kombination aus Personalisierung und Dokumenteigenschaft, wie folgendes, fiktives Beispiel veranschaulicht: Ein Artikel zu aktuellen Entwicklungen am Kautschukmarkt wird Agatha Musterfrau mit hoher Wahrscheinlichkeit interessieren, weil sie in den vergangen Monaten vermehrt Artikel aufgerufen hat, die sich mit dem Thema Gummiindustrie beschäftigen. Das Suchsystem kann diese Information aus den Metadaten des Dokuments (neben den formalen Angaben, z.B. zu Autor, Titel, Jahr, indexieren Bibliotheken ebenfalls inhaltliche Metadaten, u.a. in Form von Schlagworten und standardisierten Klassifikationstermen) und aus der persönlichen Nutzungshistorie von Agatha. Ein weiterer Faktor spielt hier ebenso eine wichtige Rolle: Das Publikationsdatum von Artikeln oder Webseiten beeinflusst das Ranking in hohem Maße, wenn es darum geht, nur die aktuellen Ergebnisse anzuzeigen. Im Gegensatz dazu können aber auch ältere Veröffentlichungen, sogenannte Klassiker, höher gerankt werden, weil sie eine sehr hohe Zitationszahl haben. Diese Gewichtungen gilt es in ein ausbalanciertes Verhältnis zu bringen.

Am Beispiel von Agatha können wir auch die Ranking-Faktoren zu Standort und Verfügbarkeit verdeutlichen: Angenommen, Agatha befindet sich im ICE auf dem Weg nach Hamburg und erhält auf ihre Suchanfrage „kautschuk export“ eine Suchergebnisliste mit dem Kautschukmarkt-Artikel auf Platz 1. Da sie sich gerade nicht im Hochschulnetz bewegt und den Artikel auch nicht als Preprint im WWW finden kann, ist sie verständlicherweise frustriert. Ein intelligentes, nutzerorientiertes System würde ihr aufgrund ihres Standorts (nicht auf dem Campus) einen inhaltlich vergleichbaren, sofort verfügbaren Artikel zum aktuellen Kautschukhandel (elektronisch und nicht lizenzpflichtig) auf der ersten Trefferposition präsentieren und Agathas Informationsbedürfnis wäre mit einer deutlich höheren Wahrscheinlichkeit befriedigt. Ein effektives Relevanz-Ranking berücksichtigt demnach nicht nur die Daten, die auf der Suchanfrage und dem Index des Suchsystems basieren, sondern viele weitere, kontextabhängige Faktoren.

Wie gut das Ranking tatsächlich funktioniert, evaluieren Informationswissenschaftler wie das Team um Prof. Lewandowski an der HAW Hamburg mithilfe von Tests zur Retrievaleffektivität des Suchsystems bzw. Rankingalgorithmus. Mit einer am Department Information der HAW entwickelten Software, dem Relevance Assessment Tool, können Evaluierungstests designt und automatisiert durchgeführt werden. In diesen erhalten Probanden zu einer Suchaufgabe eine Reihe von Suchergebnissen, welche sie nach deren Relevanz hin beurteilen sollen. Da Relevanzentscheidungen von Mensch zu Mensch höchst subjektiv, dynamisch und immer kontextabhängig sind, können mehrere Bewertungen ein- und desselben Suchergebnisses oft sehr unterschiedlich ausfallen. Ähnlich verhält es sich mit systemseitig angenommener Relevanz (basierend auf Daten) und individueller Relevanz (basierend auf kognitiven Informationsverarbeitungsabläufen): Wir geben in die Suchmaske bei Bibliothekskatalogen oder Websuchmaschinen zwar in der Regel nur zwei bis drei Suchwörter ein, anhand derer uns das Ranking die besten Ergebnisse auf den vordersten Rängen präsentiert, jedoch vermögen wir oft nicht, unser Informationsbedürfnis mit unserer Suchanfrage  präzise auszudrücken. Umso wichtiger ist daher, dass die Suchergebnisliste verschiedene Facetten bedient: Je mehr Ergebnisse auf die Suchanfrage „passen“ und absteigend innerhalb der Top 10 gelistet sind, desto besser wird das Ranking bewertet und umso höher beurteilen wir die Qualität des Suchsystems, sei es ein fachwissenschaftliches Informationsportal oder Google.