Relevance Assessment Tool (RAT):

RAT-Logo

Das Relevance Assessment Tool ist eine Software, um vielfältige Studien mit und über Websuchmaschinen durchzuführen. Der Zugang ist einfach, Sie benötigen nicht mehr als einen Webbrowser.

Das können Sie mit dem RAT tun

Automatische Erfassung und Speicherung von Suchergebnissen

Laden Sie eine beliebige Menge von Suchanfragen hoch, und die Software holt automatisch die Ergebnisse der Suchmaschinen. Die Treffer-URL, Trefferbeschreibung, Trefferposition und die Webseiten selbst werden im System gespeichert. Sie brauchen diese Daten nicht manuell erfassen oder abspeichern. Das RAT unterstützt sowohl gängige Suchmaschinen wie Google oder Bing als auch unbekannte Suchdienste.

Suchergebnisbereitstellung zur Bewertung

Sind alle Ergebnisse im System gespeichert, können Sie jede beliebige Frage zu den Suchergebnissen von Juroren oder Testpersonen per Online-Zugriff beantworten lassen. Die Antworten und Bewertungen werden automatisch erfasst.

Auswertung der Bewertungen

Wurden alle Ergebnisse in Ihrem Test bewertet, exportieren Sie diese als Excel-Tabelle und werten sie nach Ihren Wünschen aus.

Und so geht‘s

Sie haben sich überlegt, was Sie gerne untersuchen wollen? Dann brauchen Sie nur ein paar Schritte, um RAT zu konfigurieren:
1. Sie stellen passend zu Ihrer gewünschten Studie Suchbegriffe und Suchaufgaben zusammen. Das RAT schickt diese an die Suchmaschinen und speichert die gewonnenen Ergebnisse in einer Datenbank für Sie ab.
2. Sie suchen Teilnehmer für Ihre Umfrage und schicken diesen einen Zugangscode. Die Teilnehmer loggen sich in das Tool ein und beantworten online Ihre Fragen zu den Suchergebnissen.
3. Sie laden sich die erfassten Antworten als Tabellen herunter und werten diese in Excel oder einem ähnlichen Office-Programm aus.

Beispiele für erfolgreiche Projekte mit dem RAT

  • Vergleich semantischer Suchdienste mit konventionellen Suchmaschinen
  • Einfluss der Bildschirmauflösung von Suchergebnisseiten auf den Nutzer
  • Vergleich verschiedener Download-Musikdienste im Internet
  • Identifikation von bedenklichen Inhaltsstoffen zur Lebensmittelkontrolle im Internet
  • Untersuchung von automatisch generierten Suchvorschlägen verschiedener Suchmaschinen
  • Vergleich der Universal-Search Ergebnisse von Google und Bing

Die Module des Tools lassen sich individuell den Bedürfnissen des jeweiligen Projektes anpassen; einen entsprechenden Programmierer haben wir vor Ort. Wenn Sie eine Idee für ein Projekt (BA-/MA-Arbeit, o. Ä.) haben, für das Sie Daten aus einer Suchmaschine benötigen, sprechen Sie uns gerne an.

Einen Testzugang zum Benutzerinterface finden Sie unter www.searchstudies.org/rat. Geben Sie dort als Access-Code Rat-Test ein, um einen Einblick in die Erhebung von Nutzerbewertungen zu erhalten.

Laufzeit: seit 09/2009

Kontakt: Prof. Dr. Dirk Lewandowski, Sebastian Sünkler

Publikationen

Lewandowski, Dirk; Sünkler, Sebastian: Relevance Assessment Tool: Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten. In: Proceedings der 2. DGI-Konferenz: Social Media und Web Science – Das Web als Lebensraum. Frankfurt am Main: DGI, 2012, S. 237-249.

Lewandowski, D.; Sünkler, S.: Designing search engine retrieval effectiveness tests with RAT. Information Services & Use 33(1), 53-59, 2013. DOI: 10.3233/ISU-130691

RAT in der Forschung

Sünkler, S.; Lewandowski, D.: Does it matter which search engine is used? A user study using post-task relevance judgments. In: Proceedings of the 80th Annual Meeting of the Association of Information Science and Technology, Crystal City, VA, USA.

Schaer, P.; Mayr, P.; Sünkler, S.; Lewandowski, D.: How Relevant is the Long Tail? A Relevance Assessment Study on Million Short. In: N. Fuhr et al. (eds.): Experimental IR Meets Multilinguality, Multimodality, and Interaction (Lecture Notes in Computer Science, Vol. 9822), pp. 227-233. https://doi.org/10.1007/978-3-319-44564-9_20

Behnert, C.: LibRank: New Approaches for Relevance Ranking in Library Information Systems. In: Pehar, F.; Schlögl, C.; Wolff, C. (eds.): Re:inventing Information Science in the Networked Society. Proceedings of the 14th International Symposium on Information Science (ISI 2015). Glückstadt: Verlag Werner Hülsbusch, 2015. S. 570-572

Lewandowski, D.: Evaluating the retrieval effectiveness of web search engines using a representative query sample. In: Journal of the American Society for Information Science and Technology (JASIST) Vol. 66 (2015)  Nr. 9, p. 1763 – 1775. DOI: 10.1002/asi.23304

Lewandowski, D.: Verwendung von Skalenbewertungen in der Evaluierung von Web-Suchmaschinen. In: Hobohm, H.-C. (Hrsg.): Informationswissenschaft zwischen virtueller Infrastruktur und materiellen Lebenswelten. Proceedings des 13. Internationalen Symposiums für Informationswissenschaft (ISI 2013). Boizenburg: Verlag Werner Hülsbusch, 2013. S. 339-348.

RAT in der Lehre

Günther, Markus, 2016. Welches Weltbild vermitteln Suchmaschinen? Untersuchung der Gewichtung inhaltlicher Aspekte von Google- und Bing-Ergebnissen in Deutschland und den USA zu aktuellen internationalen Themen. [Masterarbeit] Hamburg: Hochschule für Angewandte Wissenschaften.

Podgajnik, Lea, 2013. Relevanzanalyse niedrig gerankter Google-Suchergebnisse auf informationsorientierte Suchanfragen mit dem Relevan-ce Assessment Tool. [Bachelorarbeit] Hamburg: Hochschule für Angewandte Wissenschaften.

Gather, Alexandra, 2013. Suchmaschinen und Sprache : eine Studie über den Umgang von Google und BING mit den Besonderheiten der deutschen Sprache. [Masterarbeit] Hamburg: Hochschule für Angewandte Wissenschaften.

Günther, Markus, 2012. Evaluierung von Suchmaschinen : Qualitätsvergleich von Google- und Bing-Suchergebnissen unter besonderer Berücksichtigung von Universal-Search-Resultaten. [Bachelorarbeit] Hamburg: Hochschule für Angewandte Wissenschaften.

Sünkler, Sebastian, 2012. Prototypische Entwicklung einer Software für die Erfassung und Analyse explorativer Suchen in Verbindung mit Tests zur Retrievaleffektivität. [Masterarbeit] Hamburg: Hochschule für Angewandte Wissenschaften.