RAT

Result Assessment Tool (RAT)

RAT Logo

Das Gesamtziel des Projekts besteht darin, das Result Assessment Tool (RAT) weiterzuentwickeln und zu verbessern, so dass es zu einem stabilen, flexiblen und nachhaltigen Instrument für die Durchführung von Studien wird, die sich mit der Sammlung und Analyse von Daten aus Suchmaschinen und anderen Information Retrieval Systemen befassen. Das Result Assessment Tool (RAT) ist ein Software-Toolkit, das es Forschern ermöglicht, groß angelegte Studien auf der Grundlage von Ergebnissen aus (kommerziellen) Suchmaschinen und anderen Information Retrieval Systemen durchzuführen. Es besteht aus Modulen für (1) den Entwurf von Studien, (2) die Sammlung von Daten aus Suchsystemen, (3) die Sammlung von Urteilen über die Ergebnisse, (4) das Herunterladen/Analysieren der Ergebnisse.

Erkenntnisse

Durch die Modularität können einzelne Komponenten für eine Vielzahl von Studien zu Webinhalten, wie z.B. qualitative Inhaltsanalysen, eingesetzt werden. Durch automatisiertes Scraping können Webdokumente in empirischen Studien quantitativ ausgewertet werden.

Nachhaltigkeit

Wir werden die Nachhaltigkeit der Projektergebnisse durch Maßnahmen in drei Bereichen sicherstellen: (1) Einführung und Verbreitung der Software, (2) Aufbau und Pflege einer Nutzer- und Entwicklergemeinschaft, (3) Veröffentlichung der Software als Open Source.

Software

Die modulare webbasierte Software kann automatisch Daten aus Suchmaschinen erfassen. Studien mit Fragen und Skalen lassen sich flexibel gestalten, und die Informationsobjekte können von Juroren anhand der Fragen bewertet werden.

Ein Ausgangspunkt für die Entwicklung vom RAT war die Tatsache, dass Studien zur Effektivität des Retrievals in der Regel viel manuelle Arbeit bei der Konzeption des Tests, der Erfassung der Suchergebnisse, der Suche nach Juroren und der Erfassung ihrer Bewertungen sowie bei der Analyse der Testergebnisse erfordern. RAT setzt an all diesen Punkten an und soll helfen, Retrieval-Studien effizienter und effektiver zu gestalten.

Der Entwurf des RAT-Prototyps wurde von dem Bedürfnis der Forschung geleitet, externe Information Retrieval-Systeme im Allgemeinen und Suchmaschinen im Besonderen abzufragen. Dieser Bedarf ergibt sich aus dem Interesse der Forscher*innen an der Qualität ihrer Suchergebnisse, der Zusammensetzung ihrer Ergebnisse (Listen oder Seiten) und möglichen Verzerrungen in den Ergebnissen, um nur einige zu nennen. Dies ist ein einzigartiger Ansatz, der RAT von Software unterscheidet, die zur Unterstützung der Retrieval-Evaluierung entwickelt wurde und bei der die Forscher*innen die vollständige Kontrolle über die evaluierten Systeme haben.

RAT ermöglicht die Durchführung von Studien im Rahmen der beiden wichtigsten Evaluierungsparadigmen, nämlich der systemzentrierten und der nutzerzentrierten Evaluierung.

RAT wird auch für alle anderen Forscher nützlich sein, die die Ergebnisse von Suchmaschinen für weitere Analysen nutzen wollen. Obwohl die Grundlage vom RAT in der Bewertung von Information Retrieval liegt, geht sein Nutzen weit über diesen Forschungsbereich hinaus. Bereits in der Prototyp-Phase haben wir festgestellt, dass in der Suchmaschinen- bzw. Information-Retrieval-Gemeinschaft ein erheblicher Bedarf an einem Software-Tool wie RAT besteht. Einige Projekte haben dies bereits gezeigt.

Wie kann ich das RAT nutzen?

Zurzeit befindet sich RAT noch in der Entwicklung, Sie finden aber eine Demoversion unter http://rat-software.org/home.

Download Poster

Upcoming Event:

Join us for the RAT Community Meeting, a gathering of enthusiastic users and interested parties who are passionate about exploring and analyzing search engine data. Whether you’re an experienced researcher, have used RAT in your studies, or are a newcomer eager to dive into this exciting field, this event is designed especially for you. Best of all, attendance is completely free!

Verbünden Sie sich mit gleichgesinnten Forschern und bauen Ihr berufliches Netzwerk während sozialer Treffen und Networking-Sitzungen auf. Führen Sie bedeutungsvolle Gespräche, teilen Erfahrungen und arbeiten Sie mit anderen zusammen, die ebenfalls leidenschaftlich daran interessiert sind, Suchmaschinendaten für ihre Forschung zu nutzen

You can look forward to:

  •  Tutorials
  •  Showcases
  •  Poster Sessions

Don’t miss this invaluable opportunity to be a part of the RAT Community Meeting. Register here to secure your place among a vibrant community of users and interested parties. We can’t wait to welcome you to this enriching event!

Publikationen

Schultheiß, S.; Lewandowski, D.; von Mach, S.; Yagci, N. (2023). Query sampler: generating query sets for analyzing search engines using keyword research tools. In: PeerJ Computer Science 9(e1421). http://doi.org/10.7717/peerj-cs.1421

Lewandowski, D., & Sünkler, S. (2019). Das Relevance Assessment Tool. Eine modulare Software zur Unterstützung bei der Durchführung vielfältiger Studien mit Suchmaschinen. In: Information – Wissenschaft & Praxis 70 (1), 46-56. https://doi.org/10.1515/iwp-2019-0007

Lewandowski, Dirk; Sünkler, Sebastian: Relevance Assessment Tool: Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten. In: Proceedings der 2. DGI-Konferenz: Social Media und Web Science – Das Web als Lebensraum. Frankfurt am Main: DGI, 2012, S. 237-249.

Lewandowski, D.; Sünkler, S.: Designing search engine retrieval effectiveness tests with RAT. Information Services & Use 33(1), 53-59, 2013. https://doi.org/10.3233/ISU-130691

Vorträge

Lewandowski, D., Sünkler, S. & Sygulla, D. (2022, 06-07. October). Result Assessment Tool (RAT). Informationswissenschaft im Wandel. Wissenschaftliche Tagung 2022 (IWWT22), Düsseldorf.

Forschung, die mit Hilfe des RAT durchgeführt wurde (Auswahl)

Norocel, O.C.; Lewandowski, D. (2023):. Google, data voids, and the dynamics of the politics of exclusion. In: Big Data & Society. https://doi.org/10.1177/205395172211490

Haider, J.; Ekström, B.: Tattersall Wallin, E.; Gunnarsson Lorentzen, D.; Rödl, M.; Söderberg, N. (2023). Tracing online information aboutwind power in Sweden: An exploratory quantitative study of broader trends. https://www.diva-portal.org/smash/get/diva2:1740876/FULLTEXT01.pdf

Sünkler, S.; Lewandowski, D.: Does it matter which search engine is used? A user study using post-task relevance judgments. In: Proceedings of the 80th Annual Meeting of the Association of Information Science and Technology, Crystal City, VA, USA. https://doi.org/10.1002/pra2.2017.14505401044

Schaer, P.; Mayr, P.; Sünkler, S.; Lewandowski, D.: How Relevant is the Long Tail? A Relevance Assessment Study on Million Short. In: N. Fuhr et al. (eds.): Experimental IR Meets Multilinguality, Multimodality, and Interaction (Lecture Notes in Computer Science, Vol. 9822), pp. 227-233. https://doi.org/10.1007/978-3-319-44564-9_20

Behnert, C.: LibRank: New Approaches for Relevance Ranking in Library Information Systems. In: Pehar, F.; Schlögl, C.; Wolff, C. (eds.): Re:inventing Information Science in the Networked Society. Proceedings of the 14th International Symposium on Information Science (ISI 2015). Glückstadt: Verlag Werner Hülsbusch, 2015. S. 570-572

Lewandowski, D.: Evaluating the retrieval effectiveness of web search engines using a representative query sample. In: Journal of the American Society for Information Science and Technology (JASIST) Vol. 66 (2015) Nr. 9, p. 1763 – 1775. https://doi.org/10.1002/asi.23304

Lewandowski, D.: Verwendung von Skalenbewertungen in der Evaluierung von Web-Suchmaschinen. In: Hobohm, H.-C. (Hrsg.): Informationswissenschaft zwischen virtueller Infrastruktur und materiellen Lebenswelten. Proceedings des 13. Internationalen Symposiums für Informationswissenschaft (ISI 2013). Boizenburg: Verlag Werner Hülsbusch, 2013. S. 339-348.

Gefördert von der Deutschen Forschungsgemeinschaft (DFG):
Funding period: 08/2021 - 07/2024, grant number 460676551.