Verwendung von Skalenbewertungen in der Evaluierung von Web-Suchmaschinen

Lewandowski, D.: Verwendung von Skalenbewertungen in der Evaluierung von Web-Suchmaschinen In: Hobohm, H.-C. (Hrsg.): Informationswissenschaft zwischen virtueller Infrastruktur und materiellen Lebenswelten. Proceedings des 13. Internationalen Symposiums für Informationswissenschaft (ISI 2013). Boizenburg: Verlag Werner Hülsbusch, 2013. S. 339-348.

Download: Publisher Version

Zusammenfassung

Ein Nachteil von Retrievaleffektivitätsstudien liegt darin, dass in der Regel nur geringe Mengen von Suchanfragen verwendet werden. Weiterhin werden Relevanzbewertungen meist nur binär angegeben. In der vorliegenden Studie wird anhand der Ergebnisse der Suchmaschinen Google und Bing zu 1.000 Suchanfragen der Unterschied zwischen binären Bewertungen und Skalenbewertungen untersucht. Es zeigt sich, dass sich keine gravierenden Unterschiede
in dem Vergleich der Suchmaschinen ergeben. Es wird empfohlen, Skalenbewertungen einzusetzen, da sie die Relevanzbewertungen der Juroren genauer abbilden können.