Son bueno estos resultados?

Una de las cosas mas dificiles de saber cuando tenemos un buscador es si estamos devolviendo resultados relevantes en nuestro buscador, especialmente cuando no tenemos los query logs con la informacion de interaccion de los usuarios.

En los ultimos anos se han desarrollados varios metodos para intentar saber si estamos cubriendo la necesidad de informacion del usuario. Todos estos metodos se han recogido recientemente en un libro de manera que nos podemos evitar la lectura de un buen monton de papers:

Estimating the Query Difficulty for Information Retrieval
Synthesis Lectures on Information Concepts, Retrieval, and Services
2010, 89 pages, (doi:10.2200/S00235ED1V01Y201004ICR015)
David Carmel‌ IBM Research, Israel
Elad Yom-Tov‌ IBM Research, Israel
http://www.morganclaypool.com/doi/abs/10.2200/S00235ED1V01Y201004ICR015

Yo la verdad es que no le veo mucho futuro a estas tecnicas, pero sin duda se trata un trabajo interesante que analiza muchos aspectos interesantes del proceso de recuperacion, y de como funcionan las funciones de ranking y las listados de documentos que se devuelven.