<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><span></span><br><span></span><span></span><br><span></span><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote"><span>
</span>Ah. If FIRE doesn't have something that can show this suitably, then<br>
maybe Parth can advise on access to TREC, as I know he's used some of<br>
them in the past.<br></blockquote><div><br><br><div style="color:rgb(11,83,148);display:inline" class="gmail_default">​I can say FIRE is also a reliable source but INEX/TREC are better. INEX can give you free access and TREC is not freely available. I had used INEX for xapian in the past and some details are here: <a href="https://trac.xapian.org/wiki/GSoC2011/LTR/Notes#IREvaluationofLetorrankingscheme">https://trac.xapian.org/wiki/GSoC2011/LTR/Notes#IREvaluationofLetorrankingscheme</a><br><br>I roughly remember that there was a discussion with our this year GSOC student Ayush about INEX data. He had also obtained it, this would also be a good way to collaborate with him :) and try to establish a common evaluation dataset for future.<br><br></div><div style="color:rgb(11,83,148);display:inline" class="gmail_default">Cheers<br></div><div style="color:rgb(11,83,148);display:inline" class="gmail_default">Parth <br></div></div><blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex" class="gmail_quote">
<br>
Certainly until we have something where evaluation shows an<br>
improvement, we shouldn't change the default. It does sound like it<br>
should be possible to find a suitable dataset to demonstrate this on,<br>
though.<br>
<div><div><br>
J<br>
<br>
--<br>
  James Aylett, occasional trouble-maker<br>
  <a target="_blank" rel="noreferrer" href="http://xapian.org">xapian.org</a><br>
<br>
</div></div></blockquote></div><br></div></div>