<div dir="ltr"><div><div><div><div><div><div>Hi Aarsh,<br><br></div>Yes, its very important to test the implemented algorithms on the benchmark collections. Most of the evaluation forums TREC, CLEF, INEX, FIRE, NTCIR release corresponding datasets. The most suitable one for you would be an ad-hoc collection which comprise of a document collection, topics (query-set) and qrels (relevance judgements).<br>
<br></div>As these evaluation forums put a lot of effort (and money) in preparing them, they are not easily and freely available. Mostly such datasets are free for research if you are registered with them or you participate in their tracks.<br>
<br></div>I see that INEX ad-hoc collection for 2009 and 2010 is available on registering, so you can register with them, log in and download the dataset along with queries and qrels for you. The link is:<br><br><a href="https://inex.mmci.uni-saarland.de/">https://inex.mmci.uni-saarland.de/</a><br>
<br></div>Use the adhoc collection, it was also used for testing Letor implementation and BM25 in 2011 during GSoC (<a href="http://trac.xapian.org/wiki/GSoC2011/LTR/Notes#IREvaluationofLetorrankingscheme">http://trac.xapian.org/wiki/GSoC2011/LTR/Notes#IREvaluationofLetorrankingscheme</a>).<br>
<br></div>Cheers,<br></div>Parth.<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Mar 4, 2014 at 4:46 PM, Aarsh Shah <span dir="ltr"><<a href="mailto:aarshkshah1992@gmail.com" target="_blank">aarshkshah1992@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Parth,<br><br>                                I implemented DFR algorithms  in Xapian as a part of GSOC last year under the mentorship of Olly. This year, I want to work on analyzing and optimizing the performance of the DFR algorithms and comparing them with BM25.I also want to work on profiling the query expansion schemes and test the relevance(precision and recall) / speed(time taken) of the algorithms .<br>

                                 However, for this, I need a well defined data set containing a considerable amount of textual data, query logs containing queries that can be run on it, a set of relevant or expected documents which can be compared with the actual results to measure the relevance of the schemes. Please can you help me with this ? Thank you so much for your time.<br>

<br>-Regards<span class="HOEnZb"><font color="#888888"><br>-Aarsh</font></span></div>
</blockquote></div><br></div>