<div dir="ltr">Hi Mayank,<br><br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>
<div>1. Could you please provide me with the link for query-file, qrel-file for the dataset available at <a href="http://www.mpi-inf.mpg.de/departments/d5/software/inex/" target="_blank">http://www.mpi-inf.mpg.de/departments/d5/software/inex/</a> .<br>
</div></div></div></blockquote><div><br></div><div>Very recently I have added a small section "exercise to warm-up" for Learning-to-Rank Project on Project idea page ( <a href="http://trac.xapian.org/wiki/GSoCProjectIdeas#Project:LearningtoRank">http://trac.xapian.org/wiki/GSoCProjectIdeas#Project:LearningtoRank</a> ), you should do this exercise. You the information you ask there.<br>
</div><div> </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div>2. I wanted to know how automated testing would be implemented. Will there be test cases like a test query must match this particular N results and this particular ranking. Or will it be in terms of evaluation of the IR algorithm something like MAP and NDCG score must >= a particular value?<br>
</div></div></div></blockquote><div><br></div><div>Yes, for the ranking algorithms, the automated test contains set of queries, their relevance judgments and document collection. For this part, you dont need a large dataset like INEX. For example, you can take 20 simple documents, prepare 5 queries on them and judge each document of that query as relevant or non-relevant. During the test, run the algorithms on this dataset and see what is/are the value of MAP and/or NDCG and/or other evaluation metrics. Ideally, each time the value should be same if the ranking algorithm/process or evaluation metric itself is not changed.<br>
<br></div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div>

<br></div>3. When are you available at IRC? It's easier to communicate through IRC (atleast for me).<br></div></div></blockquote><div> </div><div>These days I am not able to catch up the discussions on IRC, so yes, if I am there and see you, will ping otherwise just ask your questions there and then someone from our side will respond (if its not specifically meant for only me).<br>
</div><div> </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div></div>This question is rather just because I was curious. Is there nothing like K-fold validation in Learning to Rank?<br>
</div></blockquote><div><br></div><div>Well, k-fold validation is more on the evaluation side and is very much part of the learning-to-rank culture in fact whenever machine learning is involved, k-fold validation becomes inevitable. Usually you see this feature a lot when the library is especially meant for researchers. K-fold validation is yet to be included in the xapian-letor and it would be addressed with the evaluation metric issues.<br>
<br></div><div>Cheers,<br></div><div>Parth.<br><br></div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">

</div>
<br>_______________________________________________<br>
Xapian-devel mailing list<br>
<a href="mailto:Xapian-devel@lists.xapian.org">Xapian-devel@lists.xapian.org</a><br>
<a href="http://lists.xapian.org/mailman/listinfo/xapian-devel" target="_blank">http://lists.xapian.org/mailman/listinfo/xapian-devel</a><br>
<br></blockquote><br></div><br></div></div>