<div dir="ltr">Hi Vivek,<div><br></div><div> I saw your comments on IRC,  as noted by olly :</div><div><div><i><olly> vivekp: (if you check the logs) - you want: ./trec_index config</i></div><div><i><olly> you want to run the compiled binary (no ".cc") not the source file...</i></div></div><div><br></div><div>But i guess you are not able to compile the setup. I can write steps and send across how to compile and sample files from config. </div><div><br></div><div>Most of the files in config are from a test collection taken from FIRE, we would need to ask permission to gain access to those files by FIRE team(<a href="http://fire.irsi.res.in/fire/static/data" target="_blank">http://fire.irsi.res.in/fire/static/data</a>). It needs to be signed to gain access by organization to permit us to use data.</div><div><br></div><div>@olly and @James </div><div>Earlier being part of fire team, i was able to use this data. Not sure i have the data now, Should we fill these form and ask permission to use this data from FIRE team?</div><div><br></div><div>Thanks,</div><div>Gaurav</div><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, May 9, 2016 at 4:03 PM, James Aylett <span dir="ltr"><<a href="mailto:james-xapian@tartarus.org" target="_blank">james-xapian@tartarus.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>On Sun, May 08, 2016 at 04:36:16PM +0530, Vivek Pal wrote:<br>
<br>
> >>you need to independently calculate, or independently<br>
> >>verify, the correct outputs for some test sets (you should be able to<br>
> >>use the existing test databases).<br>
><br>
> So, careful manual testing of implemented code and automated testing<br>
> through xapian-core/tests/api_weight.cc<br>
> using the existing test databases is what I'd need to perform for complete<br>
> testing of implemented weighting functions.<br>
<br>
</span>Almost -- the manual step should just be in calculating the correct<br>
outputs. All the actual testing, verifying that the weights come out<br>
correctly, should be automated.<br>
<span><br>
> I've started exploring and trying to get this evaluation module<br>
> running on my system.  Facing some issues initially so trying to<br>
> sort out those issues with the help from Gaurav on IRC.<br>
<br>
</span>Great -- I note that Olly has dropped something in IRC about this, so<br>
hopefully you're able to keep moving forward.<br>
<span><br>
> >>We may want to take the opportunity to discuss whether parts or all of<br>
> >>this evaluation framework can be moved into the main Xapian repo, and<br>
> >>if there are changes that will make it easier to use for evaluation in<br>
> >>future.<br>
><br>
> Yes, it'd be a huge plus for us as it would help to compare<br>
> Xapian's performance based on the different weighting functions.<br>
> I'll add this under "Additional tasks" in my project wiki and would like to<br>
> work with Gaurav after completing my GSoC project.<br>
<br>
</span>Perfect.<br>
<span><font color="#888888"><br>
J<br>
<br>
--<br>
  James Aylett, occasional trouble-maker<br>
  <a href="http://xapian.org" rel="noreferrer" target="_blank">xapian.org</a><br>
<br>
</font></span></blockquote></div><br><br clear="all"><div><br></div>-- <br><div><div dir="ltr">Regards,<br>Gaurav Arora</div></div>
</div></div>