<div dir="ltr"><font face="comic sans ms, sans-serif">Hi James, </font><div><font face="comic sans ms, sans-serif"><br></font></div><div><font face="comic sans ms, sans-serif">Thanks for clearing doubts I had earlier. </font></div><div><font face="comic sans ms, sans-serif"><br></font></div><div><font face="comic sans ms, sans-serif">>><span style="color:rgb(0,0,0);white-space:pre-wrap">if we </span><span style="color:rgb(0,0,0);white-space:pre-wrap">can introduce the variants using optional parameters that default to</span></font></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap"><font face="comic sans ms, sans-serif">>>(effectively) 'off' that might be better than distinct ones,</font></span></div><div><font face="comic sans ms, sans-serif"><br></font></div><div><font face="comic sans ms, sans-serif">Yes, this will definitely be the better approach for introducing the variants of existing weighting functions.</font></div><div><font face="comic sans ms, sans-serif">Thanks for the suggestion.</font></div><div><font face="comic sans ms, sans-serif">Next, I will try to come up with a draft of pseudo-code for each of those variants in next few days. Would be helpful </font></div><div><font face="comic sans ms, sans-serif">if you could review them before coding period begins. It will help me get a clear picture of implementation in advance.</font></div><div><font face="comic sans ms, sans-serif"><br></font></div><div><font face="comic sans ms, sans-serif">>></font><span style="color:rgb(0,0,0);white-space:pre-wrap">you need to independently calculate, or independently</span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">>>verify, the correct outputs for some test sets (you should be able to</span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">>>use the existing test databases).</span></div><div><br></div><div>So, careful manual testing of implemented code and automated testing through xapian-core/tests/api_weight.cc </div><div>using the existing test databases is what I'd need to perform for complete testing of implemented weighting functions. </div><div>Please correct me if I am wrong or missing something here.</div><div><br></div><div>>><span style="color:rgb(0,0,0);white-space:pre-wrap">You should talk to Guarav about that, in particular looking at the </span><span style="color:rgb(0,0,0);white-space:pre-wrap">evaluation work he did previously</span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">>>(</span><a href="https://github.com/samuelharden/xapian-evaluation" style="white-space:pre-wrap">https://github.com/samuelharden/xapian-evaluation</a><span style="color:rgb(0,0,0);white-space:pre-wrap">)</span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap"><br></span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">I've started exploring and trying to get this evaluation module running on my system.</span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">Facing some issues initially so trying to sort out those issues </span><span style="color:rgb(0,0,0);white-space:pre-wrap">with the help from Gaurav on IRC. </span></div><div><font color="#000000"><span style="white-space:pre-wrap"><br></span></font></div><div><font color="#000000"><span style="white-space:pre-wrap">>></span></font><span style="color:rgb(0,0,0);white-space:pre-wrap">We may want to take the opportunity to discuss whether parts or all of </span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">>>this evaluation framework can be moved into the main Xapian repo, and </span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">>>if there are changes that will make it easier to use for evaluation in </span><span style="color:rgb(0,0,0);white-space:pre-wrap">future.</span></div><div><font color="#000000"><span style="white-space:pre-wrap"><br></span></font></div><div><font color="#000000"><span style="white-space:pre-wrap">Yes, it'd be a huge plus for us as it would help to compare </span></font></div><div><span style="white-space:pre-wrap;color:rgb(0,0,0)">Xapian's performance based on the different weighting functions.</span></div><div><font color="#000000"><span style="white-space:pre-wrap">I'll add this under "Additional tasks" in my project wiki and would like to work with Gaurav after completing my GSoC project.</span></font></div><div><font color="#000000"><span style="white-space:pre-wrap"><br></span></font></div><div><font color="#000000"><span style="white-space:pre-wrap">>></span></font><span style="color:rgb(0,0,0);white-space:pre-wrap">If Nishad doesn't find time to take this forward, </span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">>>it should be fine </span><span style="color:rgb(0,0,0);white-space:pre-wrap">for you to pick up and complete this normalisation.</span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap"><br></span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">Sure, I'll do it as a part of Additional tasks after GSoC period :)</span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap"><br></span></div><div><font face="comic sans ms, sans-serif">>></font><span style="color:rgb(0,0,0);white-space:pre-wrap">Yes, that's a good idea. </span><span style="color:rgb(0,0,0);white-space:pre-wrap">You might want, at the end of the project, to </span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">>>transfer any remaining ideas and thoughts either into the bug tracker</span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">>>or to somewhere on the wiki </span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap"><br></span></div><div><font color="#000000"><span style="white-space:pre-wrap">I've got 3 ideas for this section so far after all discussions:-</span></font></div><div><font color="#000000"><span style="white-space:pre-wrap">1. Implement remaining SMART normalizations of tf-idf weighting function ,</span></font></div><div><font color="#000000"><span style="white-space:pre-wrap">2. Work with Gaurav to get parts of evaluation module in main repo to start with.</span></font></div><div><font color="#000000"><span style="white-space:pre-wrap"><br></span></font></div><div><font color="#000000"><span style="white-space:pre-wrap">>></span></font><span style="color:rgb(0,0,0);white-space:pre-wrap">Good luck with them!</span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap"><br></span></div><div><span style="color:rgb(0,0,0);white-space:pre-wrap">Thanks :) </span></div><div><br></div><div><font color="#000000"><span style="white-space:pre-wrap">Regards,</span></font></div><div><span style="white-space:pre-wrap;color:rgb(0,0,0)">Vivek</span></div></div>