<div dir="ltr">Hi~ Parth,<div><br></div><div>Thank you for your advice. I will would consider this part of the users and write the document for them later!</div><div><br></div><div><div>Thanks,</div><div>Hanxiao.</div></div>
</div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-06-10 15:43 GMT+08:00 Parth Gupta <span dir="ltr"><<a href="mailto:pargup8@gmail.com" target="_blank">pargup8@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr"><div><div><div>Hi Hanxiao,<br><br></div><div>Its better to discuss using a public list or IRC because that way we can also involve more people into discussion.<br><br></div>I would consider the developers who wish to use Xapian for supporting their own projects also as users and they would definitely want to tune parameters if they have labelled training/development file. Metric module will be integral part of the training module and may not be part of public API but it can be decided later. <br>

<br></div>Cheers,<br></div>Parth.<br><div><div><div><br></div></div></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Jun 9, 2014 at 3:00 PM, Hanxiao Sun <span dir="ltr"><<a href="mailto:sunhanxiaoisme@gmail.com" target="_blank">sunhanxiaoisme@gmail.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi~ Parth,<div><br></div><div>Do you mean we just set the default parameters for user and letor module is transparent to user?</div>

<div><br></div><div>In this situation, the metric module is also useless to user. We just use it in development phase.</div>
<div><br></div><div>And one more question, should I reply the E-mail to the xapian community or just reply it to you?</div><div><br></div><div><br></div><div>Thanks,</div><div>Hanxiao.</div></div><div class="gmail_extra">


<br><br><div class="gmail_quote">2014-06-08 14:41 GMT+08:00 Parth Gupta <span dir="ltr"><<a href="mailto:pargup8@gmail.com" target="_blank">pargup8@gmail.com</a>></span>:<div><div><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div dir="ltr"><div><div>Hi Hanxiao,<br><br></div>Its quite easy to handle. Most of the rankers have a couple of parameters to tune. During the train method we supply a the possible range of the parameters for a sweep and we select the parameters which perform the best on the development set aka validation set. For example, parameter C of RankSVM has a range <br>



<br>double[] paramC = {0.0001, 0.0005,<br>                                0.001, 0.002, 0.005, 0.01, 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10};<br><br><br></div><div>Cheers,<br></div><div>Parth.<br></div></div><div class="gmail_extra">



<br><br><div class="gmail_quote"><div><div>On Thu, Jun 5, 2014 at 9:56 AM, Hanxiao Sun <span dir="ltr"><<a href="mailto:sunhanxiaoisme@gmail.com" target="_blank">sunhanxiaoisme@gmail.com</a>></span> wrote:<br>
</div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div>
<div dir="ltr">Hi, <div><br></div><div>I am Hanxiao Sun, the student working on the letor module with Jiarong in this year's gsoc.<br><div><br></div><div>Now, I have some idea about xapian-letor wanted to be discuss with the community. </div>





<div><br></div><div>In the present code, we prepare a training file before we use the letor module. When we have a query, we train the SVM module using the default parameters. And then we use the Mset return by the query as the test set —— using the trained SVM module to predict the ranking of the Mset. To be clearly, we have no label(ground truth) in the test set. So, we couldn't(maybe also no need) evaluate the ranking result in the current workflow.</div>




<div><br></div><div>For normal user, the current workflow is OK(although the problem that how to obtain the training file from these user has still not been solved). They don't care the special parameters of each ranking module and they just want a best possible ranking result.</div>




<div><br></div><div>But for other user, like the user who want to tune the parameters and add feature into the ranking module, they also want to evaluate the ranking result in the test set. In other word, they will have the ground truth in their test set and need to use the metric module in the test process. </div>




<div><br></div><div>The difference between these two part of users is that we will call the metric module to evaluate the ranking result if the test set has ground truth, otherwise don't. This involves a issue that whether we needed a independent script to call the metric module outside the "questletor"? If we don't peel the evaluate process from "questletor", we need the user to choose the mode they use "questletor". Has ground truth or not. But if we peel the process from "questletor", the user will have little trouble when they want to do a k-fold cross validation. They need split the data by themselves and run the "questletor" and evaluate script K times.</div>




<div><br></div><div>Not sure if I am understanding this right and this seems to be the issue more relevant to Jiarong's part. However, I still want to make it clear. Any comments and suggestions will be appreciative.</div>




<div><br></div><div><div>Thanks!</div><span><font color="#888888">-- <br><div dir="ltr"><div style="background-color:rgb(255,255,255)"><font face="simhei, sans-serif"><span style="font-size:12px;line-height:18px">孙晗晓(Hanxiao Sun)</span></font></div>





<div style="background-color:rgb(255,255,255)"><span style="font-size:12px;line-height:18px;background-color:transparent"><font face="simhei, sans-serif">Master </font></span><span style="font-size:12px;line-height:18px;background-color:transparent"><font face="simhei, sans-serif">Student </font></span><span style="font-size:12px;line-height:18px;background-color:transparent"><font face="simhei, sans-serif">of </font></span><span style="font-family:simhei,sans-serif;font-size:12px;line-height:18px">Computer Science</span><span style="font-size:12px;line-height:18px;background-color:transparent"><font face="simhei, sans-serif"> at Institute of Computing Technology,Chinese Academy of Sciences(ICT) </font></span>
</div><div style="font-size:12px;line-height:18px;background-color:rgb(255,255,255)"><font face="simhei, sans-serif">Email:<a href="mailto:Email%3Asunhanxiaoisme@gmail.com" target="_blank">sunhanxiaoisme@gmail.com</a>       </font></div>






<div style="background-color:rgb(255,255,255)"><span style="font-size:12px;line-height:18px;background-color:transparent"><font face="simhei, sans-serif">Mobile</font></span><font style="font-size:12px;line-height:18px" face="simhei, sans-serif">: (86)186-0025-6936    </font></div>






<div style="font-family:'lucida Grande',Verdana;font-size:12px;line-height:18px;background-color:rgb(255,255,255)"><br></div><div style="font-family:'lucida Grande',Verdana;font-size:12px;line-height:18px;background-color:rgb(255,255,255)">






<hr><font color="gray" face="Arial" size="1">This email (including any attachments) is confidential and may be legally privileged. If you received this email in error, please delete it immediately and do not copy it or use it for any purpose or disclose its contents to any other person. Thank you.<br>






<br>本电邮(包括任何附件)可能含有机密资料并受法律保护。如您不是正确的收件人,请您立即删除本邮件。请不要将本电邮进行复制并用作任何其他用途、或透露本邮件之内容。谢谢。</font></div></div>
</font></span></div></div></div>
<br></div></div>_______________________________________________<br>
Xapian-devel mailing list<br>
<a href="mailto:Xapian-devel@lists.xapian.org" target="_blank">Xapian-devel@lists.xapian.org</a><br>
<a href="http://lists.xapian.org/mailman/listinfo/xapian-devel" target="_blank">http://lists.xapian.org/mailman/listinfo/xapian-devel</a><br>
<br></blockquote></div><br></div>
</blockquote></div></div></div><span><font color="#888888"><br><br clear="all"><div><br></div>-- <br></font></span><div dir="ltr"><span><font color="#888888"><div style="background-color:rgb(255,255,255)">
<font face="simhei, sans-serif"><span style="font-size:12px;line-height:18px">孙晗晓(Hansel Sun)</span></font></div></font></span><div>
<div style="background-color:rgb(255,255,255)"><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif">Master </font></span><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif">Student </font></span><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif">of </font></span><span style="font-family:simhei,sans-serif;font-size:12px;line-height:18px">Computer Science</span><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif"> at Institute of Computing Technology,Chinese Academy of Sciences(ICT) </font></span>
</div><div style="font-size:12px;line-height:18px;background-color:rgb(255,255,255)"><font face="simhei, sans-serif">Email:<a href="mailto:Email%3Asunhanxiaoisme@gmail.com" target="_blank">sunhanxiaoisme@gmail.com</a>       </font></div>


<div style="background-color:rgb(255,255,255)"><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif">Mobile</font></span><font style="font-size:12px;line-height:18px" face="simhei, sans-serif">: (86)186-0025-6936    </font></div>


<div style="font-family:'lucida Grande',Verdana;font-size:12px;line-height:18px;background-color:rgb(255,255,255)"><br></div><div style="font-family:'lucida Grande',Verdana;font-size:12px;line-height:18px;background-color:rgb(255,255,255)">


<hr><font color="gray" face="Arial" size="1">This email (including any attachments) is confidential and may be legally privileged. If you received this email in error, please delete it immediately and do not copy it or use it for any purpose or disclose its contents to any other person. Thank you.<br>


<br>本电邮(包括任何附件)可能含有机密资料并受法律保护。如您不是正确的收件人,请您立即删除本邮件。请不要将本电邮进行复制并用作任何其他用途、或透露本邮件之内容。谢谢。</font></div></div></div>
</div>
</blockquote></div><br></div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr"><div style="background-color:rgb(255,255,255)"><font face="simhei, sans-serif"><span style="font-size:12px;line-height:18px">孙晗晓(Hansel Sun)</span></font></div>
<div style="background-color:rgb(255,255,255)"><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif">Master </font></span><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif">Student </font></span><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif">of </font></span><span style="font-family:simhei,sans-serif;font-size:12px;line-height:18px">Computer Science</span><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif"> at Institute of Computing Technology,Chinese Academy of Sciences(ICT) </font></span>
</div><div style="font-size:12px;line-height:18px;background-color:rgb(255,255,255)"><font face="simhei, sans-serif">Email:<a href="mailto:Email%3Asunhanxiaoisme@gmail.com" target="_blank">sunhanxiaoisme@gmail.com</a>       </font></div>
<div style="background-color:rgb(255,255,255)"><span style="background-color:transparent;font-size:12px;line-height:18px"><font face="simhei, sans-serif">Mobile</font></span><font face="simhei, sans-serif" style="font-size:12px;line-height:18px">: (86)186-0025-6936    </font></div>
<div style="font-family:'lucida Grande',Verdana;font-size:12px;line-height:18px;background-color:rgb(255,255,255)"><br></div><div style="font-family:'lucida Grande',Verdana;font-size:12px;line-height:18px;background-color:rgb(255,255,255)">
<hr><font color="gray" size="1" face="Arial">This email (including any attachments) is confidential and may be legally privileged. If you received this email in error, please delete it immediately and do not copy it or use it for any purpose or disclose its contents to any other person. Thank you.<br>
<br>本电邮(包括任何附件)可能含有机密资料并受法律保护。如您不是正确的收件人,请您立即删除本邮件。请不要将本电邮进行复制并用作任何其他用途、或透露本邮件之内容。谢谢。</font></div></div>
</div>