<div dir="ltr">> <span style="font-size:12.8px">You need to share the actual URL of the gist, otherwise only you can see</span><br style="font-size:12.8px"><span style="font-size:12.8px">> them I think :-)</span><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Sorry, I've made all gists public. <a href="https://gist.github.com/ivmarkp" target="_blank">https://gist.github.com/ivmarkp</a></span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">> Great, thanks; it's worth noting this somewhere (maybe on your project</span><br style="font-size:12.8px"><span style="font-size:12.8px">> wiki page).</span><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Okay, I'll update the project plan page with more details related to dataset used for evaluation runs.</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">> </span><span style="font-size:12.8px">Certainly until we have something where evaluation shows an</span></div><span style="font-size:12.8px">> improvement, we shouldn't change the default. </span><div><br></div><div>Yes, I think the same and I feel it'd still be worth having these new weighting schemes as alternatives in Xapian</div><div>as for e.g. PL2+ shows some better results already on the news collection that we currently have. Likewise we </div><div>might see similar promising results from other weighting schemes as well by evaluating them on web collections.</div><div><br></div><div>Thanks,</div><div>Vivek</div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jul 25, 2016 at 9:00 PM, James Aylett <span dir="ltr"><<a href="mailto:james-xapian@tartarus.org" target="_blank">james-xapian@tartarus.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>On Mon, Jul 25, 2016 at 06:11:21PM +0530, Vivek Pal wrote:<br>
<br>
> > We probably don't want them committed in git where they're evaluation<br>
> > runs (because we can recreate them); a gist might be more appropriate.<br>
><br>
> Sorry, I have moved results files over to gist for each individual<br>
> weighting scheme.<br>
> Link: <a href="https://gist.github.com/ivmarkp/secret" rel="noreferrer" target="_blank">https://gist.github.com/ivmarkp/secret</a><br>
<br>
</span>You need to share the actual URL of the gist, otherwise only you can see<br>
them I think :-)<br>
<br>
Or just make them public; there's nothing sensitive in these, I think.<br>
<br>
(One gist can contain multiple files, and people can then clone or<br>
download the whole lot easily.)<br>
<span><br>
> > I can't tell, but are some of those files from FIRE?<br>
><br>
</span><span>> No, those files are generated each time a run is completed, and just<br>
> contain evaluation results that are displayed on terminal.<br>
<br>
</span>Okay, great.<br>
<span><br>
> > Can you remind me what sort of corpus you're using from FIRE for this?<br>
><br>
> The corpus we are using contains sorted news articles/stories based<br>
> on section and time period from two different news providers; BDNews<br>
> 24 and The Telegraph.<br>
<br>
</span>Great, thanks; it's worth noting this somewhere (maybe on your project<br>
wiki page).<br>
<span><br>
> > Do you have any idea what 'very long' means in this case, in terms of<br>
> > number of terms (or maybe multiple of mean terms)<br>
><br>
> Very long documents in terms of no. of terms as specified in the paper; in<br>
> general, where |D| is much larger than avdl.<br>
><br>
> It is mentioned in the paper that "the MAP improvements of BM25+ over BM25<br>
> are much larger on Web collections than on the news collection. In<br>
> particular, the MAP improvements on all Web collections are statistically<br>
> significant." Therefore, they seem to have used four TREC collections: WT2G,<br>
> WT10G, Terabyte, and Robust04, which represent different sizes and genre of<br>
> text collections.<br>
<br>
</span>Ah. If FIRE doesn't have something that can show this suitably, then<br>
maybe Parth can advise on access to TREC, as I know he's used some of<br>
them in the past.<br>
<br>
Certainly until we have something where evaluation shows an<br>
improvement, we shouldn't change the default. It does sound like it<br>
should be possible to find a suitable dataset to demonstrate this on,<br>
though.<br>
<div><div><br>
J<br>
<br>
--<br>
  James Aylett, occasional trouble-maker<br>
  <a href="http://xapian.org" rel="noreferrer" target="_blank">xapian.org</a><br>
<br>
</div></div></blockquote></div><br></div></div>