<div dir="ltr"><pre style="white-space:pre-wrap;color:rgb(0,0,0);text-decoration-style:initial;text-decoration-color:initial">Dear XAPIAN developers,</pre><pre style="white-space:pre-wrap;color:rgb(0,0,0);text-decoration-style:initial;text-decoration-color:initial">I was using xapian to index large than 13 million document about Q & A(Quora similarly). I will share some performance data about indexing and searching, and I will seek some help for improving performance of searching.</pre><pre style="white-space:pre-wrap;color:rgb(0,0,0);text-decoration-style:initial;text-decoration-color:initial">My computer has 8 i7@3.4G CPU and 16G memory, ubuntu 16.04. Dataset include about 13M document, each document will be cut into 35 term(Chinese word) on average.</pre><pre style="white-space:pre-wrap;color:rgb(0,0,0);text-decoration-style:initial;text-decoration-color:initial">I adopted split-merge algorithm as well. I built each index which contained 500K data and then merged them into one databases. Building smaller databases cost 2 min 40 s on avg. Compacting them cost about 2 hr 12 min.</pre><pre style="white-space:pre-wrap;color:rgb(0,0,0);text-decoration-style:initial;text-decoration-color:initial"><br></pre><pre style="white-space:pre-wrap;color:rgb(0,0,0);text-decoration-style:initial;text-decoration-color:initial">I found every first time(like after booting computer) or sometime(occasional) to query(use QueryParse) this databases will cost significant seconds (like 5 seconds), although it cost 0.8 seconds on average. What is the reason of this? Or how can I debug this, I mean where can I add some LOGLINE to measure these time?</pre><pre style="white-space:pre-wrap;color:rgb(0,0,0);text-decoration-style:initial;text-decoration-color:initial">If I want to shorten this query time what should I do or try? BTW, I think splitting more databases and query them parallelly is not a good idea, unless xapian ensure each query is less than a expected time(Actually this 13M database is 'small', :P).</pre><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><span style="color:rgb(119,119,119);font-family:"Open Sans";font-size:16px;line-height:20px">One of my most productive days was throwing away 1000 lines of code.</span><br></div></div></div>