<div dir="ltr"><div class="gmail_default" style><div class="gmail_default" style><font face="courier new, monospace">(success indexing at step 6 ; answer to Peter below)</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">Indeed, issue is running out of time, no memory related message. Pardon my negligence, error message varies (see further).</font></div><div class="gmail_default" style><font face="courier new, monospace">About 60 mo of new data, I'm talking about a large number of pages. There should not be any big page among it. All short.</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><blockquote style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex" class="gmail_quote"><font face="courier new, monospace">Is there a ".pageindex,new" file created?  If not, then PmWiki must be terminating<br></font><font face="courier new, monospace">long before page indexing is starting -- perhaps when doing the search itself.<br></font><font face="courier new, monospace">One of the first things that the indexing function does is to create the<br></font><font face="courier new, monospace">".pageindex,new" file.  So if that file isn't being created, then the problem<br></font><font face="courier new, monospace">is occuring *before* indexing ever gets started, not during.</font></blockquote><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">No .pageindex,new is created. </font></div><div class="gmail_default" style><font face="courier new, monospace">This is my opinion as well. Fail happens at the very beginning of the indexing mecanism.</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">0. Native settings, searching for word : Bob/ endormir :</font></div><div class="gmail_default" style><font face="courier new, monospace">Fatal error: Maximum execution time of 30 seconds exceeded in D:\xampp3\htdocs\abclf\scripts\xlpage-utf-8.php on line 75</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">1. Settings changed to set_time_limit(60); and searching for Bob/ endormir :</font></div><div class="gmail_default" style><font face="courier new, monospace">Fatal error: Maximum execution time of 60 seconds exceeded in D:\xampp3\htdocs\abclf\cookbook\sqlite.php on line 403</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">No .pageindex is created ; only sqlite database and .flock in wiki.d</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">2. RecentChanges pages are still virgin ; I edit a Bob page, do a few changes, and save. I do have now an existing Bob/RecentChanges page. </font><span style="font-family:'courier new',monospace">A .pageindex (74 octets) has been created along with .lastmod empty file.</span></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">3a. set_time_limit(60); searching for link : link=Bob/RecentChanges :</font></div><div class="gmail_default" style><font face="courier new, monospace">Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1792 bytes) in D:\xampp3\htdocs\abclf\pmwiki.php(456) : runtime-created function on line 1</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">url was: <a href="http://localhost/abclf/pmwiki.php?n=PmWikiFr.Recherche&fmt=PmWikiFr.Recherche%23recherche&action=search&q=link%3DBob%2FRecentChanges">http://localhost/abclf/pmwiki.php?n=PmWikiFr.Recherche&fmt=PmWikiFr.Recherche%23recherche&action=search&q=link%3DBob%2FRecentChanges</a></font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">3b. set_time_limit(60); searching for word : Bob/ roupiller :</font></div><div class="gmail_default" style><font face="courier new, monospace">Fatal error: Maximum execution time of 60 seconds exceeded in D:\xampp3\htdocs\abclf\cookbook\sqlite.php on line 403</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">url was: <a href="http://localhost/abclf/pmwiki.php?n=Citation.2000&action=search&q=bob%2F+roupiller">http://localhost/abclf/pmwiki.php?n=Citation.2000&action=search&q=bob%2F+roupiller</a></font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">4. set_time_limit(60); and setting up a pagelist – althoug index is not done – (:pagelist group=Citation order=time count=50:) gives that error :</font></div><div class="gmail_default" style><font face="courier new, monospace">Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1792 bytes) in D:\xampp3\htdocs\abclf\pmwiki.php(456) : runtime-created function on line 1</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">5. set_time_limit(60); and Site.Site.php script prints out an error :</font></div><div class="gmail_default" style><font face="courier new, monospace">Fatal error: Call to undefined function PageIndexQueueUpdate() in D:\xampp3\htdocs\abclf\local\Site.Site.php on line 8</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">Nothing new in wiki.d ; looking at the filetime, .pageindex (74 o) and .lastmod are 13:22 (when a page is saved to generate a RecentChanges page) ; .flock a 13:45 (one of the last test).</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">6a. set_time_limit(90); searching for link : link=Bob/RecentChanges :</font></div><div class="gmail_default" style><font face="courier new, monospace">Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1792 bytes) in D:\xampp3\htdocs\abclf\pmwiki.php(456) : runtime-created function on line 1</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">6b. set_time_limit(90); searching for word : Bob/ roupiller :</font></div><div class="gmail_default" style><font face="courier new, monospace">Success. I get resultats. </font></div><div class="gmail_default" style><font face="courier new, monospace">.pageindex is 1,2 mo big now.</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">=Peter==========================================================================</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">Script saved in local/Site.Reindex.php</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">set_time_limit is set to native setting ;</font></div><div class="gmail_default" style><font face="courier new, monospace">I ran Site.Reindex one time :</font></div><div class="gmail_default" style><font face="courier new, monospace">no fatal error</font></div><div class="gmail_default" style><font face="courier new, monospace">at the end, message at the top is </font></div><div class="gmail_default" style><font face="courier new, monospace">DEBUG: A</font></div><div class="gmail_default" style><font face="courier new, monospace">DEBUG: count=166588</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">In wiki.d, .pageindex is now 11,8 mo (and there is a 2 mo .reindex file left).</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">(For information .pageindex done yesterday is 36,9 mo)</font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace"><br></font></div><div class="gmail_default" style><font face="courier new, monospace">Thank you,</font></div><div class="gmail_default" style><font face="courier new, monospace">Gilles.</font></div><div class="gmail_default" style="font-family:'courier new',monospace"><br></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">2015-01-29 14:03 GMT+01:00 Peter Bowers <span dir="ltr"><<a href="mailto:pbowers@pobox.com" target="_blank">pbowers@pobox.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><span class=""><br><div class="gmail_quote">On Wed, Jan 28, 2015 at 10:10 PM, ABClf <span dir="ltr"><<a href="mailto:languefrancaise@gmail.com" target="_blank">languefrancaise@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Is there something to do with the native search engine to avoid it failing each time amount of new data is too big ?</blockquote></div><br></span>Try reindexing by multiple re-loads of the page Site.Reindex using the following as the contents of Site.Reindex.php:</div><div class="gmail_extra"><br></div><div class="gmail_extra">===(snip)===</div><div class="gmail_extra"><div class="gmail_extra"><div class="gmail_extra"><?php</div><div class="gmail_extra"><br></div><div class="gmail_extra"># NOTE: For this to work it expects wiki.d/.reindex to be deleted before</div><div class="gmail_extra"># starting the reindex. Then simply reload this page multiple times until</div><div class="gmail_extra"># you get the message that the reindexing process is complete</div><div class="gmail_extra"><br></div><div class="gmail_extra">#global $PageIndexTime, $WikiDir, $FarmD;</div><div class="gmail_extra">include_once("$FarmD/scripts/stdconfig.php");</div><div class="gmail_extra">include_once("$FarmD/scripts/pagelist.php");</div><div class="gmail_extra"><br></div><div class="gmail_extra">SDV($ReindexFile, "$WorkDir/.reindex");</div><div class="gmail_extra">#echo "DEBUG: Attempting to delete $ReindexFile<br />\n";</div><div class="gmail_extra">#unlink($ReindexFile);</div><div class="gmail_extra"><br></div><div class="gmail_extra">set_time_limit(120);</div><div class="gmail_extra">$PageIndexTime = 60;</div><div class="gmail_extra">$fp = @fopen($ReindexFile, "r");</div><div class="gmail_extra">if (!$fp) { // no .pageindex - start from scratch</div><div class="gmail_extra">    echo "DEBUG: A<br />\n";</div><div class="gmail_extra">    $pagelist = $WikiDir->ls();</div><div class="gmail_extra">    sort($pagelist);</div><div class="gmail_extra">    file_put_contents($ReindexFile, implode("\n", $pagelist));</div><div class="gmail_extra">    fixperms($ReindexFile);</div><div class="gmail_extra">} else { // we are assuming .pageindex has been created in order</div><div class="gmail_extra">    echo "DEBUG: B<br />\n";</div><div class="gmail_extra">    $pagelist = explode("\n", file_get_contents($ReindexFile));</div><div class="gmail_extra">    $lastpage = '';</div><div class="gmail_extra">    $ifp = @fopen($PageIndexFile, 'r');</div><div class="gmail_extra">    if ($ifp) {</div><div class="gmail_extra">        while (!feof($ifp)) {</div><div class="gmail_extra">          $line = fgets($ifp, 4096);</div><div class="gmail_extra">          while (substr($line, -1, 1) != "\n" && !feof($ifp)) </div><div class="gmail_extra">            $line .= fgets($ifp, 4096);</div><div class="gmail_extra">          $i = strpos($line, ':');</div><div class="gmail_extra">          if ($i === false) continue;</div><div class="gmail_extra">          $n = substr($line, 0, $i);</div><div class="gmail_extra">          if ($n > $lastpage) $lastpage = $n;</div><div class="gmail_extra">          else break;</div><div class="gmail_extra">        }</div><div class="gmail_extra">        fclose($ifp);</div><div class="gmail_extra">        for ($i = 0; $i < sizeof($pagelist); $i++)</div><div class="gmail_extra">            if ($pagelist[$i] >= $lastpage) break;</div><div class="gmail_extra">        if ($pagelist[$i] == $lastpage)</div><div class="gmail_extra">            $pagelist = array_slice($pagelist, $i+1);</div><div class="gmail_extra">    }</div><div class="gmail_extra">}</div><div class="gmail_extra">echo "DEBUG: count=".count($pagelist)."<br />\n";</div><div class="gmail_extra">if (!count($pagelist)) {</div><div class="gmail_extra">    echo "Indexing complete. Deleting $ReindexFile<br />\n";</div><div class="gmail_extra">    if (file_exists($ReindexFile)) {</div><div class="gmail_extra">        fixperms($ReindexFile);</div><div class="gmail_extra">        unlink($ReindexFile); // for some reason this is giving err in windows</div><div class="gmail_extra">    }</div><div class="gmail_extra">}</div><div class="gmail_extra">PageIndexUpdate($pagelist);</div></div></div><div class="gmail_extra">===(snip)===</div><div class="gmail_extra"><br></div><div class="gmail_extra">I've only done a bare minimum of testing so there will probably be issues.  If you get it working it may be worthwhile to package it as a recipe for others who may want an explicit reindex.</div><span class="HOEnZb"><font color="#888888"><div class="gmail_extra"><br></div><div class="gmail_extra">-Peter</div></font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div><br></div><div>---------------------------------------</div>| A | de la langue française<br>| B | <a href="http://www.languefrancaise.net/" target="_blank">http://www.languefrancaise.net</a><br>| C | <a href="mailto:languefrancaise@gmail.com" target="_blank">languefrancaise@gmail.com</a><br>---------------------------------------<div>       @bobmonamour</div><div>---------------------------------------</div></div>
</div>