<div>According to slurp slurp&nbsp; (and slurp only?) supports an extension in the robots.txt:</div>
<div>&nbsp;</div>
<div>User-agent: Slurp<br>Crawl-delay: 900</div>
<div>&nbsp;</div>
<div>&nbsp;</div>
<div>I see that you have that already in your robots.txt ( with agent *)</div>
<div>&nbsp;</div>
<div>&nbsp;</div>
<div>maybe increasing it and specifying it for slurp only.<br>No idea whether or not it helps</div>
<div>&nbsp;</div>
<div>bram</div>
<div>
<div>&nbsp;</div>
<div>&nbsp;</div>
<div>&nbsp;</div><br>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">&nbsp;&nbsp; Yahoo! Slurp is STUPID.<br>&nbsp;&nbsp; Yahoo! Slurp is STUPID.<br>&nbsp;&nbsp; Yahoo! Slurp is STUPID.<br><br></blockquote>
</div>