网站无内容页面该怎么处理更利于蜘蛛抓取
　　无内容页面为什么要让蜘蛛抓取呢？第一：不给这个页面入口，让蜘蛛抓取不到第二：robots屏蔽掉该页面第三：为该页面暂时的安放一些内容！

求助我的网站在检查友链的时候显示屏蔽了所有蜘蛛
　　这是你的Robots.txt文件的内容：Useragent：*Disallow：/*？*这个意思就是禁止所有蜘蛛抓取网站的任何内容。赶紧修改吧。

如何禁止百度蜘蛛爬取内页但能爬取收录主页
　　用robots屏蔽掉你不想让蜘蛛抓取的路径就行了######查看原帖>；>；

求助我的网站在检查友链的时候显示屏蔽了所有蜘蛛
　　这是你的Robots.txt文件的内容：Useragent：*Disallow：/*？*这个意思就是禁止所有蜘蛛抓取网站的任何内容。赶紧修改吧。查看原帖>；>；

用什么工具可以查到蜘蛛是否来过网站抓取内容
　　大网站也用robots.txt这么做，不过更多的是一种法律上的手段禁止别人爬取，要想技术上做到绝对不允许爬取的话很难，比如taobao屏蔽baidu就是一个例子；靠robots.txt文件的配置能挡掉很大一部分了；但如果你想要求更严格，那只能自己做http服务器扩展来保证了，比如开发一个apache的m。

EasouSpider蜘蛛的抓取是否该屏蔽
　　如果没让你服务器卡，你的网页内容没那么多，则为何要屏蔽呢？######查看原帖>；>；

网站屏蔽百度抓取个别文件不屏蔽googlerobots怎么写
　　Useragent：BaiduspiderDisallow：/1.htm这个是屏蔽百度抓取1.htm文件常见Robots名字名称搜索引擎google蜘蛛：googlebot百度蜘蛛：b。alltheweb蜘蛛：fastwebcrawler/inktomi蜘蛛：slurp一个在线写robots.txt的工具。最后需要注意，robots.txt文件名必须是小写，而且放在网站根目。

技术贴怎样判断一个网站是否被屏蔽
　　查看robots文件，在你域名后面添加/robots.txt，看是否屏蔽蜘蛛抓取