利用"GOOGLE抓取"测试Robots书写正确性

利用GOOGLE管理员工具测试Robots.TXT 与 页面内容抓取，GOOGLE管理员可以说是网站与GOOGLE间接沟通的工具，虽然G.cn现在已经移民、导致使用GOOGLE时会经常出现搜索错误或超时问题，但是GOOGLE目前所发布出来的工具无不是最权威的工具（Google Analytics 、Google Trends、Google adwords、Google管理员工具）、尤其是“Google Analytics ”、“Google管理员工具”，一个是分析工具最牛B的工具（小向个人认为），一个是网站管理必备工具之一，可能有些朋友们不是这么认为，但是这二款工具帮了小向很多忙。

百度从发布“百度站长指南”时，就在统计/投票问用户喜欢什么类型的站长工具，但是现在票投了、统计也做好了，可是工具却迟迟不发布，有句话说的好“给了别人希望，却又让人失望”，“百度站长指南”不是这样的吗、等了多久、三个月有吧，但后来了发布了、但是又有多少人对这个抱有“希望”的东西，最后却失望而归。

Google管理员工具（使用Google 网站管理员工具提高流量 Google 对网站索引编制的统计、诊断和管理，包括 Sitemap 提交和报告。欢迎使用一站式网站管理员资源，它可以回答您有关抓取和编制索引的问题，向您介绍改善和提高网站流量的产品和服务，从而增进您与访问者之间的联系。）这是一段对GOOGLE管理员的描述，其中讲述了 站索引编制、Sitemap 提交、网站抓取、网站诊断等网站相关问题处理，我们今天只对GOOGLE抓取来做讲解！

国平大哥在博客中发表过一篇文章，说过 “Google webmaster tools “ 就是 ”Google Search Appliance “ 的缩小版，而 GSA就是一台把google整个硬件和软件打包在一起的服务器。这台服务器就是一个小型的google搜索引擎，（虽然DJ小向没有亲目过，但知道啊里巴巴内部是有台这个样的服务器）