昆山网站建设大师在此给您进行简单总结：

　　robots.txt

　　robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况。

　　当我们不希望网站中的某些页面被搜索引擎抓取，也许这些网页在搜索结果中出现对于用户来说并没多大用处，就可以把这些页面放在robots.txt里，这可以保证网站的某些内容不出现在搜索结果中。

　　Sitemaps文件通常是XML格式的，格式比较简单，Sitemaps协议以<urlset>开始标记开始，以</urlset>结束标记结束。每个网址包含一个作为父标记的<url>条目。每一个<url>父标记包括一个<loc>子标记条目。<loc>是网页文件的网址。此网址应以http开始并少于2048个字符。<lastmod>表示该文件上次修改的日期。此日期允许删除时间部分，例如YYYY-MM-DD。