网站地图对网站抓取有一定的重要性

虽然在制作网站的时候很多要求是树形结构，但由于受到各种各样的限制，网站并非完全的树型或者网状型结构。所以，就需要网站地图起到辅助导航的作用：对于用户，可以对网站内容一目了然；对于搜索引擎，可以跟踪链接爬行到网站的主要部分：而对于网站本身，则会让网站显得更加标准化和专业化。所以，网站地图对于一个网站来说十分有必要。

一般网站地图分为两种：HTML版本的网站地图；另外一种就是XML版本的网站地图。下边一一进行说明：

第一、HTML版本网站地图：这种版本网站地图英文名称就是sitemap，s为小写，专指HTML版，这种版本就是用户可以通过网站看得到并且列出网站上所有页面链接的页面。对一些使用JS或者图片过多，甚至全站FLASH的网站，网站地图显得尤为重要，是搜索引擎爬行的一个重要补充。对于小网站，HTML版本的网站地图可以列车全站的所有页面。对于中型网站，就不可能列出全部页面，可以列出重点的一二级分类页面，或者可以把网站地图进行分块，第一块列出一级目录，往下一块列出二级目录，这样循环下去，也能把大部分页面列出。其实，一个具有良好导航系统和内部链接结构的网站，就不一定需要列出所有页面链接的网站地图，因为对于搜索引擎和用户而言，两者的性质有些类似。

第二、XML版本网站地图：此种版本的网站地图英文名为Sitemap，但S通常为大写。XML网站地图在2005年首先被Google提出，随后包括百度在内的各个搜索引擎都相继支持。XML版本的网站地图全部由XML标签组成，文件本身一定要是utf8编码的。XML地图就是列出网站上大部分需要被收录的URL，一般一行一个URL，搜索引擎就会顺着这些URL去爬行。另外，XML版本网站地图里边有些标签是我们必须要掌握的：priority，表示URL重要程度，默认为0.5，最重要为1.0；changefreg，表示更新频率，一般情况下需要选择daily，表示每天都会更新网站；另外，XML网站地图最多能列出五万个URL，且文件不能超过10MB。假如超过了这个大小，那么可以使用多个网站地图。

网站地图制作好之后，可以通过工具直接向搜索引擎提交，大部分的搜索引擎都支持提交并且也有专门的提交入口。另外也可以使用robots.txt文件的形式来通知搜索引擎网站地图的位置。需要注意的是通过XML网站地图，只是通知搜索引擎那些页面需要收录，只是让搜索引擎知道这些页面的存在，但是并不保证一定会被收录，需要收录还必须达到最低收录标准，所以不要以为有了网站地图的存在而不顾网站结构以及合理的内部链接。

最后要说的就是网站地图对于大网站来说特别重要，对于一般的中小型企业网站和个人网站也有一定的重要性，但体现的不明显。所以，大家了解网站地图之后根据自己的情况，做出适合自己网站的网站地图。