网络爬虫带走的流量有多大？

      defe.me域名闲置了一段时间，不知道干什么，前几天挂了一个TE上去，一直是刚安装完成的那个状态。自己就进后台简单设置了下，什么都没写，就在昨晚登入主机管理面板发现流量损失巨大，什么都没有的东西难道会有N多人来访问？有人说是盗链，才建的站没得什么东西可盗的。百思不得其解，看日志有3G多的Apache流量。没法只有下载apache日志分析。

      8号900多M将近1G流量，9号2G多流量消耗，8号日志没备份，从9号这天的日志来看，除了自己的点击之外，就只有几个搜索引擎的爬虫经过？不过流量这么巨大？太吓人了。一个空站，几个爬虫经过就带走了3G多的流量，我正在用的这个博客站也没经历过这种情形。一直没怎么注意，看来要加robots.txt文件来限制爬虫了。针对一些自动采集程序，也没法。