当当的robots.txt简洁明了:
User-agent: EtaoSpider
Disallow: /
之前京东和苏宁易购先后屏蔽一淘爬虫。
根据艾瑞刚刚公布的第三季度市场数据,在国内B2C电子商务市场,排名前三的分别为淘宝商城(50.9%),京东商城(18.6%)和苏宁易购(6.9%)。领先的电商市场中目前只有亚马逊明确表态不会屏蔽一淘爬虫。
上一篇: 大公司垄断九成团购市场 中小网站难生存
下一篇: 团购倒闭潮涌 谁能逆流而上