下列选项中，关于robots.txt文件的说法正确的是（）

• A、robots.txt文件存放于空间根目录下
• B、robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件
• C、如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面
• D、robots.txt文件只需要存放在空间任意位置就行