robots.txt 协议怎么写?
首先,robots.txt的访问地址就是在域名后面增加这个文件名既可,比如:http://xxxxxx.com/robots.txt
其次,robots.txt可以在Rank Math SEO > General Settings > Edit robots.txt里编辑,但一般就用默认的即可,也就是下面这种形式:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://xxx.com/sitemap_index.xml
如果你的网站要上线的话,首先把Settings > Reading > Search engine visibility取消勾选,robots.txt会自动更新的;如果选中了这个选项,你的robots.txt会显示下面的信息(意思就是不准任何搜索引擎来爬取):
User-agent: * Disallow: /
如果你发现robots.txt文件在做了上面的操作后没有更新,你可以尝试在settings > permalink 点击一次“保存修改”,但里面的设置你不需要调整,仅仅就是点击“保存修改”即可。
其它你可能感兴趣的FAQ
如果你的问题没有得到解决或者我们的回答不清楚,请联系我们。