# www.robotstxt.org/ # http://code.google.com/web/controlcrawlindex/ User-agent: * allow: /$ allow: *.css allow: *.js allow: /board/$ allow: /novosti/vipusk/*/ allow: /novosti/arhiv/*/ allow: /novosti/statya/*/ allow: /images/* allow: /picture/* disallow: /* disallow: /auth disallow: /poisk disallow: /board/* disallow: /board#$ host: https://svecha-news.ru sitemap: https://svecha-news.ru/sitemap1.xml sitemap: https://svecha-news.ru/sitemap2.xml