Articles of роботов robots.txt

Старый файл robots.txt не изменяется, не может обновляться до текущего файла robots.txt

Пока мой сайт WordPress был в производстве, я создал файл robots.txt, чтобы запретить все. Когда сайт был готов, я удалил файл robots.txt через cpanel и никогда не думал об этом. Недавно я понял, что веб-сайт не появился в результатах поиска Google, после дальнейшего расследования я понял, что старый файл robots.txt все еще существует (хотя я […]

Настройка robots.txt с плагином Yoast's Seo

Я искал достойное решение robots.txt для своих сайтов WordPress, и после некоторых поисков я нашел плагин SEO Yoast, который обеспечивает полное решение для SEO, включая индексацию. Я установил его, чтобы не индексировать следующие страницы: результаты поиска, страницы входа и регистрации, все страницы администратора, архивы на основе даты и архивы тегов. Однако, когда я смотрел на […]

автоматическая сгенерированная проблема robots.txt

У меня есть видимость сайта в настройках конфиденциальности, позволяющая поисковым системам видеть мой сайт, но по какой-то причине, когда я перехожу в автоматически созданный файл robots.txt, который он показывает User-agent: * Disallow: видимость перехода на сайт просто добавляет / удаляет конечную косую черту, т.е. «Disallow: /» У меня есть 2 связанных плагина "все в одном […]

Попытка обновления robots.txt

Я установил и активировал плагин WP Robots txt. Затем я перешел на wp-admin/options-reading.php Я вставил новый контент robotst.txt и сохранил его. Но я не вижу новый контент в mysite.com/robots.txt Любая помощь? Я также установил плагины SEO, может быть, это связано?

В чем смысл User-agent и Disallow в файле robots.txt в wordpress

В чем смысл User-agent и Disallow в файле robots.txt в WordPress. Я немного смущен этим.

Disallow: / wp- * в файле robots.txt?

Я только что получил письмо от Google, в котором сообщается, что он не может получить доступ к определенному содержимому javascript и css с моего сайта. Я просмотрел файл robots.txt, который содержит: User-agent: * Crawl-delay: 5 Запретить: / feed / Запретить: / trackback / Disallow: / wp-admin / Disallow: / wp-includes / Запретить: /xmlrpc.php Disallow: / […]

Msgstr "Нет файла Sitemap, связанного в файле robots.txt"

Относительно новизна к чему-либо, что не требует здравого смысла в WordPress. Мой предыдущий сайт был построен плохо и т. Д., Поэтому, сократив длинную историю, я установил новую тему и снова начал создавать страницы и т. Д. Я выполнял различные диагностические операции на seo и т. Д., Пока я работаю, и, похоже, у меня проблемы с […]

Это robots.txt заставляет Google не показывать часть моего контента?

http://chineselearnonline.com/ User-agent: * Disallow: /feed/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp- Sitemap: http://chineselearnonline.com/sitemap.xml Я просто перешел на новый сервер. И мой сайт начал не появляться в верхних результатах поиска s раньше. Мне было интересно, если robots.txt выше блокирует часть моего контента WordPress? РЕДАКТИРОВАТЬ: Я изменил путь от http://chineselearnonline.com/v4 до […]

Как остановить WordPress с помощью виртуального Robots.txt?

Я могу увидеть файл robots.txt здесь: http://persian.cc/robots.txt Но Google не может! Я знаю, что могу найти файлы robots.txt в корневом каталоге веб-сайта, но в моем файле нет файла robots.txt, и этот файл robots.txt является виртуальным, созданным WordPress. Теперь, как остановить wordpress, делая это? ИЛИ Если я не могу остановить wordpress, показывая этот виртуальный файл robots.txt […]

Добавьте robots.txt в root

У меня есть новая установка WordPress 3.5.1 (размещенная на Dreamhost FWIW), которую я не хочу индексировать поисковыми системами. Я хотел бы использовать простой robots.txt с Disallow: / для всех пользовательских агентов. Я проверил окно «Отклонить поисковые системы от индексации этого сайта» в меню «Настройки»> «Чтение», но http://mysite.com/robots.txt по- прежнему возвращает 404. Есть ли способ заставить […]

Intereting Posts