Фатальная ошибка яндекс. Малополезный контент, спам
Не так давно Яндекс поменял алгоритмы определения полезных и бесполезных сайтов. Все малополезные сайты, на его взгляд, он отмечает фатальной ошибкой.
Сообщение об ошибки выглядит так:
Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска.
При переходе подробнее можно увидеть следующее:
Всё это звучит как приговор и радоваться не приходится:
Что делать?
Понять в чем же причина довольно сложно, потому что ошибка имеет общий вид и вбирает в себя всевозможные специальные и случайные нарушения.
От Яндекса есть ссылки на инструкцию, что делать. Там общие черты и всевозможные причины:
Малополезный контент
Некачественные сайты
Бессмысленно писать в Яндекс поддержку. Они отвечают, но типовыми сообщениями. А когда ты всё же добиваешься человеческого ответа, то он не обнадеживает и нередко звучит следующим образом (своими словами пересказ слов поддержки):
Всё это хорошо, но иногда это полнейшая чушь и вот почему. Вы можете хоть тысячу полезных страниц создать для сайта, но если он имеет технические недочеты, всё это это будет насмарку. Потому что, если сайт нормальный и не создан для спама, причина может быть в технических проблемах сайта. Но ответят они вам так, что вы не поймёте. Так что лучше сосредоточится на технических моментах, которые нередко возникают по вине движка и тщательно перепроверить свой сайт.
Убираем мобильные редиректы
Потом смотрим файл.htaccess, там не должно быть на другие сайты.
В том числе надо избегать любых мобильных редиректов, в том числе и на свои сайты. Яндекс может за такой редирект понизить в выдаче, влепив фатальную ошибку, приняв его за вредоносный скрипт.
Проверьте плагины кэширования. Например, плагин кэширования на одном из моих сайтов внёс в файл .htaccess следующую мобильную переадресацию:
RewriteCond %{HTTP_USER_AGENT} ^.*(\bCrMo\b|CriOS|Android.*Chrome\/[.0-9]*\s(Mobile)?
|\bDolfin\b|Opera.*Mini|Opera.*Mobi|Android.*Opera|Mobile.*OPR\/+|Coast\/+|Skyfire|Mobile\sSafari\/[.0-9]*\sEdge|IEMobile|MSIEMobile|fennec|firefox.*maemo|
(Mobile|Tablet).*Firefox|Firefox.*Mobile|FxiOS|bolt|teashark|Blazer|Version.*Mobile.*Safari|
Safari.*Mobile|MobileSafari|Tizen|UC.*Browser|UCWEB|baiduboxapp|baidubrowser|
DiigoBrowser|Puffin|\bMercury\b|Obigo|NF-Browser|NokiaBrowser|OviBrowser|OneBrowser|TwonkyBeamBrowser|SEMC.*Browser|
FlyFlow|Minimo|NetFront|Novarra-Vision|MQQBrowser|MicroMessenger|
Android.*PaleMoon|Mobile.*PaleMoon|Android|blackberry|
\bBB10\b|rim\stablet\sos|PalmOS|avantgo|blazer|elaine|
hiptop|palm|plucker|xiino|Symbian|SymbOS|Series60|
Series40|SYB-+|\bS60\b|Windows\sCE.*(PPC|Smartphone|Mobile
|{3}x{3})|Window\sMobile|Windows\sPhone\s+|WCE;|Windows\sPhone\s10.0|Windows\sPhone\s8.1|
Windows\sPhone\s8.0|Windows\sPhone\sOS|XBLWP7|
ZuneWP7|Windows\sNT\s6\.\;\sARM\;|\biPhone.*Mobile|\biPod|\biPad|
Apple-iPhone7C2|MeeGo|Maemo|J2ME\/|\bMIDP\b|\bCLDC\b|webOS|
hpwOS|\bBada\b|BREW).*$
Такая штука может не понравиться Яндексу. Лучше этого избегать.
Если ошибок на сайте не видно, переадресаций и вирусов нет, следует обратить внимание на количество рекламы. Возможно Яндексу не нравится, что несколько рекламных блоков видны на одном пространстве экрана монитора. Следует уменьшить часть рекламных блоков.
Неправильный файл robots.txt
Это чуть ли не основная причина большинства проблем. Очень важно запретить все лишние страницы на сайте. Для этого делаем .
После того как всё исправили. Из того, что казалось, нужно исправить, отправляем сайт на проверку. И ждём месяц в надежде, что это было недоразумение.
Можно даже обойтись без этой кнопки. Если конкретно те ошибки, из-за которых Яндекс поставил бан исправлены, сайт может вылезти из-под санкций чуть ли не через несколько дней после исправления.
Добрый день уважаемые читатели блога сайт, открываю я сегодня веб кабинет Яндекса и обнаруживаю на против двух своих сайтов, восклицательный знак, зайдя в первый сайт я увидел фатальную ошибку с вот таким содержимым: "Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска ." Давайте смотреть в чем причина и каким образом вы сможете это исправить.
Более детальный вид ошибки "Сайт может угрожать безопасности пользователя"
И так есть пациент, мой один из блогов (http://москва-россия.рф/) на нем я делюсь своим опытом проживания в Москве, где и куда там пойти и что и где посмотреть, если вы его еще не видели, то милости прошу. Захожу я в webmaster кабинет и вижу как и писал выше, предупреждение.
Зайдя в настройки самого сайта, я увидел следующую картину: 1 фатальная ошибка, щелкаем по ней, чтобы посмотреть детали.
Раздел содержит решения часто встречающихся проблем категории «Фатальные» , выявленных при диагностике сайта в Яндекс.Вебмастере. Проблемы этой категории ведут к исключению отдельных страниц или всего сайта из результатов поиска.
Главная страница сайта возвращает ошибку
Если вы получили такое сообщение, выполните следующее:
После внесения изменений дождитесь очередного посещения робота. Также вы можете отправить страницу на переобход - робот обойдет ее в течение двух недель.
Если в результате проверки страница отвечает кодом 200 OK и проблем с доступностью содержимого нет, то предупреждение в Яндекс.Вебмастере пропадет в течение нескольких дней.
Не удалось подключиться к серверу из-за ошибки DNS
Раз в сутки индексирующий робот обращается к DNS-серверам, чтобы определить IP-адрес сервера, на котором находится сайт. Если на сайте некорректно настроены DNS-записи, робот не получает IP-адрес сайта. Поэтому сайт не может быть проиндексирован и добавлен в результаты поиска.
Проверьте корректность ответа сервера индексирующему роботу. Если сайт по-прежнему недоступен, обратитесь к хостинг-провайдеру для корректировки DNS-записей вашего домена. Когда доступ к сайту появится, информация в Яндекс.Вебмастере обновится в течение нескольких дней.
Проблема с доступом к сайту может быть кратковременной. Если при повторной проверке ответа сервера ошибок не обнаружено, дождитесь обновления информации в Вебмастере, это должно произойти в течение нескольких дней.
Если доменное имя не было продлено вовремя, сайт становится недоступен для индексирования. Продлите регистрацию домена. После этого сообщение в Яндекс.Вебмастере пропадет в течение нескольких дней.
Сайт закрыт для индексации в файле robots.txt
Несколько раз в сутки индексирующий робот запрашивает файл robots.txt и обновляет информацию о нем в своей базе. Если при очередном обращении робот получил запрещающую директиву, в Яндекс.Вебмастере появляется соответствующее предупреждение.
Проверьте содержимое файла robots.txt . Если запрет по-прежнему присутствует, удалите его из файла. Если вы не можете сделать это самостоятельно, обратитесь к хостинг-провайдеру или регистратору доменного имени. После снятия запрета данные в Яндекс.Вебмастере обновляются в течение нескольких дней.
Если доменное имя не было продлено вовремя, файл robots.txt будет содержать запрещающие директивы для робота. Продлите регистрацию домена. После этого сообщение в Яндекс.Вебмастере пропадет в течение нескольких дней.
Обнаружены нарушения или проблемы с безопасностью
Если найдено нарушение правил поиска Если найдена угроза безопасностиНа странице Диагностика → Безопасность и нарушения выполните следующее:
Когда вы решите проблему:
Убедитесь, что проблема устранена. Если при проверке сервис повторно обнаружит угрозу, вы сможете сообщить о ее устранении только через месяц. Дальше этот период будет увеличиваться и может составить три месяца.
В интерфейсе Яндекс.Вебмастера на странице Диагностика → Безопасность и нарушения нажмите кнопку Я все исправил . Это даст дополнительный сигнал алгоритмам Яндекса о том, что сайт нужно перепроверить. Если проверка завершена успешно, со временем ограничения будут сняты, а информация о нарушениях перестанет отображаться.
Примерно год назад(или больше) Яндекс сделал в Вебмастере Яндекса возможность узнавать применены ли санкции к вашему сайту или нет.
И вот прошёл год.
Сегодня я расскажу какие из этих «санкционных» сигналов работают, а какие не работают.
Выглядит это примерно так:
Сами санкции имеют 4 вида: Фатальные проблемы, Критические проблемы, Возможные проблемы, Рекомендации.
Фатальные проблемы это по сути бан сайта. Обычно это что то очень серьёзное. Например бан за покупку ссылок, накрутку ПФ, Спамный текст,..
Если у вас есть фатальная проблема в Вебмастере, то обычно сайт или полностью удаляется из индекса Яндека или же траф становится практически нулевым.
На самом деле фатальные проблемы встречаются очень редко. Я всего один раз видел такое. Был у одного человека бан за Минусинск.
Разумеется если вы видите фатальные проблемы на сайте, то нужно срочно их исправлять.
Критические проблемы это в основном какие то технические проблемы у сайта. Пример таких проблем: Вирус на сайте, Сайт выдаёт 404 ошибку, Долго грузится сайт,..
Вот пример самой распространенной проблемы: Долгий ответ сервера.
Cреднее время ответа роботу всех страниц вашего сайта превышает 3 секунды. Проблема могла возникнуть из-за долгого ответа, возвращаемого сервером при обращении поискового робота к некоторым страницам сайта. Если в настоящий момент сервер отвечает быстро, по мере переобхода сайта роботом Яндекса проблема перестанет быть актуальной, и сообщение об ошибке пропадет.
По факту могу сказать, что если у вас на сайте есть Критическая проблема , то трафик у вашего сайта снизится. Сайт будет в индексе Яндекса, но траф сильно просядет.
После того вы исправите проблему трафик восстановится, но НЕ ПОЛНОСТЬЮ.
Да, кстати это интересная вещь от Яндекса — если сайт наложены санкции, но потом сайт вышел из под санкций, то траф окончательно не восстанавливается Почему непонятно. Поговаривают, что такое вот наказание и чтобы больше не нарушал.
Возможные проблемы это самые распространенные проблемы. На самом деле половина(или больше) из этих проблем не являются проблемами.
Ну посудите сами, вот эти проблемы: Отсутствует robots,txt, Не прописан в роботсе Host, Отсутствует диспришн,..
Причём зачастую влияние многих этих проблем совершенно разное. Об этом мы и поговорим более подробно.
Отсутствует robots,txt, Не прописан в роботсе Host — как не странно, но Яндекс считает, что эта проблема существенная. Снижается трафик на сайте.
Лично для меня это понятно, так как много сайтов вообще не имеют на своём сайте robots.txt и прекрасно существуют.
Отсутствуют мета-теги
Но что касается Вебмастера Яндекса, факт того что диспришны у вашего сайта отсутствуют не влечёт к каким то санкциям со стороны Яндекса.
Нет используемых роботом файлов Sitemap.
По сути нет карты сайта. Не обращайте на это внимание, никаких санкций на это не накладывается.
В целом обычно у владельцев сайтов далёких от Seo, вот такая ситуация в Вебмастере:
Но скажу, честно им на это похиру.
Начнём с моего блога(сайт):
Нетрудно понять, что моему блогу не нужен никакой физический адрес в Питере.
«Сайт не Оптимизирован для мобильных устройств».
Это на самом деле НЕ пожелание, а именно критическая или даже Фатальная проблема. Дело в том, что если сайт у вас криво отображается для «мобильных» пользователей, то Поведенческие факторы у сайта будут очень низкие.
Поэтому если у вас в Вебмастере высвечивается такая проблема, то срочно её исправляйте.
И в конце выскажу своё мнение о работе Вебмастера Яндекса:
Всё очень и очень «мутно». Нет главного сигнала — «Поведенческие факторы». Можно было сделать такой сигнал, и если у вашего сайта плохие ПФ, то можно отображать эту опцию и прописывать — Улучшайте ваш сайт.
А так практически все сигналы не являются проблемными.
Ну зачем публиковать, что у сайта нет роботса, хоста в роботсе и карты сайта, когда по сути это не играет никакой роли для сайта?! Или может пользователь сайта так и мечтает заглянуть в Роботс?!
Нужен сигнал: Переспам текста и Индикатор Поведенческих факторов.
Пишите свои пожелания какие санкционные сигналы вы хотели бы видеть в Яндекс.Вебмастере. Я этот список постараюсь передать Яндексу.
Сегодня же мы детально разберём раздел фатальных ошибок, которые не просто мешают индексированию сайта в поисковых системах — из-за наличия этих ошибок сайт может просто не показываться в поисковой выдаче.
Итак, список фатальных ошибок в Яндекс Вебмастере состоит из следующих пунктов:
1. Сайт закрыт к индексации в файле robots.txt
Robots.txt это ключевой файл, который объясняет роботам поисковых систем куда на сайте им можно заходить, а куда нет. Если robots.txt полностью блокирует возможность посещения сайта роботами Яндекса, то о дальнейшей работе можно в принципе забыть. Никакие изменения в сайте поисковые системы просто не увидят. Поэтому очень важно, чтобы директивы robots.txt не только разрешали роботам поисковиков посещать сайт, но и вели их по сайту необходимым для правильной оптимизации образом.
2. Не удалось подключиться к серверу из-за ошибки DNS.
Ошибки DNS как правило происходят либо на стороне сервера, либо из-за неверной настройки пользователем согласованной работы домена и хостинга. Из-за ошибок DNS поисковик не понимает — какой домен прилинкован к вашему сайту и просто не показывает домен в выдаче.
3. Главная страница сайта возвращает ошибку
Когда поисковая система посылает на сайт запрос о его существовании она должна получить один из кодов ответов, который соответствует знаниям поисковика. Наиболее частые коды:
200 — страница существует и отображается
301 — страница перенаправляет всех на другую страницу
404 — страница не существует
500 — проблема страницы на стороне сервера
Важно чтобы сайт при запросе отдавал именно код 200. Только таким образом Яндекс поймет что с сайтом все в порядке и предложит его к поисковому ранжированию.
4. Обнаружены нарушения или проблемы с безопасностью
Яндекс тщательно следит за тем, чтобы посещение сайтов из поисковой выдачи было безопасно для компьютеров пользователей. Поэтому при наличии малейших угроз со стороны сайта поисковый робот сначала размещает рядом с сайтом в выдаче предупреждение о возможных проблемах, и если проблема не будет через какое-то время устранена, то просто уберёт ресурс из поисковой выдачи. Поэтому очень важно следить как за состоянием ресурса, так и за его безопасностью. Необходимо вовремя менять пароли и проводить сканирование сайта при помощи антивируса.