Semalt Expert: Посібник із запобігання скануванню Google старих мап

По мірі зростання вашого веб-сайту ви постараєтеся знайти найкращі видимість та надійність в Інтернеті. Іноді наслідки того, як працювали наші сайти, залишаються позаду, і саме тут ми повинні звернути увагу.

Перейдіть до наступних порад від Макса Белла, менеджера з успішності клієнтів Semalt , щоб не допустити сканування старими сайтами Google.

Кілька тижнів тому один з моїх клієнтів сказав мені, що він має веб-сайт електронної комерції. Він зазнав різних змін: від структури URL-адрес до карти сайту, все було змінено, щоб зробити сайт більш помітним.

Клієнт помітив деякі зміни у своїй пошуковій консолі Google і знайшов там помилки сканування. Зауважив, що існує велика кількість старих і нових URL-адрес, які генерували підроблений трафік. Однак деякі з них показували помилки Access Denied 403 та Not Found 404.

Мій клієнт сказав мені, що найбільшою проблемою у нього була стара карта сайта, яка існувала в кореневій папці. Його веб-сайт раніше використовував різноманітні плагіни Google XML Sitemaps, але тепер він залежав від WordPress SEO від Yoast для мапи сайту. Однак різні старовинні плагіни мапи сайту створили для нього безлад. Вони були присутні в кореневій папці, що називається sitemap.xml.gz. Оскільки він почав використовувати плагіни Yoast для створення мапи сайту для всіх публікацій, категорій сторінок і тегів, він більше не потребував цих плагінів. На жаль, особа не надіслала sitemap.xml.gz до консолі пошуку Google. Він подав лише свою мапу сайту Yoast, і Google теж сканував свої старі мапи сайту.

Що повзати?

Користувач не видалив стару мапу сайту з кореневої папки, тому він також індексувався. Я повернувся до нього і пояснив, що мапа сайту - це лише пропозиція того, що слід сканувати в результатах пошукової системи . Ви, напевно, думаєте, що видалення старих мап сайту не дозволить Google сканувати неіснуючу URL-адресу, але це неправда. Мій досвід говорить, що Google намагається індексувати кожну стару URL кілька разів на день, переконуючись, що помилки 404 справжні, а не випадкові.

Googlebot може зберігати пам'ять старих та нових посилань, які він знайде у мапі сайту вашого сайту. Він відвідує ваш веб-сайт регулярно, переконуючись, що кожна сторінка індексована правильно. Googlebot намагається оцінити, чи посилання дійсні чи недійсні, щоб відвідувачі не відчували жодних проблем.

Очевидно, що веб-майстри будуть плутати, коли кількість їх помилок сканування збільшується. Усі вони хочуть значно зменшити його. Як повідомити Google про нехтування усіма старими картами сайту? Це можна зробити, вбивши всі небажані та незвичайні мапи сайту. Раніше єдиний спосіб зробити це можливим - файли .htaccess. Завдяки WordPress, що надав нам деякі плагіни.

Веб-сайти WordPress мають цей файл у своїх кореневих папках. Отже, вам просто потрібно отримати доступ до FTP і включити приховані файли в cPanel. Перейдіть до опції «Менеджер файлів», щоб відредагувати цей файл відповідно до вашої вимоги. Не слід забувати, що неправильне редагування може пошкодити ваш сайт, тому завжди слід створювати резервну копію всіх даних.

Після того, як ви додали фрагмент до файлу, усі URL-адреси з минулим терміном дії зникнуть із помилок сканування. Не варто забувати, що Google хоче, щоб ви зберігали свій сайт в прямому ефірі, знижуючи ймовірність 404 помилок.