Технический аудит сайта пятью поисковыми операторами

Половину технических проблем с индексацией своего сайта можно найти за пять минут в обычной поисковой строке, без краулеров и платных сервисов. Ниже — пять запросов, которые показывают, что поисковик знает о сайте помимо того, что вы ему показывали: забытые тестовые копии, мусорные адреса с параметрами, страница ошибки в выдаче, выгрузки и логи в открытом доступе и, самое неприятное, открытый список файлов на сервере.

Тестовая копия сайта, которая попала в индекс

После переезда или редизайна разработческая или тестовая копия нередко остаётся доступной и индексируется наравне с боевым сайтом. Это дубликаты в масштабе всего сайта.

Запрос для проверки:

site:*.вашдомен.ru -www

Первая часть просит показать всё, что поисковик знает про поддомены, вторая убирает из результатов основную версию. Остаётся то, о чём вы, возможно, забыли. В разобранном примере такой запрос сразу вытащил тестовую копию сайта компании, продающей плагины: у страниц там стоял мета-тег index, follow, а канонический адрес указывал на саму тестовую копию, а не на боевой домен. Для поисковика это был просто второй самостоятельный сайт с тем же содержимым.

Если у вас есть поддомены, которым в индексе самое место, отсекайте их цепочкой минусов:

site:*.вашдомен.ru -www -blog -support -help

Пустая выдача означает, что лишнего нет.

Адреса с параметрами

Фильтры, сортировки и постраничная навигация плодят адреса, отличающиеся хвостом после вопросительного знака. Когда такие адреса попадают в индекс тысячами, вы получаете тонкие дубли.

site:вашдомен.ru inurl:?

Обычно так вылезают страницы внутреннего поиска и бесконечные комбинации фильтров в каталоге. Правильное поведение видно на примере крупных магазинов: страница с параметром сортировки открывается нормально, но канонический адрес в её коде указывает на чистый вариант без параметра. Пользователь получает удобный фильтр, поисковик — один адрес вместо сотни.

Одну оговорку к этому пункту стоит сделать, потому что в роликах про технический аудит краулинговым бюджетом пугают всех подряд. Расход бюджета обхода становится реальной проблемой на больших сайтах: ориентир самого Google — от десяти тысяч страниц с ежедневным обновлением или от миллиона страниц с обновлением примерно раз в неделю. Для блога на пару сотен статей или корпоративного сайта на тысячу страниц бюджет обхода почти никогда не бывает узким местом, а вот дубли в индексе вредят независимо от размера. Так что чинить параметры стоит, но по причине дублей, а не бюджета.

Страница ошибки в результатах поиска

Страница, которую видит посетитель по несуществующему адресу, в выдаче оказываться не должна. Проверяется это так:

site:вашдомен.ru intitle:"страница не найдена"

Вместо текста в кавычках подставьте заголовок своей страницы ошибки — «404», «Ничего не найдено», что там у вас стоит. На практике такая страница обнаруживалась в индексе даже у банка.

Совет, который обычно дают следом, — повесить на неё noindex. Это лечение симптома. Если страница ошибки вообще попала в индекс, почти наверняка она отдаёт код ответа 200 вместо 404, то есть для поисковика это обычная существующая страница. Чинить нужно код ответа: 404 для «не найдено» или 410 для «удалено навсегда». При корректном коде ответа noindex не нужен — представители Google повторяют это годами. Обратное тоже верно: если исправить код ответа нельзя, тогда noindex остаётся единственным вариантом.

Файлы, которые никто не собирался публиковать

В медиатеку и на сервер годами попадают файлы, которые не предназначались для поиска, а поисковик их индексирует наравне со страницами.

site:вашдомен.ru filetype:csv
site:вашдомен.ru filetype:xls
site:вашдомен.ru filetype:log
site:вашдомен.ru filetype:sql

Что находится на практике: у магазина конструкторов в индексе лежал CSV с товарным остатком, доступный на скачивание. Если это выгрузка для клиентов, вопросов нет; если внутренний документ — уже проблема. На другом сайте нашлись проиндексированные лог-файлы, которые при клике редиректили на страницу «О компании», то есть публиковать их точно не собирались. Хуже всего дампы баз данных: они не должны попадать в индекс ни по соображениям безопасности, ни по соображениям обхода.

Открытый список файлов на сервере

Этот пункт стоит отдельно, потому что он уже не про SEO.

site:вашдомен.ru intitle:"index of"

Когда в папке на сервере нет индексного файла (index.html или index.php), веб-сервер в стандартной конфигурации показывает вместо страницы сырой список содержимого: имена файлов и папок, размеры, даты. Любой посетитель может пройтись по этому списку и скачать что угодно: резервные копии, конфигурационные файлы, выгрузки баз, внутренние документы. Поисковик такой список тоже индексирует.

Пустая выдача по этому запросу — хорошая новость. Если же результаты есть, это повод не откладывать: отключить листинг каталогов в конфигурации сервера и разобраться, что именно лежало в открытом доступе и как давно.

То же самое в Яндексе

Синтаксис у Яндекса свой, и полного соответствия нет:

Оператор site: в Яндексе изначально захватывает поддомены, поэтому звёздочка не нужна. У mime: список форматов ограничен документами: pdf, doc, xls, ppt, rtf и открытые аналоги. Поискать так дамп базы или лог не получится, для этого остаётся Google.

Что делать с находками

Последнее замечание про порядок действий. Скрыть находку от поисковика и починить причину — разные вещи. Файл, выпавший из индекса, никуда не делся с сервера и по-прежнему отдаётся любому, кто знает адрес. Поэтому начинать всегда стоит с сервера, а очистку выдачи делать уже потом.