Правильная настройка индексации сайта — это основа. Если ваш сайт не будет индексироваться или будет проиндексирован не правильно, то в конечном итоге это может повлечь серьезные последствия.
Как-то обратился ко мне клиент с просьбой настроить индексацию WordPress сайта. Неправильная настройка индексации привела к тому, что поисковик системы индексировали совсем не те страницы сайта, которые нужно было индексировать.
WordPress генерирует страницы тегов и архивов, которые в данном случае не были запрещены к индексации (узнай, что нужно запрещать индексировать на WordPress). Поэтому поисковики начали кушать страницы тегов, а не целевые страницы. Целевые страницы, почему-то воспринимались как дубли страниц, и поэтому фильтровались, не участвовали в поиске. При этом, страницы тегов не были оптимизированы, поэтому занимали очень низкие позиции. Соответственно, сайт терял свой трафик, который мог бы получать, если бы для сайта была правильно настроена индексация.
Вот такие нехорошие последствия может вызвать неправильная настройка индексации сайта.