Специалисты компании Google сообщили о новом изменении инструкции для веб-масетров. Нововведения затронули такой процесс как индексация. Теперь роботы будут обращать внимание на CSS и JavaScript коды. Для успешной индексации сайта роботами нужно предоставить доступ в файле robots.txt для данных элементов. Иначе сайт может потерять позиции в поисковой выдаче.

Данное изменение, со слов разработчиков, есть отказ от прежнего принципа индексации страниц. Новая технология позволяет визуализировать страницы до её реального состояния. Благодаря этому и роботы и пользователи будут наблюдать одинаковые страницы.

Google советует обращать внимание на такие параметры, как:

отсутствие лишних файлов/элементов на сайте
количество файлов CSS или JavaScript. Рекомендуют объединять мелкие файлы для увеличения скорости загрузки
скорость работы вашего сервера

Как итог - скорость загрузки страниц сайта становится всё более важным параметром сайта.
Google обновил функционал Fetch as Google. Можно смотреть страницу "глазами" поискового робота.