Добавил код в роботс http://prntscr.com/v1d7dt, но при сканировании старницы в вебмастере все равно находит какие то файлы, которые не удается загрузить http://prntscr.com/v1d6po, например:
https://site.com/catalog/view/javascript/search_suggestion_autocomplete.js
Другая ошибка
Шрифт https://site.com/catalog/view/theme/unishop/fonts/ubuntu-bold.woff2
Другая ошибка
Шрифт https://site.com/catalog/view/theme/unishop/fonts/ubuntu-medium.woff2
Другая ошибка
Шрифт https://site.com/catalog/view/theme/unishop/fonts/ubuntu-regular.woff2
Другая ошибка
Изображение https://site.com/catalog/view/theme/unishop/image/footer.png
Другая ошибка
Stylesheet https://site.com/catalog/view/theme/unishop/stylesheet/font-awesome.min.css
и т.д.