Den2210

Robots txt.

Рекомендуемые сообщения

Den2210    15

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Host: sprintek-nnov.ru

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Clean-param: tracking

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

Помогите кто знает,как правильно составить robots txt.

Это роботс с моего сайта, главную страницу не выдаёт в поисковике.

Что нужно поправить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
lyb    1

Я бы сделал так:

1. В файле /catalog/controller/feed/google_sitemap.php нужно добавить блок выделенный чёрточками

<?php
class ControllerFeedGoogleSitemap extends Controller {
    public function index() {
		    if ($this->config->get('google_sitemap_status')) {
				    $output  = '<?xml version="1.0" encoding="UTF-8"?>';
				    $output .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// ------------- начало --------------------
		    $output .= '<url>';
		    $output .= '<loc>' . HTTP_SERVER . '</loc>';
		    $output .= '<changefreq>weekly</changefreq>';
		    $output .= '<priority>1.0</priority>';
		    $output .= '</url>';
// --------------- конец ------------------

				    $this->load->model('catalog/product');
				    $products = $this->model_catalog_product->getProducts();

2. В файле robots.txt нужно заменить

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

на

Sitemap: http://sprintek-nnov.ru/index.php?route=feed/google_sitemap

3. Подождать пока проиндексируют поисковики

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Challenger    1

Прошу прощения что влезаю в чужую тему, но проблема такая же: гугл нормально индексирует сайт и страницы, а яндекс проиндексировал только главную. Версия ocstore 1.5.4.1.

Код robots.txt

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /image
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /image
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Код .htaccess

# 1.To use URL Alias you need to be running apache with mod_rewrite enabled.
# 2. In your opencart directory rename htaccess.txt to .htaccess.
# For any support issues please visit: http://www.opencart.com
Options +SymLinksIfOwnerMatch
# Prevent Directoy listing
Options -Indexes
# Prevent Direct Access to files
<FilesMatch "\.(tpl|ini|log)">
Order deny,allow
Deny from all
</FilesMatch>
# SEO URL Settings
RewriteEngine On
# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/
RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
### Additional Settings that may need to be enabled for some servers
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.
# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off
# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off
# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M
# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M
# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200
# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200
# 7. disable open_basedir limitations
# php_admin_value open_basedir none

Возможно проблема в том что я слишком тороплюсь, в Яндекс вебмастер написано что индексация сайта может длиться 2 недели, но уже неделя прошла, гугл "съел" сайтмап на второй день а с яндексом тупнячок. Подскажите, может у меня что-то где-то неправильно ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Яша есть Яша. Ждите.

Хотя, существует способ заставить его проиндексировать сайт раньше.

Заблокируйте страницу и удалите её из Яндекс.Вебмастер.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Challenger    1

Видимо придется ждать конца марта а там уже по результатам. :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Einshtein    636

последний сайт который я отправлял на индексацию - проиндексировался яндексом через месяц, до этого в выдаче висела только главная страница...я за это время так перенервничал, что зазубрил наизусть весь robots.txt

Гугл раздуплился раньше - всего за пару дней

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Den2210    15

Я бы сделал так:

1. В файле /catalog/controller/feed/google_sitemap.php нужно добавить блок выделенный чёрточками

<?php
class ControllerFeedGoogleSitemap extends Controller {
	public function index() {
			if ($this->config->get('google_sitemap_status')) {
					$output  = '<?xml version="1.0" encoding="UTF-8"?>';
					$output .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// ------------- начало --------------------
			$output .= '<url>';
			$output .= '<loc>' . HTTP_SERVER . '</loc>';
			$output .= '<changefreq>weekly</changefreq>';
			$output .= '<priority>1.0</priority>';
			$output .= '</url>';
// --------------- конец ------------------

					$this->load->model('catalog/product');
					$products = $this->model_catalog_product->getProducts();

2. В файле robots.txt нужно заменить

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

на

Sitemap: http://sprintek-nnov.../google_sitemap

3. Подождать пока проиндексируют поисковики

Что изменит данное изменение в каталоге?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Den2210    15

С чего Вы так решили?

http://yandex.ru/yan...ek-nnov.ru&lr=2

Нужно чтобы в поисковике небыло ссылок на всякие ненужные страницы, кроме главной и страниц с товарами, и акциями

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zeppelin    82
Что изменит данное изменение в каталоге?

данное изменение подскажет поисковикам, что нужно проверять сайт каждую неделю.

<changefreq>weekly</changefreq>

- частота обновления информации на сайте - каждую неделю :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Den2210    15

данное изменение подскажет поисковикам, что нужно проверять сайт каждую неделю.

<changefreq>weekly</changefreq>

- частота обновления информации на сайте - каждую неделю :)

Спасибо! :oops:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
lyb    1

Вы писали, что "главную страницу не выдаёт в поисковике"

1 пункт - добавит главную страницу в sitemap (там её сейчас нет)

2 пункт - в robots.txt у вас сейчас ссылка на "Карту сайта", а нужно поменять её на sitemap (чтобы поисковики её узнали)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
tgorod    1

Подскажите в чем проблема с роботс?Яндекс считает главной страницей -страницу с контактными данными при точном запросе http://экомаркет24.рф в поисковик.

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти


  • Последние посетители   0 пользователей онлайн

    Ни одного зарегистрированного пользователя не просматривает данную страницу