Robots txt.

[Den2210]

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Host: sprintek-nnov.ru

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Clean-param: tracking

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

Помогите кто знает,как правильно составить robots txt.

Это роботс с моего сайта, главную страницу не выдаёт в поисковике.

Что нужно поправить?

[Гість brk]

С чего Вы так решили?

http://yandex.ru/yan...ek-nnov.ru&lr=2

[lyb]

Я бы сделал так:

1. В файле /catalog/controller/feed/google_sitemap.php нужно добавить блок выделенный чёрточками

<?php
class ControllerFeedGoogleSitemap extends Controller {
    public function index() {
		    if ($this->config->get('google_sitemap_status')) {
				    $output  = '<?xml version="1.0" encoding="UTF-8"?>';
				    $output .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// ------------- начало --------------------
		    $output .= '<url>';
		    $output .= '<loc>' . HTTP_SERVER . '</loc>';
		    $output .= '<changefreq>weekly</changefreq>';
		    $output .= '<priority>1.0</priority>';
		    $output .= '</url>';
// --------------- конец ------------------

				    $this->load->model('catalog/product');
				    $products = $this->model_catalog_product->getProducts();

2. В файле robots.txt нужно заменить

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

на

Sitemap: http://sprintek-nnov.ru/index.php?route=feed/google_sitemap

3. Подождать пока проиндексируют поисковики

[Challenger]

Прошу прощения что влезаю в чужую тему, но проблема такая же: гугл нормально индексирует сайт и страницы, а яндекс проиндексировал только главную. Версия ocstore 1.5.4.1.

Код robots.txt

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /image
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /image
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Код .htaccess

# 1.To use URL Alias you need to be running apache with mod_rewrite enabled.
# 2. In your opencart directory rename htaccess.txt to .htaccess.
# For any support issues please visit: http://www.opencart.com
Options +SymLinksIfOwnerMatch
# Prevent Directoy listing
Options -Indexes
# Prevent Direct Access to files
<FilesMatch "\.(tpl|ini|log)">
Order deny,allow
Deny from all
</FilesMatch>
# SEO URL Settings
RewriteEngine On
# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/
RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
### Additional Settings that may need to be enabled for some servers
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.
# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off
# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off
# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M
# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M
# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200
# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200
# 7. disable open_basedir limitations
# php_admin_value open_basedir none

Возможно проблема в том что я слишком тороплюсь, в Яндекс вебмастер написано что индексация сайта может длиться 2 недели, но уже неделя прошла, гугл "съел" сайтмап на второй день а с яндексом тупнячок. Подскажите, может у меня что-то где-то неправильно ?

[michaelgreen]

Яша есть Яша. Ждите.

Хотя, существует способ заставить его проиндексировать сайт раньше.

Заблокируйте страницу и удалите её из Яндекс.Вебмастер.

[Challenger]

Видимо придется ждать конца марта а там уже по результатам. :-)

[Einshtein]

последний сайт который я отправлял на индексацию - проиндексировался яндексом через месяц, до этого в выдаче висела только главная страница...я за это время так перенервничал, что зазубрил наизусть весь robots.txt

Гугл раздуплился раньше - всего за пару дней

[Den2210]

Я бы сделал так:

1. В файле /catalog/controller/feed/google_sitemap.php нужно добавить блок выделенный чёрточками

<?php
class ControllerFeedGoogleSitemap extends Controller {
	public function index() {
			if ($this->config->get('google_sitemap_status')) {
					$output  = '<?xml version="1.0" encoding="UTF-8"?>';
					$output .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// ------------- начало --------------------
			$output .= '<url>';
			$output .= '<loc>' . HTTP_SERVER . '</loc>';
			$output .= '<changefreq>weekly</changefreq>';
			$output .= '<priority>1.0</priority>';
			$output .= '</url>';
// --------------- конец ------------------

					$this->load->model('catalog/product');
					$products = $this->model_catalog_product->getProducts();

2. В файле robots.txt нужно заменить

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

на

Sitemap: http://sprintek-nnov.../google_sitemap

3. Подождать пока проиндексируют поисковики

Что изменит данное изменение в каталоге?

[Den2210]

С чего Вы так решили?

http://yandex.ru/yan...ek-nnov.ru&lr=2

Нужно чтобы в поисковике небыло ссылок на всякие ненужные страницы, кроме главной и страниц с товарами, и акциями

[Zeppelin]

Что изменит данное изменение в каталоге?

данное изменение подскажет поисковикам, что нужно проверять сайт каждую неделю.

<changefreq>weekly</changefreq>

- частота обновления информации на сайте - каждую неделю :)

[Den2210]

данное изменение подскажет поисковикам, что нужно проверять сайт каждую неделю.

<changefreq>weekly</changefreq>

- частота обновления информации на сайте - каждую неделю :)

Спасибо! :oops:

[lyb]

Вы писали, что "главную страницу не выдаёт в поисковике"

1 пункт - добавит главную страницу в sitemap (там её сейчас нет)

2 пункт - в robots.txt у вас сейчас ссылка на "Карту сайта", а нужно поменять её на sitemap (чтобы поисковики её узнали)

[tgorod]

Подскажите в чем проблема с роботс?Яндекс считает главной страницей -страницу с контактными данными при точном запросе http://экомаркет24.рф в поисковик.

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking