Robots txt.

Den2210 · 13 березня 2013

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Host: sprintek-nnov.ru

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Clean-param: tracking

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

Помогите кто знает,как правильно составить robots txt.

Это роботс с моего сайта, главную страницу не выдаёт в поисковике.

Что нужно поправить?

13 березня 2013

С чего Вы так решили?

http://yandex.ru/yan...ek-nnov.ru&lr=2

lyb · 14 березня 2013

Я бы сделал так:

1. В файле /catalog/controller/feed/google_sitemap.php нужно добавить блок выделенный чёрточками

<?php
class ControllerFeedGoogleSitemap extends Controller {
    public function index() {
		    if ($this->config->get('google_sitemap_status')) {
				    $output  = '<?xml version="1.0" encoding="UTF-8"?>';
				    $output .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// ------------- начало --------------------
		    $output .= '<url>';
		    $output .= '<loc>' . HTTP_SERVER . '</loc>';
		    $output .= '<changefreq>weekly</changefreq>';
		    $output .= '<priority>1.0</priority>';
		    $output .= '</url>';
// --------------- конец ------------------

				    $this->load->model('catalog/product');
				    $products = $this->model_catalog_product->getProducts();

2. В файле robots.txt нужно заменить

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

на

Sitemap: http://sprintek-nnov.ru/index.php?route=feed/google_sitemap

3. Подождать пока проиндексируют поисковики

Challenger · 15 березня 2013

Прошу прощения что влезаю в чужую тему, но проблема такая же: гугл нормально индексирует сайт и страницы, а яндекс проиндексировал только главную. Версия ocstore 1.5.4.1.

Код robots.txt

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /image
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /image
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Код .htaccess

# 1.To use URL Alias you need to be running apache with mod_rewrite enabled.
# 2. In your opencart directory rename htaccess.txt to .htaccess.
# For any support issues please visit: http://www.opencart.com
Options +SymLinksIfOwnerMatch
# Prevent Directoy listing
Options -Indexes
# Prevent Direct Access to files
<FilesMatch "\.(tpl|ini|log)">
Order deny,allow
Deny from all
</FilesMatch>
# SEO URL Settings
RewriteEngine On
# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/
RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
### Additional Settings that may need to be enabled for some servers
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.
# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off
# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off
# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M
# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M
# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200
# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200
# 7. disable open_basedir limitations
# php_admin_value open_basedir none

Возможно проблема в том что я слишком тороплюсь, в Яндекс вебмастер написано что индексация сайта может длиться 2 недели, но уже неделя прошла, гугл "съел" сайтмап на второй день а с яндексом тупнячок. Подскажите, может у меня что-то где-то неправильно ?

michaelgreen · 15 березня 2013

Яша есть Яша. Ждите.

Хотя, существует способ заставить его проиндексировать сайт раньше.

Заблокируйте страницу и удалите её из Яндекс.Вебмастер.

Challenger · 15 березня 2013

Видимо придется ждать конца марта а там уже по результатам. :-)

Einshtein · 15 березня 2013

последний сайт который я отправлял на индексацию - проиндексировался яндексом через месяц, до этого в выдаче висела только главная страница...я за это время так перенервничал, что зазубрил наизусть весь robots.txt

Гугл раздуплился раньше - всего за пару дней

Den2210 · 19 березня 2013

Я бы сделал так:

1. В файле /catalog/controller/feed/google_sitemap.php нужно добавить блок выделенный чёрточками
<?php
class ControllerFeedGoogleSitemap extends Controller {
	public function index() {
			if ($this->config->get('google_sitemap_status')) {
					$output  = '<?xml version="1.0" encoding="UTF-8"?>';
					$output .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// ------------- начало --------------------
			$output .= '<url>';
			$output .= '<loc>' . HTTP_SERVER . '</loc>';
			$output .= '<changefreq>weekly</changefreq>';
			$output .= '<priority>1.0</priority>';
			$output .= '</url>';
// --------------- конец ------------------

					$this->load->model('catalog/product');
					$products = $this->model_catalog_product->getProducts();
2. В файле robots.txt нужно заменить

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

на

Sitemap: http://sprintek-nnov.../google_sitemap

3. Подождать пока проиндексируют поисковики

Что изменит данное изменение в каталоге?

Den2210 · 19 березня 2013

С чего Вы так решили?

http://yandex.ru/yan...ek-nnov.ru&lr=2

Нужно чтобы в поисковике небыло ссылок на всякие ненужные страницы, кроме главной и страниц с товарами, и акциями

Zeppelin · 19 березня 2013

Что изменит данное изменение в каталоге?

данное изменение подскажет поисковикам, что нужно проверять сайт каждую неделю.

<changefreq>weekly</changefreq>

- частота обновления информации на сайте - каждую неделю :)

Den2210 · 19 березня 2013

данное изменение подскажет поисковикам, что нужно проверять сайт каждую неделю.
<changefreq>weekly</changefreq>
- частота обновления информации на сайте - каждую неделю :)

Спасибо! :oops:

lyb · 21 березня 2013

Вы писали, что "главную страницу не выдаёт в поисковике"

1 пункт - добавит главную страницу в sitemap (там её сейчас нет)

2 пункт - в robots.txt у вас сейчас ссылка на "Карту сайта", а нужно поменять её на sitemap (чтобы поисковики её узнали)

tgorod · 21 січня 2014

Подскажите в чем проблема с роботс?Яндекс считает главной страницей -страницу с контактными данными при точном запросе http://экомаркет24.рф в поисковик.

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Вхід

Robots txt.

Recommended Posts

Надіслати

Поділитися на інших сайтах

Гість brk

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Надіслати

Поділитися на інших сайтах

Створіть аккаунт або увійдіть для коментування

Створити обліковий запис

Вхід

Зараз на сторінці 0 користувачів

Покупцям

Розробникам

Корисна інформація

Останні розширення

Important Information