Jump to content
Sign in to follow this  
Den2210

Robots txt.

Recommended Posts

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Host: sprintek-nnov.ru

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Clean-param: tracking

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

Помогите кто знает,как правильно составить robots txt.

Это роботс с моего сайта, главную страницу не выдаёт в поисковике.

Что нужно поправить?

Share this post


Link to post
Share on other sites

Я бы сделал так:

1. В файле /catalog/controller/feed/google_sitemap.php нужно добавить блок выделенный чёрточками

<?php
class ControllerFeedGoogleSitemap extends Controller {
    public function index() {
		    if ($this->config->get('google_sitemap_status')) {
				    $output  = '<?xml version="1.0" encoding="UTF-8"?>';
				    $output .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// ------------- начало --------------------
		    $output .= '<url>';
		    $output .= '<loc>' . HTTP_SERVER . '</loc>';
		    $output .= '<changefreq>weekly</changefreq>';
		    $output .= '<priority>1.0</priority>';
		    $output .= '</url>';
// --------------- конец ------------------

				    $this->load->model('catalog/product');
				    $products = $this->model_catalog_product->getProducts();

2. В файле robots.txt нужно заменить

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

на

Sitemap: http://sprintek-nnov.ru/index.php?route=feed/google_sitemap

3. Подождать пока проиндексируют поисковики

Share this post


Link to post
Share on other sites

Прошу прощения что влезаю в чужую тему, но проблема такая же: гугл нормально индексирует сайт и страницы, а яндекс проиндексировал только главную. Версия ocstore 1.5.4.1.

Код robots.txt

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /image
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /image
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Код .htaccess

# 1.To use URL Alias you need to be running apache with mod_rewrite enabled.
# 2. In your opencart directory rename htaccess.txt to .htaccess.
# For any support issues please visit: http://www.opencart.com
Options +SymLinksIfOwnerMatch
# Prevent Directoy listing
Options -Indexes
# Prevent Direct Access to files
<FilesMatch "\.(tpl|ini|log)">
Order deny,allow
Deny from all
</FilesMatch>
# SEO URL Settings
RewriteEngine On
# If your opencart installation does not run on the main web folder make sure you folder it does run in ie. / becomes /shop/
RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
### Additional Settings that may need to be enabled for some servers
### Uncomment the commands by removing the # sign in front of it.
### If you get an "Internal Server Error 500" after enabling any of the following settings, restore the # as this means your host doesn't allow that.
# 1. If your cart only allows you to add one item at a time, it is possible register_globals is on. This may work to disable it:
# php_flag register_globals off
# 2. If your cart has magic quotes enabled, This may work to disable it:
# php_flag magic_quotes_gpc Off
# 3. Set max upload file size. Most hosts will limit this and not allow it to be overridden but you can try
# php_value upload_max_filesize 999M
# 4. set max post size. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value post_max_size 999M
# 5. set max time script can take. uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_execution_time 200
# 6. set max time for input to be recieved. Uncomment this line if you have a lot of product options or are getting errors where forms are not saving all fields
# php_value max_input_time 200
# 7. disable open_basedir limitations
# php_admin_value open_basedir none

Возможно проблема в том что я слишком тороплюсь, в Яндекс вебмастер написано что индексация сайта может длиться 2 недели, но уже неделя прошла, гугл "съел" сайтмап на второй день а с яндексом тупнячок. Подскажите, может у меня что-то где-то неправильно ?

Share this post


Link to post
Share on other sites

Яша есть Яша. Ждите.

Хотя, существует способ заставить его проиндексировать сайт раньше.

Заблокируйте страницу и удалите её из Яндекс.Вебмастер.

Share this post


Link to post
Share on other sites

Видимо придется ждать конца марта а там уже по результатам. :-)

Share this post


Link to post
Share on other sites

последний сайт который я отправлял на индексацию - проиндексировался яндексом через месяц, до этого в выдаче висела только главная страница...я за это время так перенервничал, что зазубрил наизусть весь robots.txt

Гугл раздуплился раньше - всего за пару дней

Share this post


Link to post
Share on other sites

Я бы сделал так:

1. В файле /catalog/controller/feed/google_sitemap.php нужно добавить блок выделенный чёрточками

<?php
class ControllerFeedGoogleSitemap extends Controller {
	public function index() {
			if ($this->config->get('google_sitemap_status')) {
					$output  = '<?xml version="1.0" encoding="UTF-8"?>';
					$output .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// ------------- начало --------------------
			$output .= '<url>';
			$output .= '<loc>' . HTTP_SERVER . '</loc>';
			$output .= '<changefreq>weekly</changefreq>';
			$output .= '<priority>1.0</priority>';
			$output .= '</url>';
// --------------- конец ------------------

					$this->load->model('catalog/product');
					$products = $this->model_catalog_product->getProducts();

2. В файле robots.txt нужно заменить

Sitemap: sprintek-nnov.ru/index.php?route=information/sitemap

на

Sitemap: http://sprintek-nnov.../google_sitemap

3. Подождать пока проиндексируют поисковики

Что изменит данное изменение в каталоге?

Share this post


Link to post
Share on other sites

С чего Вы так решили?

http://yandex.ru/yan...ek-nnov.ru&lr=2

Нужно чтобы в поисковике небыло ссылок на всякие ненужные страницы, кроме главной и страниц с товарами, и акциями

Share this post


Link to post
Share on other sites
Что изменит данное изменение в каталоге?

данное изменение подскажет поисковикам, что нужно проверять сайт каждую неделю.

<changefreq>weekly</changefreq>

- частота обновления информации на сайте - каждую неделю :)

Share this post


Link to post
Share on other sites

данное изменение подскажет поисковикам, что нужно проверять сайт каждую неделю.

<changefreq>weekly</changefreq>

- частота обновления информации на сайте - каждую неделю :)

Спасибо! :oops:

Share this post


Link to post
Share on other sites

Вы писали, что "главную страницу не выдаёт в поисковике"

1 пункт - добавит главную страницу в sitemap (там её сейчас нет)

2 пункт - в robots.txt у вас сейчас ссылка на "Карту сайта", а нужно поменять её на sitemap (чтобы поисковики её узнали)

Share this post


Link to post
Share on other sites

Подскажите в чем проблема с роботс?Яндекс считает главной страницей -страницу с контактными данными при точном запросе http://экомаркет24.рф в поисковик.

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
You are posting as a guest. If you have an account, please sign in.
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×

Important Information

On our site, cookies are used and personal data is processed to improve the user interface. To find out what and what personal data we are processing, please go to the link. If you click "I agree," it means that you understand and accept all the conditions specified in this Privacy Notice.