Wie man Seiten in Magento 1 und 2 auf noindex und nofollow setzt

Der Ausschluss von der Indexierung in Suchmaschinen wie Google ist für manche Unterseiten ratsam und für Verzeichnisse, die von Magento angelegt werden, sogar notwendig. Die einfachste Lösung ist die Nicht-Indexierung über die CMS Seiten und die Robots.txt Datei. Wir zeigen wie und welche Seiten ausgeschlossen (noindex / nofollow) werden sollten.

1. Noindex und Nofollow zu CMS Seiten hinzufügen

Leider gibt es keinen integrierten Befehl in Magento 1 oder 2, der das Einstellen der Indexierung regelt. Zwar gibt es sehr viele Extensions und Plugins doch auf Grund der einfachen Einbindung raten wir definitiv davon ab.

Um die Seiteneigenschaften zu editieren gehe auf CMSSeiten und öffne dort die gewünschte Seite.

Klicke dort auf den Reiter Design. In dem Feld XML für Layoutänderung kannst du nun den unten stehenden Code einfügen.

noindex und nofollow in CMS Seiten hinzufügen Magento

<reference name="head">
    <action method="setRobots">
        <value>NOINDEX,NOFOLLOW</value>
    </action>
</reference>

Dieses Code-Snippet geniert den Befehl, dass diese nicht indexiert oder gefolgt werden darf. Natürlich kannst du den Befehl einfach anpassen, zum Beispiel mit NOINDEX, FOLLOW.

Der Befehl und der Weg dort hin ist in Magento 1 und Magento 2 identisch.

2. Welche Seiten sollten aus dem Index ausgeschlossen werden?

Wir empfehlen unseren Kunden Seiten mit rechtlichen Informationen, wie zum Beispiel AGB, Impressum, Datenschutzerklärung, Widerrufsbelehrung etc. nicht zu indexieren.
Aus zwei Blickwinkeln, bringt dies Vorteile:
→ Das Crawlingbudget von Google wird nicht für unnötige Seiten aufgebraucht
→ Abmahnanwälte finden eure Seiten nicht automatisch über Google

3. Magento Robots.txt

Nachdem im Jahr 2011 Google das Panda-Update initialisierte wurde viel unnötiger Content aus der Suchmaschine verbannt, da man in Kalifornien festgestellt hat, dass überlaufene und unnötige Inhalte zu zwei Problemen führen:
→ Nutzer finden nicht das was Sie suchen – somit wird die Erwartungshaltung getrübt.
→ Durch zu viele crawls auf einer Seite mit unnötigen Inhalten steigt die dafür benötigte Rechenleistung, was extrem viel Energie benötigt und somit überflüssige Kosten auf Seiten von Google verursacht.

Wenn man also Seiten, die entweder doppelten Content produzieren oder zu keinem echten Nutzererlebnis führen indexieren lässt, hat dies automatisch negative Auswirkung auf die gesamte Domain.

Magento selbst produziert von Haus aus unnötige Inhalte und Verzeichnisse, die aus dem oberen Blickpunkt nicht indexiert werden sollten. Das Thema Sicherheit geht ebenfalls damit einher. Seiten oder Verzeichnisse wie der Checkout von Magento können Hackern die Tür öffnen und haben somit nichts im Index von Suchmaschinen verloren. Wir schließen aus diesen Gründen Benutzeraccounts, Checkouts, Filter und vieles mehr im Vorfeld aus.

Unsere eigene Robots.txt für Magento sieht wie folgt aus:

# Crawlers Setup
User-agent: *

# Directories
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /includes/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /shell/
Disallow: /var/

## Do not crawl sub category pages that are sorted or filtered.
Disallow: /*?dir*
Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /*?mode*
Disallow: /*?___from_store=*
Disallow: /*?cat=*
Disallow: /*?q=*
Disallow: /*?min*
Disallow: /*?max*
Disallow: /*?manufacturer_list*
Disallow: /*?tx_indexedsearch
Disallow: /?___SID=S&___from_store=de/
Disallow: /javascript void:(0)/
Disallow: /javascript%20void:(0)/
Disallow: /?limit=15
Disallow: /de/ajax
Disallow: /en/ajax
Disallow: /ajax
Disallow: /?acc=
Disallow: /*ajax/index/options/product_id/

## Do not crawl links with session IDs
Disallow: /*?SID=
Disallow: /?___SID=Uoption_id/
Disallow: /?___SID=U

## Do not crawl Magento admin page
Noindex: /shop/admin/

# Paths (clean URLs)
Disallow: /index.php/
Disallow: /de/home/
Disallow: /de/home
Disallow: /en/home/
Disallow: /en/home
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/

## Do not crawl checkout and user account pages 
Disallow: /checkout/
Disallow: /de/checkout/
Disallow: /en/checkout/
Disallow: /onestepcheckout/
Disallow: /de/onestepcheckout/
Disallow: /en/onestepcheckout/
Disallow: /customer/
Disallow: /de/customer/
Disallow: /en/customer/
Disallow: /customer/account/
Disallow: /de/customer/account/
Disallow: /en/customer/account/
Disallow: /customer/account/login/
Disallow: /de/customer/account/login/
Disallow: /en/customer/account/login/

Disallow: /de/control/
Disallow: /en/control/
Disallow: /control/

Disallow: /de/customize/
Disallow: /en/customize/
Disallow: /customize/

Disallow: /de/newsletter/
Disallow: /en/newsletter/
Disallow: /newsletter/

Disallow: /de/poll/
Disallow: /en/poll/
Disallow: /poll/

Disallow: /de/review/
Disallow: /en/review/
Disallow: /review/

Disallow: /de/sendfriend/
Disallow: /en/sendfriend/
Disallow: /sendfriend/

Disallow: /de/tag/
Disallow: /en/tag/
Disallow: /tag/

Disallow: /de/wishlist/
Disallow: /en/wishlist/
Disallow: /wishlist/

Disallow: /de/catalog/product/gallery/
Disallow: /en/catalog/product/gallery/
Disallow: /catalog/product/gallery/

Disallow: /en/catalog/product/upload/option_id/
Disallow: /de/catalog/product/upload/option_id/
Disallow: /catalog/product/upload/option_id/

Disallow: /en/affiliates/account/refreshcaptcha/‎
Disallow: /de/affiliates/account/refreshcaptcha/‎
Disallow: /de/affiliates/account/imagecaptcha/
Disallow: /en/affiliates/account/imagecaptcha/
Disallow: /en/affiliates/account/register/
Disallow: /de/affiliates/account/register/

# Misc. files you don’t want search engines to crawl
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /composer.json
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt
Disallow: /mage
Disallow: /modman
Disallow: /n98-magerun.phar
Disallow: /scheduler_cron.sh
Disallow: /*.php$
Disallow: /de/loginwithpaypal/
Disallow: /en/loginwithpaypal/

Wenn dein Shop nur eine Sprache unterstützt kannst du natürlich das /de/ und /en/ einfach entfernen.
Die Punkte affiliate gehören häufig zu einem Plugin, welches wir für den Einsatz Affiliate Marketing nutzen. Dieses kann natürlich entfernt werden.

Wenn du Hilfe bei der Einbindung des Codes oder technische Beratung in Sachen SEO und SEA benötigst kannst du uns gerne unter Kontakt schreiben.