Seiten in Magento auf noindex und nofollow setzen
Der Ausschluss von der Indexierung in Suchmaschinen wie Google ist für manche Unterseiten ratsam und für Verzeichnisse, die von Magento angelegt werden, sogar notwendig. Die einfachste Lösung ist die Nicht-Indexierung über die CMS Seiten und die Robots.txt Datei. Wir zeigen wie und welche Seiten ausgeschlossen (noindex / nofollow) werden sollten.
01 Noindex und Nofollow zu CMS Seiten hinzufügen
Leider gibt es keinen integrierten Befehl in Magento 1 oder 2, der das Einstellen der Indexierung regelt. Zwar gibt es sehr viele Extensions und Plugins doch auf Grund der einfachen Einbindung raten wir definitiv davon ab.
Um die Seiteneigenschaften zu editieren gehe auf CMS → Seiten und öffne dort die gewünschte Seite.
Klicke dort auf den Reiter Design. In dem Feld XML für Layoutänderung kannst du nun den unten stehenden Code einfügen.
<reference name="head">
<action method="setRobots">
<value>NOINDEX,NOFOLLOW</value>
</action>
</reference>
Dieses Code-Snippet geniert den Befehl, dass diese nicht indexiert oder gefolgt werden darf. Natürlich kannst du den Befehl einfach anpassen, zum Beispiel mit NOINDEX, FOLLOW.
Der Befehl und der Weg dort hin ist in Magento 1 und Magento 2 identisch.
02 Welche Seiten sollten aus dem Index (nofollow and noindex) ausgeschlossen werden?
Wir empfehlen unseren Kunden Seiten mit rechtlichen Informationen, wie zum Beispiel AGB, Impressum, Datenschutzerklärung, Widerrufsbelehrung etc. nicht zu indexieren.
Aus zwei Blickwinkeln, bringt dies Vorteile:
→ Das Crawlingbudget von Google wird nicht für unnötige Seiten aufgebraucht
→ Abmahnanwälte finden eure Seiten nicht automatisch über Google
03 Magento Robots.txt
Nachdem im Jahr 2011 Google das Panda-Update initialisierte wurde viel unnötiger Content aus der Suchmaschine verbannt, da man in Kalifornien festgestellt hat, dass überlaufene und unnötige Inhalte zu zwei Problemen führen:
→ Nutzer finden nicht das was Sie suchen – somit wird die Erwartungshaltung getrübt.
→ Durch zu viele crawls auf einer Seite mit unnötigen Inhalten steigt die dafür benötigte Rechenleistung, was extrem viel Energie benötigt und somit überflüssige Kosten auf Seiten von Google verursacht.
Wenn man also Seiten, die entweder doppelten Content produzieren oder zu keinem echten Nutzererlebnis führen indexieren lässt, hat dies automatisch negative Auswirkung auf die gesamte Domain. Magento selbst produziert von Haus aus unnötige Inhalte und Verzeichnisse, die aus dem oberen Blickpunkt nicht indexiert werden sollten. Das Thema Sicherheit geht ebenfalls damit einher. Seiten oder Verzeichnisse wie der Checkout von Magento können Hackern die Tür öffnen und haben somit nichts im Index von Suchmaschinen verloren. Wir schließen aus diesen Gründen Benutzeraccounts, Checkouts, Filter und vieles mehr im Vorfeld aus. Unsere eigene Robots.txt für Magento sieht wie folgt aus:
# Crawlers Setup User-agent: * # Directories Disallow: /app/ Disallow: /cgi-bin/ Disallow: /downloader/ Disallow: /includes/ Disallow: /lib/ Disallow: /pkginfo/ Disallow: /report/ Disallow: /shell/ Disallow: /var/ ## Do not crawl sub category pages that are sorted or filtered. Disallow: /*?dir* Disallow: /*?dir=desc Disallow: /*?dir=asc Disallow: /*?limit=all Disallow: /*?mode* Disallow: /*?___from_store=* Disallow: /*?cat=* Disallow: /*?q=* Disallow: /*?min* Disallow: /*?max* Disallow: /*?manufacturer_list* Disallow: /*?tx_indexedsearch Disallow: /?___SID=S&___from_store=de/ Disallow: /javascript void:(0)/ Disallow: /javascript%20void:(0)/ Disallow: /?limit=15 Disallow: /de/ajax Disallow: /en/ajax Disallow: /ajax Disallow: /?acc= Disallow: /*ajax/index/options/product_id/ ## Do not crawl links with session IDs Disallow: /*?SID= Disallow: /?___SID=Uoption_id/ Disallow: /?___SID=U ## Do not crawl Magento admin page Noindex: /shop/admin/ # Paths (clean URLs) Disallow: /index.php/ Disallow: /de/home/ Disallow: /de/home Disallow: /en/home/ Disallow: /en/home Disallow: /catalog/product_compare/ Disallow: /catalog/category/view/ Disallow: /catalog/product/view/ Disallow: /catalogsearch/ ## Do not crawl checkout and user account pages Disallow: /checkout/ Disallow: /de/checkout/ Disallow: /en/checkout/ Disallow: /onestepcheckout/ Disallow: /de/onestepcheckout/ Disallow: /en/onestepcheckout/ Disallow: /customer/ Disallow: /de/customer/ Disallow: /en/customer/ Disallow: /customer/account/ Disallow: /de/customer/account/ Disallow: /en/customer/account/ Disallow: /customer/account/login/ Disallow: /de/customer/account/login/ Disallow: /en/customer/account/login/ Disallow: /de/control/ Disallow: /en/control/ Disallow: /control/ Disallow: /de/customize/ Disallow: /en/customize/ Disallow: /customize/ Disallow: /de/newsletter/ Disallow: /en/newsletter/ Disallow: /newsletter/ Disallow: /de/poll/ Disallow: /en/poll/ Disallow: /poll/ Disallow: /de/review/ Disallow: /en/review/ Disallow: /review/ Disallow: /de/sendfriend/ Disallow: /en/sendfriend/ Disallow: /sendfriend/ Disallow: /de/tag/ Disallow: /en/tag/ Disallow: /tag/ Disallow: /de/wishlist/ Disallow: /en/wishlist/ Disallow: /wishlist/ Disallow: /de/catalog/product/gallery/ Disallow: /en/catalog/product/gallery/ Disallow: /catalog/product/gallery/ Disallow: /en/catalog/product/upload/option_id/ Disallow: /de/catalog/product/upload/option_id/ Disallow: /catalog/product/upload/option_id/ Disallow: /en/affiliates/account/refreshcaptcha/ Disallow: /de/affiliates/account/refreshcaptcha/ Disallow: /de/affiliates/account/imagecaptcha/ Disallow: /en/affiliates/account/imagecaptcha/ Disallow: /en/affiliates/account/register/ Disallow: /de/affiliates/account/register/ # Misc. files you don’t want search engines to crawl Disallow: /cron.php Disallow: /cron.sh Disallow: /composer.json Disallow: /LICENSE.html Disallow: /LICENSE.txt Disallow: /LICENSE_AFL.txt Disallow: /STATUS.txt Disallow: /mage Disallow: /modman Disallow: /n98-magerun.phar Disallow: /scheduler_cron.sh Disallow: /*.php$ Disallow: /de/loginwithpaypal/ Disallow: /en/loginwithpaypal/
Wenn dein Shop nur eine Sprache unterstützt kannst du natürlich das /de/ und /en/ einfach entfernen. Die Punkte affiliate gehören häufig zu einem Plugin, welches wir für den Einsatz Affiliate Marketing nutzen. Dieses kann natürlich entfernt werden.
Wenn du Hilfe bei der Einbindung des Codes oder technische Beratung in Sachen SEO und SEA benötigst kannst du uns gerne unter Kontakt schreiben.
