{"id":237,"date":"2017-02-16T07:54:13","date_gmt":"2017-02-16T06:54:13","guid":{"rendered":"http:\/\/uk-hl.de\/SEO\/?p=237"},"modified":"2017-02-26T21:08:47","modified_gmt":"2017-02-26T20:08:47","slug":"robots-txt","status":"publish","type":"post","link":"https:\/\/uk-hl.de\/SEO\/robots-txt\/","title":{"rendered":"robots.txt"},"content":{"rendered":"<p>Die robots.txt ist eine Art Steuerdatei, mit deren Hilfe man den Suchmaschinen einige Informationen mitgeben kann, bevor diese damit beginnen, die Seite zu durchsuchen und zu indizieren.<br \/>\nMan kann in der robots.txt festlegen, welche Webseiten der Website nicht durchsucht werden sollen, weil sie eventuell doppelten Content enthalten oder aus anderen Gr\u00fcnden nicht bei einer Suche gefunden werden sollen. Auf das Ranking selber hat die Existenz und die Gestaltung der robots.txt keinen Einfluss.<\/p>\n<p>Die Minmalauspr\u00e4gung der robots.txt sieht so aus:<\/p>\n<pre><em>User-agent: *,<\/em>\r\n\r\n<em>Allow \/*,<\/em>\r\n\r\n<em>Sitemap: http:\/\/www.....\/sitemap.xml<\/em><\/pre>\n<p><a href=\"https:\/\/wiki.selfhtml.org\/wiki\/Grundlagen\/Robots.txt\" target=\"_blank\">https:\/\/wiki.selfhtml.org\/wiki\/Grundlagen\/Robots.txt<\/a><\/p>\n<p><strong>\u00dcbung<\/strong><\/p>\n<ul>\n<li>robots.txt anlegen<\/li>\n<li>User-Agent festlegen<\/li>\n<li>Einzelne Dateien oder Bereiche von der Suche ausschlie\u00dfen<\/li>\n<li>Wildcards verwenden (Beispiele: Disallow \/*.pdf, Allow \/images\/*)<\/li>\n<li>Verweis auf Sitemap einbauen (User-agent: *&#8230;Sitemap: http:\/\/www&#8230;..\/sitemap.xml)<\/li>\n<\/ul>\n<p><strong>H\u00e4ufige Fehler<\/strong><\/p>\n<ul>\n<li>Statt Verzeichnissen werden Pfad-Bestandteile gesperrt<\/li>\n<li>URLs werden versehentlich ausgeschlossen<\/li>\n<li>Falscher Dateiname (Gro\u00df-\/Kleinschreibung): Robots.txt<\/li>\n<li>Falscher Speicherort (d.h. nicht im Root-Verzeichnis)<\/li>\n<li>Falsche Datei- oder Verzeichnisnamen<\/li>\n<li>&#8222;Geheime&#8220; Verzeichnisse werden angeben (stattdessen meta name=&#8220;robots&#8220; content=&#8220;noindex,nofollow&#8220; im Header angeben)<\/li>\n<li>Achtung: Seiten mit Backlinks werden immer indiziert<\/li>\n<\/ul>\n<p><a href=\"https:\/\/www.mindshape.de\/blog\/seo\/seo-kompakt-alles-was-ein-seo-uber-die-robots-txt-wissen-muss.html\" target=\"_blank\">https:\/\/www.mindshape.de\/blog\/seo\/seo-kompakt-alles-was-ein-seo-uber-die-robots-txt-wissen-muss.html<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Die robots.txt ist eine Art Steuerdatei, mit deren Hilfe man den Suchmaschinen einige Informationen mitgeben kann, bevor diese damit beginnen, die Seite zu durchsuchen und zu indizieren. Man kann in der robots.txt festlegen, welche Webseiten der Website nicht durchsucht werden sollen, weil sie eventuell doppelten Content enthalten oder aus anderen Gr\u00fcnden nicht bei einer Suche&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_exactmetrics_skip_tracking":false,"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"_kad_post_classname":"","footnotes":""},"categories":[8,1],"tags":[12,13],"class_list":["post-237","post","type-post","status-publish","format-standard","hentry","category-onpage","category-white-hat","tag-onpage","tag-white-hat"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v28.7 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>robots.txt - VHS-Kurs SEO<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/uk-hl.de\/SEO\/robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"robots.txt - VHS-Kurs SEO\" \/>\n<meta property=\"og:description\" content=\"Die robots.txt ist eine Art Steuerdatei, mit deren Hilfe man den Suchmaschinen einige Informationen mitgeben kann, bevor diese damit beginnen, die Seite zu durchsuchen und zu indizieren. Man kann in der robots.txt festlegen, welche Webseiten der Website nicht durchsucht werden sollen, weil sie eventuell doppelten Content enthalten oder aus anderen Gr\u00fcnden nicht bei einer Suche...\" \/>\n<meta property=\"og:url\" content=\"https:\/\/uk-hl.de\/SEO\/robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"VHS-Kurs SEO\" \/>\n<meta property=\"article:published_time\" content=\"2017-02-16T06:54:13+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2017-02-26T20:08:47+00:00\" \/>\n<meta name=\"author\" content=\"Ullrich\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Ullrich\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"1\u00a0Minute\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/robots-txt\\\/\"},\"author\":{\"name\":\"Ullrich\",\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/#\\\/schema\\\/person\\\/073c8baea0980dc8b3b72f187d319a0c\"},\"headline\":\"robots.txt\",\"datePublished\":\"2017-02-16T06:54:13+00:00\",\"dateModified\":\"2017-02-26T20:08:47+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/robots-txt\\\/\"},\"wordCount\":186,\"keywords\":[\"OnPage\",\"White-Hat\"],\"articleSection\":[\"OnPage\",\"White-Hat\"],\"inLanguage\":\"de\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/robots-txt\\\/\",\"url\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/robots-txt\\\/\",\"name\":\"robots.txt - VHS-Kurs SEO\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/#website\"},\"datePublished\":\"2017-02-16T06:54:13+00:00\",\"dateModified\":\"2017-02-26T20:08:47+00:00\",\"author\":{\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/#\\\/schema\\\/person\\\/073c8baea0980dc8b3b72f187d319a0c\"},\"breadcrumb\":{\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/robots-txt\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/robots-txt\\\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/robots-txt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Startseite\",\"item\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"robots.txt\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/#website\",\"url\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/\",\"name\":\"VHS-Kurs SEO\",\"description\":\"L\u00fcbeck, Februar 2017\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/#\\\/schema\\\/person\\\/073c8baea0980dc8b3b72f187d319a0c\",\"name\":\"Ullrich\",\"url\":\"https:\\\/\\\/uk-hl.de\\\/SEO\\\/author\\\/ullrich\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"robots.txt - VHS-Kurs SEO","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/uk-hl.de\/SEO\/robots-txt\/","og_locale":"de_DE","og_type":"article","og_title":"robots.txt - VHS-Kurs SEO","og_description":"Die robots.txt ist eine Art Steuerdatei, mit deren Hilfe man den Suchmaschinen einige Informationen mitgeben kann, bevor diese damit beginnen, die Seite zu durchsuchen und zu indizieren. Man kann in der robots.txt festlegen, welche Webseiten der Website nicht durchsucht werden sollen, weil sie eventuell doppelten Content enthalten oder aus anderen Gr\u00fcnden nicht bei einer Suche...","og_url":"https:\/\/uk-hl.de\/SEO\/robots-txt\/","og_site_name":"VHS-Kurs SEO","article_published_time":"2017-02-16T06:54:13+00:00","article_modified_time":"2017-02-26T20:08:47+00:00","author":"Ullrich","twitter_card":"summary_large_image","twitter_misc":{"Verfasst von":"Ullrich","Gesch\u00e4tzte Lesezeit":"1\u00a0Minute"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/uk-hl.de\/SEO\/robots-txt\/#article","isPartOf":{"@id":"https:\/\/uk-hl.de\/SEO\/robots-txt\/"},"author":{"name":"Ullrich","@id":"https:\/\/uk-hl.de\/SEO\/#\/schema\/person\/073c8baea0980dc8b3b72f187d319a0c"},"headline":"robots.txt","datePublished":"2017-02-16T06:54:13+00:00","dateModified":"2017-02-26T20:08:47+00:00","mainEntityOfPage":{"@id":"https:\/\/uk-hl.de\/SEO\/robots-txt\/"},"wordCount":186,"keywords":["OnPage","White-Hat"],"articleSection":["OnPage","White-Hat"],"inLanguage":"de"},{"@type":"WebPage","@id":"https:\/\/uk-hl.de\/SEO\/robots-txt\/","url":"https:\/\/uk-hl.de\/SEO\/robots-txt\/","name":"robots.txt - VHS-Kurs SEO","isPartOf":{"@id":"https:\/\/uk-hl.de\/SEO\/#website"},"datePublished":"2017-02-16T06:54:13+00:00","dateModified":"2017-02-26T20:08:47+00:00","author":{"@id":"https:\/\/uk-hl.de\/SEO\/#\/schema\/person\/073c8baea0980dc8b3b72f187d319a0c"},"breadcrumb":{"@id":"https:\/\/uk-hl.de\/SEO\/robots-txt\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/uk-hl.de\/SEO\/robots-txt\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/uk-hl.de\/SEO\/robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Startseite","item":"https:\/\/uk-hl.de\/SEO\/"},{"@type":"ListItem","position":2,"name":"robots.txt"}]},{"@type":"WebSite","@id":"https:\/\/uk-hl.de\/SEO\/#website","url":"https:\/\/uk-hl.de\/SEO\/","name":"VHS-Kurs SEO","description":"L\u00fcbeck, Februar 2017","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/uk-hl.de\/SEO\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Person","@id":"https:\/\/uk-hl.de\/SEO\/#\/schema\/person\/073c8baea0980dc8b3b72f187d319a0c","name":"Ullrich","url":"https:\/\/uk-hl.de\/SEO\/author\/ullrich\/"}]}},"_links":{"self":[{"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/posts\/237","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/comments?post=237"}],"version-history":[{"count":9,"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/posts\/237\/revisions"}],"predecessor-version":[{"id":440,"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/posts\/237\/revisions\/440"}],"wp:attachment":[{"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/media?parent=237"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/categories?post=237"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/uk-hl.de\/SEO\/wp-json\/wp\/v2\/tags?post=237"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}