User-agent: * Allow: / Sitemap: http://www.tuconsola.com/sitemapIndex.xml Disallow: /404.php Disallow: /popup_image.php Disallow: /popup_search_help.php Disallow: /cgi-bin/ Disallow: /emails/ Disallow: /temp/ Disallow: /ext/ Disallow: /upload/ Disallow: /theme/ Disallow: /feed/ Disallow: /account.php Disallow: /account_edit.php Disallow: /account_history.php Disallow: /account_history_info.php Disallow: /account_password.php Disallow: /add_checkout_success.php Disallow: /address_book.php Disallow: /address_book_process.php Disallow: /advanced_search.php Disallow: /advanced_search_result.php Disallow: /comparador.php Disallow: /checkout_confirmation.php Disallow: /checkout_payment.php Disallow: /checkout_payment_address.php Disallow: /checkout_process.php Disallow: /checkout_shipping.php Disallow: /checkout_shipping_address.php Disallow: /checkout_success.php Disallow: /contact_bean.php Disallow: /cookie_usage.php Disallow: /create_account.php Disallow: /create_account_success.php Disallow: /login.php Disallow: /password_forgotten.php Disallow: /popup_image.php Disallow: /shopping_cart.php Disallow: /product_reviews_write.php Disallow: /advanced_search.php* Disallow: /consulta_dudas.php* Disallow: /index.php* # incluye cosas como wp-rss.php User-agent: * Disallow: /blog/wp-content/uploads Disallow: /blog/cgi-bin Disallow: /blog/wp-admin Disallow: /blog/wp-includes Disallow: /blog/wp-content/plugins Disallow: /blog/wp-content/cache Disallow: /blog/wp-content/themes Disallow: /blog/trackback Disallow: /blog/comments Disallow: /blog/category/*/* Disallow: */blog/trackback Disallow: */blog/comments Disallow: /blog/*?* Disallow: /blog/*? # # Sitemap del blog no puesto, habria que ponerlo en sitemapsindex como permitido, busquedas en blog no. # Disallow: /blog/?s= Disallow: /blog/search # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que solo # sirven como Trackback URI (y son contenido duplicado). # Allow: /blog/feed/$ Disallow: /blog/feed Disallow: /blog/comments/feed Disallow: /*/blog/feed/$ Disallow: /*/blog/feed/rss/$ Disallow: /*/blog/trackback/$ Disallow: /*/*/blog/feed/$ Disallow: /*/*/blog/feed/rss/$ Disallow: /*/*/blog/trackback/$ Disallow: /*/*/*/blog/feed/$ Disallow: /*/*/*/blog/feed/rss/$ Disallow: /*/*/*/blog/trackback/$ # # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante # AƱadir al gusto del consumidor # User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y podais dejarlo bajo e ir # subiendo hasta el punto optimo. # User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 50 User-agent: Slurp Crawl-delay: 10