#	========== ============  =======       =======                                  #
#	========== ============= ========     ========                                  #
#	   ====      ===     ===   =======   =======                                    #
#	   ====      ==========    ======== ========                                    #
#	   ====      ==========    ===  =======  ===     ___ ___  _ __ ___              #
#	   ====      ===     ===   ===   =====   ===    / __/ _ \| '_ ` _ \             #
#	========== ============= =====    ===    ===== | (_| (_) | | | | | |            #
#	========== ============  =====     =     =====(_)___\___/|_| |_| |_|            #
# * This file is retrieved by web crawlers/spiders that obey the w3c voluntary standard #
# * This configuration file is used by the AHE wX yellow-zone caching proxies --        #
#    www-01.ibm.com, www-03.ibm.com and www-304.ibm.com                                 #
# * Master: /gsa/a01gsa/projects/a/aheweb01/projects/www/content/robots.txt             #
# * This file may NOT be modified except under the direct instruction of the corporate  #
#    webmaster team or approved change to AHE Front-End Admin (NUS_W_SSAHEFE)           #
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
# PAUL W NOVAK/ENDICOTT/IBM -----------------------------------------------------------#@
#       2009 August 01          Updated to match current CHQ & AHE values              #@       
# PAUL W NOVAK/ENDICOTT/IBM -----------------------------------------------------------#@
#	2009 November 28	Reorganized values for TAM WebSEAL use on /robots.txt  #@
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@ IBM Almaden research center crawler
User-agent:http://www.almaden.ibm.com/cs/crawler
Disallow:
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@ ARKEAgent crawler
User-agent:arkeagent
Disallow:
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@ IBM CIO Business Transformation accessibility crawler
User-agent:BTAccessibility
Disallow: 
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@ w3.ibm.com OmniFind search engine crawler
User-agent:w3search
Disallow:/services/salesone/
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@ Google search engine crawler
User-agent: Googlebot
Disallow: /lenovo/shop/
Disallow: /CommunityCBR/
Disallow: /solutions/sap/doc/content/bin
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
#@ Forbid indexing of top-level context root and the following:
User-agent: *
Disallow: /
Disallow: //
Disallow: /Admin
Disallow: /admin
Disallow: /admin-bin
Disallow: /CommunityCBR/
Disallow: /Docs
Disallow: /docs
Disallow: /cgi-bin
Disallow: /scripts
Disallow: /Scripts
Disallow: /i/
Disallow: /icons
Disallow: /image
Disallow: /jct03002c/software/data/conf
Disallow: /jct03001c/software/lotus/events/lotusphere2008/
Disallow: /jct03001c/software/websphere/events/impact2008/
Disallow: /lenovo/shop/
Disallow: /link
Disallow: /perl
Disallow: /projects/a/
Disallow: /Search
Disallow: /search
Disallow: /services/alliances/cisco
Disallow: /solutions/sap/doc/content/bin
Disallow: /systems/support/supportsite.wss/quickpath
Disallow: /tmp
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
User-agent: Fast corporate crawler
Disallow: //
Disallow: //
Disallow: /Admin
Disallow: /admin
Disallow: /admin-bin
Disallow: /Docs
Disallow: /docs
Disallow: /cgi-bin
Disallow: /scripts
Disallow: /Scripts
Disallow: /i/
Disallow: /image
Disallow: /jct03004c/press/
Disallow: /press/
Disallow: /projects/a/
Disallow: /Search
Disallow: /search
Disallow: /support/
Disallow: /link
Disallow: /perl
Disallow: /tmp
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@