Over TianloomBot
TianloomBot is de webcrawler van Tianloom. Hij bezoekt de eigen website van een handelsbedrijf alleen wanneer dat bedrijf in Tianloom een import start, om een voorstel voor zijn showroom te maken: producten, bedrijfsprofiel, logo en kleuren.
Hij maakt zich bekend met deze user agent:
Mozilla/5.0 (compatible; TianloomBot/1.0; +https://tianloom.com/bot)Wat hij wel en niet doet
- Leest eerst robots.txt en volgt die, inclusief Crawl-delay.
- Wacht minstens 1 seconde tussen twee verzoeken.
- Haalt per import hoogstens 40 pagina’s op.
- Haalt alleen HTML-pagina’s en pdf-bestanden op.
- Voert geen JavaScript uit, bewaart geen cookies, vult geen formulieren in en logt nergens in.
Zo blokkeer je hem
Wil je TianloomBot van je website weren? Zet dan deze regels in je robots.txt:
User-agent: TianloomBot
Disallow: /Vragen
Tianloom is een dienst van Alfaja Holding B.V. Vragen over TianloomBot kun je sturen naar:
Alfaja Holding B.V.Grote Wade 64
3439 NS Nieuwegein
Nederland