Nordsokbot

Så uppför sig vår crawler

NordsokBot samlar in offentligt tillgängliga webbsidor för att bygga Nordsöks eget svenska sökindex.

Hur boten uppför sig

• Respekterar robots.txt fullt ut (RFC 9309), inklusive Crawl-delay upp till 60 sekunder.
• Högst en anslutning per värd och minst 1 sekunds fördröjning mellan hämtningar, längre om er server svarar långsamt.
• Respekterar noindex och nofollow (meta-robots och X-Robots-Tag).
• Skickar aldrig kakor och kringgår inga inloggningar, betalväggar eller samtyckesdialoger.
• Identifierar sig alltid med en User-Agent som börjar med NordsokBot och länkar hit, till exempel:
  NordsokBot/0.1-dev (+https://nordsok.se/bot)
  Versionsnumret ändras när motorn uppdateras — namnet gör det inte, så det är namnet du blockerar på.

Vill du blockera eller begränsa boten?

Lägg till detta i er robots.txt:

User-agent: NordsokBot
Disallow: /

Ändringen respekteras inom 24 timmar.

Vill du släppa in boten — eller verifiera att det verkligen är vi?

All kraltrafik går ut från crawler.nordsok.se, för närvarande 136.148.208.122. Identiteten kontrolleras med omvänt namnuppslag i två steg (forward-confirmed reverse DNS): slå upp IP-adressen baklänges — svaret ska bli crawler.nordsok.se — och kontrollera att det namnet pekar tillbaka på samma adress. En robot som påstår sig vara NordsokBot men inte klarar den kontrollen är inte vi.

För att uttryckligen tillåta boten, till exempel om er robots.txt annars säger nej till okända robotar:

User-agent: NordsokBot
Allow: /

Adressen kan ändras när infrastrukturen växer; namnet ändras inte, och den här sidan visar alltid aktuell adress.

Kontakt

Frågor eller problem? Hör av dig till hej@nordsok.se, så svarar vi.