confabulations

About Bot

ConfabulationsBot

ConfabulationsBot is the web crawler of Confabulations, a small site that publishes short natural-science articles for beginners.

What it does

ConfabulationsBot reads public pages from a fixed list of science institutions, universities, museums, scientific societies, and science media. It does not crawl the open web, and it does not follow links outside that list.

The collected text is used for two things only:

  • choosing topics for articles on this site
  • checking the facts in those articles against their sources

Every article on Confabulations lists and links the pages it is based on. The collected text is kept in a private local database. We do not republish it, sell it, or build AI training datasets from it.

To choose topics and check facts, the text is sent to and processed by the AI services we use to make articles (currently models from Anthropic and OpenAI; this may change).

How it behaves

  • It always reads and follows your robots.txt, including Disallow and Crawl-delay.
  • If your robots.txt cannot be read (server error or timeout), it does not visit your site.
  • If your robots.txt blocks AI crawlers by name (such as GPTBot, ClaudeBot, CCBot, or Google-Extended), we treat that as your wish and do not collect from your site, even though ConfabulationsBot is not named.
  • It respects noindex, noarchive, and none in robots meta tags and X-Robots-Tag headers, and does not store those pages.
  • It respects text and data mining reservations (tdmrep.json, TDM-Reservation).
  • It opens only one connection to your site at a time, and waits at least 10 seconds between requests.
  • It uses sitemap lastmod to skip pages that have not been updated. When it checks a page it has already collected, it sends a conditional request (If-Modified-Since, ETag), so an unchanged page is not downloaded again.
  • It backs off when your server returns 429 or 503, following Retry-After.
  • It only fetches HTML pages.

User-Agent

ConfabulationsBot/0.1 (+https://confabulations.org/about-bot/)

How to stop it

The quickest way is to add this to your robots.txt:

User-agent: ConfabulationsBot
Disallow: /

ConfabulationsBot re-reads robots.txt every day, so this takes effect within 24 hours.

You can also write to us at bot [at] confabulations.org. If you ask us to stop, we will stop collecting from your site and delete the text collected from it from our database.

— Bureau of Confabulations

ConfabulationsBot について（日本語）

ConfabulationsBot は、初学者向けの短い自然科学の記事を公開している小さなサイト Confabulations のクローラーです。

何をしているか

研究機関、大学、博物館、学会、科学メディアなど、あらかじめ決めたサイトの公開ページを読みます。ネット全体を巡回することはなく、そのリストの外へのリンクもたどりません。

集めた本文の使い道は、次の2つだけです。

  • このサイトの記事の題材を選ぶこと
  • 記事の内容を、元のページと照らし合わせて確かめること

Confabulations の記事には、もとにしたページをすべて出典としてリンクしています。集めた本文は手元の非公開のデータベースに置き、再公開や販売はしません。AIの学習用データを作ることもしません。

題材の選定と事実確認のために、本文は記事づくりに使っているAIサービス（現在は Anthropic と OpenAI のモデル。今後変わることがあります）に送られ、処理されます。

ふるまい

  • robots.txt を必ず読み、Disallow と Crawl-delay に従います
  • robots.txt が読めないとき（サーバーエラーやタイムアウト）は、そのサイトには行きません
  • robots.txt で AI クローラー（GPTBot、ClaudeBot、CCBot、Google-Extended など）を名指しで拒否しているサイトは、ConfabulationsBot が名指しされていなくても、その意思を尊重して収集しません
  • robots メタタグや X-Robots-Tag の noindex、noarchive、none に従い、そのページは保存しません
  • テキスト・データマイニングの留保（tdmrep.json、TDM-Reservation）に従います
  • 1つのサイトへの同時接続は1本だけで、リクエストの間隔は最低10秒です
  • サイトマップの更新日（lastmod）を見て、更新されていないページは確認しません。取得済みのページを確認するときは条件付きのリクエスト（If-Modified-Since、ETag）を送り、変更がなければ本文をダウンロードし直しません
  • サーバーが 429 や 503 を返したときは、Retry-After に従って待ちます
  • HTML のページだけを取得します

止めたいとき

いちばん早いのは、robots.txt に次の2行を書くことです。毎日 robots.txt を読み直すので、24時間以内に反映されます。

User-agent: ConfabulationsBot
Disallow: /

bot [at] confabulations.org に連絡いただいても構いません。停止のご依頼をいただいた場合は、そのサイトからの収集を止め、集めた本文も私たちのデータベースから削除します。

— Bureau of Confabulations