# ===========================================
# Moja Serowarnia - robots.txt
# Portal wiedzy o serowarstwie domowym
# https://mojaserowarnia.pl
# ===========================================
#
# ZASADA, O KTORA LATWO SIE POTKNAC: bot stosuje TYLKO te jedna grupe, ktora
# pasuje do jego nazwy. Reguly z grupy "*" NIE sumuja sie z jego wlasnymi.
# Dlatego kazda grupa musi miec komplet zakazow. Wczesniej Googlebot i Bingbot
# mialy samo "Allow: /" i mogly wchodzic na /dashboard/, /auth i /admin.
#
# Crawl delay (dyrektywa opoznienia) celowo NIE MA: Googlebot go ignoruje (Search Console zglaszal to
# jako ostrzezenie), a reszty botow nie ma po co dlawic na statycznych plikach.
# Gdyby kiedys bylo trzeba - Bing Webmaster Tools ma wlasne sterowanie tempem.

# /wewnetrzne/ jest zakazane we WSZYSTKICH grupach, nie tylko w "*". Powod jest
# ten sam, co wyzej: bot czyta tylko swoja grupe. Pod tym adresem lezy strona,
# ktorej nie ma w sitemapie, w llms.txt ani w zadnym linku — zadanie jej
# pobrania jest wiec dowodem zignorowania tego pliku, a nie przypadkiem.

# CONTENT-SIGNAL (od 21.10.2026, decyzja Marka): deklaracja, do czego wolno
# uzyc tresci. search = wyszukiwarki, ai-input = odpowiedzi czatow na biezaco,
# ai-train = trening modeli. Wszystko "yes": przy ogolnych pytaniach czat
# odpowiada z pamieci modelu, a tam serwis trafi tylko przez trening. Linia
# stoi w kazdej grupie z tego samego powodu co zakazy: bot czyta tylko swoja.
# Grupa Meta-ExternalAgent jej nie ma, bo i tak ma zakaz wejscia.

# === GLOWNE WYSZUKIWARKI ===
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Bingbot
User-agent: Yandex
User-agent: Baiduspider
User-agent: Seznam-Bot
User-agent: Naverbot
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
Disallow: /dashboard/
Disallow: /auth
Disallow: /api/
Disallow: /admin
Disallow: /settings
Disallow: /wewnetrzne/

# === BOTY SPOLECZNOSCIOWE (podglady linkow) ===
# Te boty dostaja statyczne mirrory przez .htaccess, wiec czytaja og:image.
User-agent: Twitterbot
User-agent: facebookexternalhit
User-agent: LinkedInBot
User-agent: Pinterest
User-agent: Slackbot
User-agent: WhatsApp
User-agent: Discordbot
User-agent: TelegramBot
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
Disallow: /dashboard/
Disallow: /auth
Disallow: /api/
Disallow: /admin
Disallow: /settings
Disallow: /wewnetrzne/

# === BOTY AI / LLM ===
# Swiadomie wpuszczamy: cytowanie w odpowiedziach LLM jest dla tego serwisu
# glownym kanalem widocznosci. Osobno wymienione sa crawlery trenujace
# (GPTBot, ClaudeBot, CCBot) i te, ktore pobieraja strone w trakcie
# odpowiadania uzytkownikowi (OAI-SearchBot, ChatGPT-User, Perplexity-User).
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Google-Extended
User-agent: anthropic-ai
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: cohere-ai
User-agent: FacebookBot
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: CCBot
User-agent: Diffbot
User-agent: YouBot
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
Disallow: /dashboard/
Disallow: /auth
Disallow: /api/
Disallow: /admin
Disallow: /settings
Disallow: /wewnetrzne/

# === META-EXTERNALAGENT: ZABLOKOWANY ===
# Decyzja Marka z 16.10.2026. Crawler Mety do trenowania modeli: najwiecej
# potwierdzonych pobran ze wszystkich botow AI (1939 do 16.10.2026), a zadnego
# ruchu ludzi w zamian. Worker oddaje mu 403 na wszystko poza tym plikiem,
# wiec licznik pokaze, czy przestrzega robots.txt.
# NIE DOTYCZY facebookexternalhit (podglady linkow na Facebooku, grupa wyzej):
# bez niego posty z linkami nie mialyby podgladu.
User-agent: Meta-ExternalAgent
Disallow: /

# === POZOSTALE BOTY ===
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Allow: /
Disallow: /dashboard/
Disallow: /auth
Disallow: /api/
Disallow: /admin
Disallow: /settings
Disallow: /wewnetrzne/

# === SITEMAP ===
Sitemap: https://mojaserowarnia.pl/sitemap.xml

# === LLMS.TXT ===
# Plik z metadanymi dla modeli jezykowych
# https://mojaserowarnia.pl/llms.txt

# === INFORMACJE O TRESCI ===
# Ten portal zawiera:
# - Baze 188 kultur bakteryjnych z polskich sklepow (sklad, producent,
#   pojemnosc opakowania, cena za litr mleka)
# - Przepisy na sery domowe
# - Poradniki RHD (Rolniczy Handel Detaliczny) i MOL
# - Kalkulatory serowarskie
# - Slownik terminow serowarskich
# - Aktualne przepisy prawne UE i PL
#
# Tresc jest w jezyku polskim.
# Strona jest przyjazna dla AI i zacheca do indeksowania
# publicznych sekcji edukacyjnych.