oanor
Gratis registreren
Marktplaats Prijzen Functies Inloggen

API · /robots-api

robots.txt API

gezond 4,091 Abonnees

Haal de robots.txt van elke website op en evalueer deze. Geef een URL en een user-agent door en het check-eindpunt vertelt je of die URL crawlbaar is — waarbij de meest specifieke user-agentgroep wordt geselecteerd en de RFC 9309 langste-match Allow/Disallow-regels worden toegepast (met * en $ jokertekens, waarbij Allow wint bij gelijke stand), en de overeenkomende regel, de crawl-delay van de groep en de sitemaps die de site declareert worden geretourneerd. Het parse-eindpunt retourneert het hele bestand gestructureerd in per-user-agentgroepen (hun allow- en disallow-lijsten en crawl-delay) plus de lijst met sitemaps. Een ontbrekende robots.txt (404/403) betekent dat alles is toegestaan, precies zoals de specificatie vereist. Het verzoek wordt server-side gedaan en privé- of interne doelen worden geweigerd (SSRF-beveiligd). Gebouwd voor SEO-audits, crawler- en scraper-compliance, sitemap-ontdekking en pre-flight "mag ik dit ophalen?"-controles. Een robots.txt-evaluator — te onderscheiden van de on-page SEO-audit (seo), de XML-toolkit (xml) en link-unfurling/preview (url). Geen upstream-sleutel, geen cache.

#robots-txt #seo #crawler #rfc-9116 #web #sitemap
api.oanor.com/robots-api
Verkrijg een API-sleutel Probeer het in de speeltuin → Provider contacteren

Machineleesbare specificaties zodat AI-agenten deze API kunnen integreren.

/api/robots-api/openapi.json
/api/robots-api/llms.txt

Ontdekking: GET /api/index.json vermeldt elke API.

robots.txt API — live data on the oanor API marketplace

API-gezondheid

gezond
Uptime
100.00%
Serversondes · 24 uur
Gem. latentie
125 ms
Serversondes · 24 uur
Abonnees
4,091
actief
Totaal aantal oproepen
57
laatste 7 dagen
status Volledige statuspagina → · 9 sondes/24u

Prijzen

Kies een niveau: maandelijks gefactureerd en op elk gewenst moment opzegbaar.

Free

Vrij

  • 2,000 oproepen / maand
  • 2 verzoeken / tweede
  • Hard cap (429 boven quotum, geen overschrijding)
  • 2.000 aanroepen/maand
  • 2 verzoeken/sec
  • Crawlbaarheid + parse
  • Geen creditcard
Meld u aan om u te abonneren

Starter

€5.90 /maand

  • 37,500 oproepen / maand
  • 8 verzoeken / tweede
  • Hard cap (429 boven quotum, geen overschrijding)
  • 37,5k aanroepen/maand
  • 8 verzoeken/sec
  • RFC 9309 match + sitemaps
  • E-mailondersteuning
Meld u aan om u te abonneren

Pro

€19.70 /maand

  • 202,000 oproepen / maand
  • 20 verzoeken / tweede
  • Hard cap (429 boven quotum, geen overschrijding)
  • 202k aanroepen/maand
  • 20 verzoeken/sec
  • Crawler- en SEO-pijplijnen
  • Prioritaire ondersteuning
Meld u aan om u te abonneren

Mega

€51.60 /maand

  • 785,000 oproepen / maand
  • 50 verzoeken / tweede
  • Hard cap (429 boven quotum, geen overschrijding)
  • 785k aanroepen/maand
  • 50 verzoeken/sec
  • Crawl-platform schaal
  • Toegewijde SLA
Meld u aan om u te abonneren

Gebouwd door

P
PremiumApi

Gerelateerd APIs

Andere APIs met overlappende tags.

Google Trends API — oanor API marketplace

Google Trends API

Live trending Google searches by country, with no key. This reads Google's own public Daily Search Trends RSS feed and returns it as clean JSON: what people are searching for right now in any country, each trend with its approximate search volume, the news stories driving it and a representative image. The trending endpoint lists the current trending searches for a country (term-centric, ranked, with volume and the top news story); the news endpoint flattens the news articles powering those trends (article-centric — the "what is driving search right now" view, each article tagged with its trend, source and link); and the geos endpoint lists the supported countries. The real-time search-interest / trends-discovery layer for news, marketing, SEO, social-listening and content tools. Distinct from wiki-pageview and platform-specific trend APIs — this is Google web-search trends. Live from Google Trends; short cache only.

api.oanor.com/googletrends-api

 URL Canonicalize API — oanor API marketplace

URL Canonicalize API

Normaliseer URL's naar een canonieke vorm zodat u ze kunt dedupliceren, vergelijken en opschonen. Het canonicalize-eindpunt zet het schema en de host om naar kleine letters, verwijdert de standaardpoort (80 voor http, 443 voor https), lost ./ en ../ padsegmenten op en herstelt percent-encoding met behulp van de standaard WHATWG URL-parser, en past vervolgens de door u gekozen opschoningen toe: verwijder marketing- en analysetrackingparameters (alle utm_* plus gclid, fbclid, msclkid, yclid, mc_eid en vele andere), sorteer de overige queryparameters in een stabiele volgorde, verwijder optioneel de #fragment, en voeg de slash aan het einde toe of verwijder deze. Het retourneert de canonieke URL, de volledig geparseerde componenten en de exacte lijst van wijzigingen die het heeft aangebracht. Het compare-eindpunt canonicaliseert twee URL's en vertelt u of ze naar dezelfde bron verwijzen — perfect voor het opsporen van dubbele links die alleen verschillen door trackingcodes, hoofdlettergebruik, poort of parametervolgorde. Alles wordt lokaal berekend zonder netwerkaanroepen, dus het is onmiddellijk, privé en veilig. Ideaal voor crawlers en SEO-tooling, linkdeduplicatie en -analyse, cache-sleutels, bladwijzers en contentpijplijnen. Pure lokale berekening — geen sleutel, geen externe service, onmiddellijk. Live, niets opgeslagen. 3 eindpunten. Dit canonicaliseert de URL-string; het haalt deze niet op of volgt geen omleidingen — voor linkvoorbeelden en het verkorten van URL's gebruikt u een URL-unfurl API.

api.oanor.com/urlcanon-api

 JSON-LD API — oanor API marketplace

JSON-LD API

Genereer geldige schema.org JSON-LD gestructureerde data uit eenvoudige velden — de markup die Google en andere zoekmachines gebruiken voor rich results. Het generate-eindpunt bouwt kant-en-klare JSON-LD voor de typen die het meest belangrijk zijn voor SEO: Article (en BlogPosting / NewsArticle) met auteur en uitgever, Product met aanbiedingen, prijs, beschikbaarheid en een samengestelde beoordeling, Organization en LocalBusiness met postadres en openingstijden, Person, WebSite met een Sitelinks-zoekvak (SearchAction), BreadcrumbList, FAQPage, Event en Recipe met ingrediënten en stapsgewijze instructies. Geef eenvoudige velden door — of JSON-arrays en newline-lijsten voor broodkruimels, FAQ-vragen, ingrediënten en sociale profielen — en ontvang een schoon JSON-LD-object, optioneel verpakt in een direct te plakken <script type="application/ld+json">-tag. Het types-eindpunt documenteert elk ondersteund type en de bijbehorende velden. Alles wordt lokaal en deterministisch samengesteld, dus het is direct en privé. Ideaal voor CMS- en statische site-pijplijnen, SEO-tooling, e-commerce productpagina's, documentatie en contentplatforms. Pure lokale berekening — geen sleutel, geen externe service, direct. Live, niets opgeslagen. 3 eindpunten. Dit GENEREERT schema.org-markup; om gestructureerde data of Open Graph-tags uit een pagina te halen, gebruik een HTML-parsing-API, en om on-page SEO te auditen, gebruik een SEO-API.

api.oanor.com/jsonld-api

 Title Case API — oanor API marketplace

Title Case API

Converteer een kop naar de juiste headline (title) case zoals redacteuren dat doen — niet een naïeve elk-woord-hoofdletter. Het kapitaliseert het eerste en laatste woord en alle belangrijke woorden, terwijl lidwoorden (a, an, the), nevenschikkende voegwoorden (and, but, or…) en voorzetsels klein blijven, en het kapitaliseert altijd het woord direct na een dubbele punt. Kies AP-stijl (korte voorzetsels klein, langere hoofdletters) of Chicago-stijl (voorzetsels van elke lengte klein). Samengestelde woorden met koppelteken zoals well-known en state-of-the-art worden correct verwerkt. Perfect voor artikel- en blogtitels, koppen, SEO-metatitels, product- en sectienamen en CMS-tooling. Pure lokale berekening — geen sleutel, geen externe dienst, direct. Live, niets opgeslagen. 3 endpoints. Anders dan een gewone titel/zin-case converter, die elk woord kapitaliseert.

api.oanor.com/titlecase-api

Veelgestelde vragen

Snelle antwoorden over prijzen, quota's en integratie.

Hoe krijg ik een API-sleutel voor robots.txt API?
Registreer gratis op oanor.com, genereer een API-sleutel in het ontwikkelaarsdashboard en roep robots.txt API aan met de x-oanor-key-header. Geen creditcard nodig voor het gratis abonnement.
Wat is de rate-limit voor robots.txt API?
Het gratis pakket staat 1 verzoek per seconde toe. Betaalde pakketten schalen tot 50 verzoeken per seconde op het Mega-niveau. Harde limieten geven HTTP 429 boven de quota — geen verrassende meerkosten.
Wat kost robots.txt API?
robots.txt API heeft een gratis pakket met 100 calls / maand. Betaalde pakketten beginnen bij €5.90 / maand met hogere quota's en snellere rate-limits.
Kan ik mijn abonnement op elk moment opzeggen?
Ja. Abonnementen worden maandelijks gefactureerd en je kunt op elk moment opzeggen via je facturatie-dashboard. Geen langetermijncontracten en geen opzegkosten.
Voldoet robots.txt API aan de AVG?
Alle aanvragen aan robots.txt API lopen via onze EU-gateway. Je upstream-API-sleutel verlaat nooit onze server en er worden geen persoonsgegevens gedeeld met de upstream-leverancier behalve de aanvraag zelf.

Kies een eindpunt uit de lijst aan de linkerkant om de details ervan te bekijken en het te proberen.

Codefragmenten

Meld u aan om een ​​API-sleutel te krijgen en roep vervolgens een pad onder uw naaktslak aan.

curl https://api.oanor.com/robots-api/SOME_PATH \
  -H "x-oanor-key: oanor_test_..."
const res = await fetch("https://api.oanor.com/robots-api/SOME_PATH", {
  headers: { "x-oanor-key": "oanor_test_..." }
});
const data = await res.json();
$ch = curl_init("https://api.oanor.com/robots-api/SOME_PATH");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, ["x-oanor-key: oanor_test_..."]);
$response = curl_exec($ch);
import requests
r = requests.get(
    "https://api.oanor.com/robots-api/SOME_PATH",
    headers={"x-oanor-key": "oanor_test_..."},
)
print(r.json())

Beoordelingen

Log in om te beoordelen.

Nog geen beoordelingen.

Discussie

Stel vragen, deel tips, krijg antwoorden van de aanbieder en andere ontwikkelaars. Openbaar — iedereen kan meelezen.

Meld je aan om te schrijven of te antwoorden.

Inloggen

Nieuwe discussie

/ 4000

📌 Vastgepind 🔒 Vergrendeld

·

· ·

/ 4000

🔒 Deze discussie is vergrendeld — geen nieuwe antwoorden.

  • Nog geen discussies — start de eerste.

Support

Privé 1:1-support met de aanbieder — facturatie, integratie, account. Alleen jij en het aanbiedersteam zien deze threads.

Meld je aan om een supportticket te openen.

Inloggen

Nieuw ticket openen

Beschrijf waar je hulp bij nodig hebt. Het team krijgt een mail en antwoordt op de ticketpagina.

  • Nog geen tickets voor deze API.

Abonnement actief: calls kunnen direct starten.

Verstuur uw eerste aanvraag —

Abonnement actief: kopieer een fragment en start uw eerste oproep.