oanor
Registro gratis
Mercado Precios Funciones Iniciar sesión

API · /robots-api

API de robots.txt

saludable 4,091 Suscriptoras

Obtén y evalúa el robots.txt de cualquier sitio web. Proporciona una URL y un agente de usuario, y el endpoint de verificación te indica si esa URL es rastreable: selecciona el grupo de agente de usuario más específico y aplica las reglas de coincidencia más larga de Allow/Disallow según RFC 9309 (con comodines * y $, donde Allow gana en empates), y devuelve la regla coincidente, el crawl-delay del grupo y los sitemaps que declara el sitio. El endpoint de análisis devuelve el archivo completo estructurado en grupos por agente de usuario (sus listas de allow y disallow y crawl-delay) más la lista de sitemaps. Un robots.txt faltante (404/403) significa que todo está permitido, exactamente como lo requiere la especificación. La solicitud se realiza del lado del servidor y se rechazan los destinos privados o internos (protegido contra SSRF). Diseñado para auditorías SEO, cumplimiento de rastreadores y scrapers, descubrimiento de sitemaps y verificaciones previas de "¿tengo permiso para obtener esto?". Un evaluador de robots.txt, distinto de la auditoría SEO en página (seo), el kit de herramientas XML (xml) y la previsualización de enlaces (url). Sin clave upstream, sin caché.

#robots-txt #seo #crawler #rfc-9116 #web #sitemap
api.oanor.com/robots-api
Obtener una clave API Pruébalo en el patio de recreo → Contactar proveedor

Especificaciones legibles por máquina para que los agentes de IA puedan integrar este API.

/api/robots-api/openapi.json
/api/robots-api/llms.txt

Descubrimiento: GET /api/index.json enumera todos los API.

API de robots.txt — live data on the oanor API marketplace

salud API

saludable
tiempo de actividad
100.00%
Sondas del servidor · 24h
Latencia promedio
120 ms
Sondas del servidor · 24h
Suscriptoras
4,091
activa
Llamadas totales
60
últimos 7 días
status Página de estado completa → · 12 sondas/24h

Precios

Elija un nivel: facturado mensualmente, cancele en cualquier momento.

Free

Gratis

  • 2,000 llamadas / mes
  • 2 solicitudes / segundo
  • Límite máximo (429 por encima de la cuota, sin excedente)
  • 2,000 llamadas/mes
  • 2 solicitudes/seg
  • Capacidad de rastreo y análisis
  • Sin tarjeta de crédito
Inicia sesión para suscribirte

Starter

€5.90 /mes

  • 37,500 llamadas / mes
  • 8 solicitudes / segundo
  • Límite máximo (429 por encima de la cuota, sin excedente)
  • 37.5k llamadas/mes
  • 8 solicitudes/seg
  • Coincidencia RFC 9309 + sitemaps
  • Soporte por correo electrónico
Inicia sesión para suscribirte

Pro

€19.70 /mes

  • 202,000 llamadas / mes
  • 20 solicitudes / segundo
  • Límite máximo (429 por encima de la cuota, sin excedente)
  • 202k llamadas/mes
  • 20 solicitudes/segundo
  • Pipelines de rastreo y SEO
  • Soporte prioritario
Inicia sesión para suscribirte

Mega

€51.60 /mes

  • 785,000 llamadas / mes
  • 50 solicitudes / segundo
  • Límite máximo (429 por encima de la cuota, sin excedente)
  • 785k llamadas/mes
  • 50 solicitudes/segundo
  • Escala de plataforma de rastreo
  • SLA dedicado
Inicia sesión para suscribirte

Construido por

P
PremiumApi

Relacionado APIs

Otros APIs con etiquetas superpuestas.

API de Google Trends — oanor API marketplace

API de Google Trends

Búsquedas de tendencia de Google en vivo por país, sin clave. Esto lee el feed RSS público de Tendencias de Búsqueda Diarias de Google y lo devuelve como JSON limpio: lo que la gente está buscando ahora mismo en cualquier país, cada tendencia con su volumen de búsqueda aproximado, las noticias que la impulsan y una imagen representativa. El endpoint de tendencias enumera las búsquedas de tendencia actuales para un país (centrado en términos, clasificado, con volumen y la noticia principal); el endpoint de noticias aplana los artículos de noticias que impulsan esas tendencias (centrado en artículos: la vista de "qué está impulsando la búsqueda ahora mismo", cada artículo etiquetado con su tendencia, fuente y enlace); y el endpoint de geos enumera los países compatibles. La capa de interés de búsqueda en tiempo real / descubrimiento de tendencias para herramientas de noticias, marketing, SEO, escucha social y contenido. Distinto de las API de tendencias de wiki-pageview y específicas de plataforma: estas son tendencias de búsqueda web de Google. En vivo desde Google Trends; solo caché corta.

api.oanor.com/googletrends-api

 API de Canonicalización de URL — oanor API marketplace

API de Canonicalización de URL

Normaliza URLs a una forma canónica para que puedas deduplicar, comparar y limpiarlas. El endpoint canonicalize convierte a minúsculas el esquema y el host, elimina el puerto predeterminado (80 para http, 443 para https), resuelve segmentos de ruta ./ y ../ y corrige la codificación de porcentaje usando el analizador estándar WHATWG URL, luego aplica las limpiezas que elijas: elimina parámetros de seguimiento de marketing y análisis (todos utm_* más gclid, fbclid, msclkid, yclid, mc_eid y muchos más), ordena los parámetros de consulta restantes en un orden estable, opcionalmente elimina el #fragmento, y agrega o elimina la barra inclinada final. Devuelve la URL canónica, los componentes completamente analizados y la lista exacta de cambios realizados. El endpoint compare canonicaliza dos URLs y te dice si apuntan al mismo recurso, perfecto para detectar enlaces duplicados que solo difieren por códigos de seguimiento, mayúsculas/minúsculas, puerto u orden de parámetros. Todo se calcula localmente sin llamadas de red, por lo que es instantáneo, privado y seguro. Ideal para rastreadores y herramientas SEO, deduplicación y análisis de enlaces, claves de caché, marcadores y canalizaciones de contenido. Cálculo puramente local: sin clave, sin servicio de terceros, instantáneo. En vivo, nada almacenado. 3 endpoints. Esto canonicaliza la cadena de URL; no la obtiene ni sigue redirecciones; para vistas previas de enlaces y desacortamiento, usa una API de URL-unfurl.

api.oanor.com/urlcanon-api

 API JSON-LD — oanor API marketplace

API JSON-LD

Genere datos estructurados JSON-LD válidos de schema.org a partir de campos simples: el marcado que Google y otros motores de búsqueda utilizan para los resultados enriquecidos. El endpoint generate crea JSON-LD listo para incrustar para los tipos más importantes para SEO: Article (y BlogPosting / NewsArticle) con autor y editor, Product con ofertas, precio, disponibilidad y una calificación agregada, Organization y LocalBusiness con dirección postal y horario de apertura, Person, WebSite con un cuadro de búsqueda de Sitelinks (SearchAction), BreadcrumbList, FAQPage, Event y Recipe con ingredientes e instrucciones paso a paso. Pase campos simples, o matrices JSON y listas de nuevas líneas para migas de pan, preguntas frecuentes, ingredientes y perfiles sociales, y obtenga un objeto JSON-LD limpio, opcionalmente envuelto en una etiqueta <script type="application/ld+json"> lista para pegar. El endpoint types documenta cada tipo compatible y sus campos. Todo se ensambla local y determinísticamente, por lo que es instantáneo y privado. Ideal para CMS y canalizaciones de sitios estáticos, herramientas SEO, páginas de productos de comercio electrónico, documentación y plataformas de contenido. Cálculo local puro: sin clave, sin servicio de terceros, instantáneo. En vivo, nada almacenado. 3 endpoints. Esto GENERA marcado schema.org; para extraer datos estructurados o etiquetas Open Graph de una página, use una API de análisis HTML, y para auditar el SEO en la página, use una API de SEO.

api.oanor.com/jsonld-api

 API de Title Case — oanor API marketplace

API de Title Case

Convierte un encabezado al formato adecuado de título (title case) como lo hacen los editores, no una simple capitalización de cada palabra. Capitaliza la primera y última palabra y todas las palabras principales, mientras mantiene en minúsculas los artículos (un, una, el, la, los, las), las conjunciones coordinantes (y, o, pero…) y las preposiciones, y siempre capitaliza la palabra después de dos puntos. Elige el estilo AP (minúsculas para preposiciones cortas, mayúsculas para las largas) o el estilo Chicago (minúsculas para preposiciones de cualquier longitud). Los compuestos con guion como well-known y state-of-the-art se manejan correctamente. Perfecto para títulos de artículos y blogs, encabezados, meta títulos SEO, nombres de productos y secciones, y herramientas CMS. Cálculo local puro — sin clave, sin servicio de terceros, instantáneo. En vivo, nada se almacena. 3 endpoints. Distinto de un convertidor simple de título/oración, que capitaliza cada palabra.

api.oanor.com/titlecase-api

Preguntas frecuentes

Respuestas rápidas sobre precios, cuotas e integración.

¿Cómo obtengo una clave API para API de robots.txt?
Regístrate gratis en oanor.com, genera una clave API desde el panel de desarrollador y llama a API de robots.txt con la cabecera x-oanor-key. No se necesita tarjeta de crédito para el plan gratuito.
¿Cuál es el límite de velocidad de API de robots.txt?
El plan gratuito permite 1 solicitud por segundo. Los planes de pago escalan hasta 50 solicitudes por segundo en el nivel Mega. Los límites rígidos devuelven HTTP 429 por encima de la cuota — sin cargos sorpresa por exceso.
¿Cuánto cuesta API de robots.txt?
API de robots.txt ofrece un plan gratuito con 100 llamadas / mes. Los planes de pago empiezan en €5.90 / mes con cuotas más altas y límites de tasa más rápidos.
¿Puedo cancelar mi suscripción en cualquier momento?
Sí. Los planes se facturan mensualmente y puedes cancelar en cualquier momento desde el panel de facturación. Sin contratos a largo plazo ni penalización por cancelación.
¿Cumple API de robots.txt con el RGPD?
Todas las solicitudes a API de robots.txt pasan por nuestra pasarela en la UE. Tu clave API upstream nunca sale de nuestro servidor y no se comparten datos personales con el proveedor upstream más allá de la solicitud enviada.

Elija un punto final de la lista de la izquierda para ver sus detalles y pruébelo.

Fragmentos de código

Regístrese para obtener una clave API, luego llame a cualquier ruta debajo de su slug.

curl https://api.oanor.com/robots-api/SOME_PATH \
  -H "x-oanor-key: oanor_test_..."
const res = await fetch("https://api.oanor.com/robots-api/SOME_PATH", {
  headers: { "x-oanor-key": "oanor_test_..." }
});
const data = await res.json();
$ch = curl_init("https://api.oanor.com/robots-api/SOME_PATH");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, ["x-oanor-key: oanor_test_..."]);
$response = curl_exec($ch);
import requests
r = requests.get(
    "https://api.oanor.com/robots-api/SOME_PATH",
    headers={"x-oanor-key": "oanor_test_..."},
)
print(r.json())

Calificaciones

Inicia sesión para calificar.

Aún no hay reseñas.

Discusión

Haz preguntas, comparte trucos, recibe respuestas del proveedor y otros desarrolladores. Público — cualquiera puede leer.

Inicia sesión para escribir o responder.

Iniciar sesión

Nueva discusión

/ 4000

📌 Fijada 🔒 Bloqueada

·

· ·

/ 4000

🔒 Esta discusión está bloqueada — sin nuevas respuestas.

  • Sin discusiones todavía — empieza tú.

Soporte

Soporte privado 1:1 con el proveedor — facturación, integración, cuenta. Solo tú y el equipo del proveedor ven estos hilos.

Inicia sesión para abrir un ticket de soporte.

Iniciar sesión

Abrir nuevo ticket

Describe en qué necesitas ayuda. El equipo recibe un email y responde en la página del ticket.

  • Sin tickets para esta API.

Suscripción activa: las llamadas pueden empezar de inmediato.

Envía tu primera solicitud —

Suscripción activa: copie un fragmento y realice su primera llamada.