Cómo enumerar todas las URL asociadas con un sitio web rápidamente

Entonces, ¿necesita una lista que contenga todas las URL de un sitio web? ¿Quizás estás haciendo algunas redirecciones? ¿Llegó al límite de los sitemaps XML? Genial, yo también. Tengo la herramienta para ti que lo hará casi a la misma velocidad que XML Sitemaps, pero te verás mucho mejor haciéndolo.

Donde realmente comienza el tutorial

Para obtener su lista de URL, usaremos Wget.

¿Qué diablos es Wget?

"Wget es un paquete de software gratuito para recuperar archivos mediante HTTP, HTTPS y FTP, los protocolos de Internet más utilizados". - Preparar ‍Fórmulas

Y también puede usarlo para solicitar una gran lista de URL asociadas con un dominio.

‍1. Instalación de Wget

Para instalar Wget si aún no lo ha hecho, primero necesitará instalar HomeBrew; también conocido como Brew. ? Brew es un administrador de paquetes, lo que significa que instala software por usted y lo administra. Puede consultar las instrucciones en su sitio web o simplemente seguir las siguientes.

Instalar Brew

Pegue esto en un indicador de terminal y presione enter dos veces ⮐ (es posible que le pida una contraseña).

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"‍

Instalar Wget

Ahora que tiene Brew instalado, es hora de instalar Wget. Pegue esto en un indicador de terminal y presione enter ⮐

brew install wget

2. Es hora de obtener "URL de dem."

Ahora, con Wget instalado, simplemente descargamos el sitio web y luego mostramos todas sus URL. Empiece por descargar el sitio web que le gustaría

Wget -r www.shutterandcode.com

Luego, una vez que se complete la descarga, enumeraremos las URL con

Find www.shutterandcode.com

(Asegúrese de utilizar el mismo dominio de sitio web que se descargó).

Conclusión

Después de una serie de pruebas casuales que enfrentan a Wget con XML Sitemaps utilizando sitios web más pequeños, descubrí que ambos están bastante a la par entre sí. Ocasionalmente, uno sería más rápido que el otro, pero en general ambos tenían velocidades similares.

Si desea saber más sobre los comandos de Wget, simplemente escríbalo en su indicador

wget --help

¡Espero que hayas disfrutado leyendo esto! ¡No olvides dar me gusta, comentar y suscribirte! ?

ps en realidad no se siente obligado a dar me gusta, comentar o suscribirse porque es simplemente una broma para los YouTubers :)

ACTUALIZACIÓN: si no desea que el sitio se descargue en su computadora, agregue '- spider' después de 'wget' como
wget -r --spider www.example.com

¡Mira la publicación original y el resto de los Snippets! serie en

Shutter & Code - Le Blog