Introducción

El propósito de este proyecto es desarrollar un Programa de Python que automatiza el proceso de monitoreo y seguimiento de cambios en múltiples sitios web. Nuestro objetivo es simplificar la meticulosa tarea de detectar y documentar modificaciones en el contenido basado en la web utilizando Python. Esta capacidad es invaluable para el seguimiento de noticias en tiempo real, las actualizaciones inmediatas de productos y la realización de análisis competitivos. A medida que el panorama digital evoluciona rápidamente, identificar los cambios en el sitio web es esencial para mantener una conciencia y comprensión continuas.

OBJETIVOS DE APRENDIZAJE

Nuestros objetivos de aprendizaje para este proyecto cubrirán los siguientes componentes:

1. Mejore el conocimiento de los métodos de web scraping utilizando bibliotecas de Python como BeautifulSoup y Scrapy. Nuestro objetivo es extraer datos valiosos de sitios web de manera competente, navegar por estructuras HTML, identificar elementos específicos y manejar diversos tipos de contenido.
2. Mejorar las habilidades para identificar cambios sutiles en el contenido del sitio web. Aspiramos a aprender técnicas para comparar datos recién extraídos con referencias existentes para detectar inserciones, eliminaciones o modificaciones. También pretendemos manejar los diversos formatos y estructuras de datos encontrados durante estas comparaciones.
3. Aproveche las capacidades de automatización de Python para realizar un seguimiento de las actualizaciones del sitio web. Planeamos emplear mecanismos de programación como trabajos cron o bibliotecas de programación de Python para mejorar la recopilación de datos y eliminar tareas repetitivas.
4. Desarrollar una comprensión integral de la arquitectura de HTML. Nuestro objetivo es navegar documentos HTML de manera competente, identificar elementos cruciales durante la extracción de datos y administrar de manera efectiva los cambios en los diseños y estructuras del sitio web.
5. Mejore las habilidades de procesamiento de texto mediante la exploración de técnicas de manipulación de datos. Aprenderemos a limpiar y refinar los datos extraídos, abordar las complejidades de la codificación de datos y manipular los datos para un análisis profundo e informes versátiles.

Este artículo fue publicado como parte del Blogatón de ciencia de datos.

Descripción del Proyecto

Nuestro objetivo es diseñar una aplicación de Python en este proyecto para supervisar y catalogar alteraciones en sitios web seleccionados. Esta aplicación incorporará lo siguiente:

1. Comprobaciones del sitio web: Evaluaciones consistentes del sitio web asignado para detectar actualizaciones en contenido o secciones particulares.
2. Recuperación de datos: Usar métodos de web scraping para extraer los detalles requeridos del sitio web, como texto, gráficos o datos pertinentes.
3. Identificación de cambio: Contrastar datos recién extraídos con datos almacenados anteriormente para detectar diferencias o enmiendas.
4. Mecanismo de notificación: Implementar un mecanismo de alerta para mantener informado al usuario cuando se noten cambios.
5. Inicio sesión: Llevar un registro detallado de las modificaciones a lo largo del tiempo, con sellos de tiempo e información sobre los cambios. Esta aplicación se puede adaptar para monitorear cualquier sitio web dado y contenido particular según las preferencias del usuario. Los resultados anticipados incluyen alertas inmediatas sobre alteraciones del sitio web y registros completos de cambios para comprender la naturaleza y el momento de los cambios.

Planteamiento del problema

El objetivo principal de este proyecto es agilizar el proceso de seguimiento de sitios web específicos. Al crear una aplicación de Python, planeamos rastrear y catalogar los cambios en un sitio web de interés. Esta herramienta ofrecerá actualizaciones oportunas sobre modificaciones recientes en artículos de noticias, listados de productos y otro contenido basado en la web. La automatización de este proceso de seguimiento ahorrará tiempo y garantizará el conocimiento inmediato de cualquier modificación o adición realizada en el sitio web.

Enfoque

Para implementar este proyecto con éxito, seguiremos un enfoque de alto nivel que implica lo siguiente
pasos:

1. Nuestro proyecto utilizará las poderosas bibliotecas de Python como BeautifulSoup or Scrapy. Estas bibliotecas facilitan la recopilación de información de los sitios web y filtran el contenido HTML.
2. Extraeremos información del sitio web para crear una línea de base desde el principio. Estos datos de referencia nos ayudarán a identificar cualquier cambio más adelante.
3. Podemos hacer coincidir los datos entrantes con un punto de referencia establecido para rastrear nuevas adiciones o cambios. Nuestras técnicas pueden implicar la comparación de texto o el análisis de las diferencias en las estructuras HTML.
4. Realizaremos un seguimiento de las ejecuciones de nuestro proyecto a través de archivos de registro. Estos registros tendrán detalles útiles como tiempos de ejecución, sitios web rastreados y cambios encontrados. Nos ayudarán a realizar un seguimiento de las actualizaciones y encontrar patrones.
5. Como parte del sistema, se integrará una función de notificación. Si se detecta un cambio, se enviarán alertas por correo electrónico, SMS u otros métodos, manteniendo a los usuarios actualizados en tiempo real.

Guión

Imagine una empresa que recopila información sobre las actividades de los niños de numerosos sitios web y las consolida en su propio sitio web. Sin embargo, el seguimiento manual de los cambios en cada sitio web y la actualización de su propia plataforma en consecuencia plantea desafíos importantes. Aquí es donde entra nuestra herramienta especializada para salvar el día, brindando una solución eficiente para superar estos obstáculos.

Ejemplos de sitios web monitoreados:

Supervisamos varios sitios web para seleccionar información sobre las actividades de los niños. Aquí están algunos ejemplos:

Tenis Super Duper

Esta organización ofrece programas atractivos como lecciones, campamentos y fiestas para introducir a los niños de 2 a 7 años al mundo del tenis. Su enfoque es enseñar los fundamentos del tenis, promover el buen estado físico y la coordinación, y fomentar el buen espíritu deportivo.

Siguiente paso Broadway

Esta escuela de artes escénicas en la ciudad de Jersey ofrece clases de baile, voz y actuación de alta calidad. Atienden a estudiantes de todos los niveles de habilidad, fomentando su creatividad y confianza en un entorno de apoyo e inspiración.

la escuela de nimbo

Reconocida en la ciudad de Jersey, esta institución ofrece educación en danza para todas las edades y niveles de habilidad. Con una amplia gama de géneros de danza y la organización de espectáculos y programas de alcance comunitario, contribuyen a la escena artística local y fomentan el aprecio por la danza.

Hemos desarrollado una solución basada en Python que utiliza técnicas de web scraping para automatizar el proceso. Nuestra herramienta monitorea periódicamente los sitios web seleccionados para detectar cambios en la información sobre las actividades de los niños. Una vez que se identifica un cambio, la herramienta actualiza sin problemas el sitio web de la empresa, reflejando constantemente la información más actualizada.

Además de actualizar el sitio web, nuestra herramienta mantiene un registro detallado de los cambios, proporcionando datos valiosos para fines de análisis y referencia. También se puede configurar para enviar notificaciones en tiempo real, manteniendo informado al equipo de la empresa de cualquier cambio detectado. El uso de nuestra herramienta le permite a la empresa optimizar sus operaciones, asegurando que su sitio web siempre muestre la información más reciente de múltiples fuentes.

Advertencia sobre web scraping

Es importante tener en cuenta que las actividades de web scraping pueden tener implicaciones legales y éticas. Antes de participar en cualquier actividad de raspado, es esencial verificar si los sitios web de destino permiten el raspado u obtener los permisos necesarios de los propietarios del sitio web. Cumplir con los términos de servicio de los sitios web y respetar sus políticas es crucial. Además, es importante tener en cuenta la frecuencia de las solicitudes y evitar prácticas que puedan interrumpir las operaciones del sitio web. Siempre aborde el raspado web con cuidado y siga las mejores prácticas para garantizar una experiencia positiva y compatible.

Obtener los enlaces web deseados para el monitoreo

Se emplea un enfoque sofisticado para extraer los enlaces de la página de inicio del sitio web de destino. Aquí hay un fragmento de código donde usaremos la biblioteca BeautifulSoup de Python para extraer los enlaces de la página de inicio de Super Duper Tennis:

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import pandas as pd # URL of the home page
url = 'https://www.superdupertennis.com/' # Retrieve the HTML content via a GET request
response = requests.get(url)
html_content = response.text # Parse the HTML content with BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser') # Extract the page links from anchor tags (<a>)
links = soup.find_all('a') # Create a list to store the data
data = []
for link in links: page_name = link.text.strip() # Remove leading/trailing whitespace # and format the page name properly web_link = link.get('href') # Use get() method to retrieve #the 'href' attribute if web_link: # Check if 'href' #attribute exists before adding to table complete_link = urljoin(url, web_link) # Construct the complete web link using urljoin data.append({ 'Service Provider': 'Super Duper Tennis', # Update with the actual service provider name 'Page Name': page_name, 'Complete Web Link': complete_link }) # Create a pandas DataFrame from the data
df = pd.DataFrame(data)

• Traemos herramientas esenciales como las bibliotecas de solicitudes, BeautifulSoup y pandas. También seleccionamos el sitio web que queremos explorar, por ejemplo, 'https://www.superdupertennis.com/'.
• Se envía una solicitud GET a esta URL a través de la biblioteca de solicitudes. El contenido HTML resultante de la página de inicio se guarda en 'html_content'.
• BeautifulSoup revisa el contenido HTML e identifica las etiquetas ' '. Estas etiquetas suelen tener los enlaces que nos interesan.
• Cada etiqueta ' ' se procesa para extraer el nombre de la página y el valor 'href', el enlace real. También ordenamos los datos extraídos eliminando espacios adicionales.
• Con la ayuda de la función urljoin() de urllib.parse, unimos la URL base y cada enlace relativo para formar URL completas.
• Todos los datos limpios y preparados se colocan en una lista de 'datos'. Esta lista contiene diccionarios que contienen el nombre del proveedor de servicios, el nombre de la página limpia y la URL completa.
• Finalmente, cambiamos la lista de 'datos' usando pandas en un DataFrame. Este marco de datos se divide en tres columnas: 'Proveedor de servicios', 'Nombre de la página' y 'Enlace web completo'.

Captura de datos inicial

Para establecer una línea de base para comparaciones futuras, realice una captura de datos inicial raspando el deseado
contenido del sitio web y almacenarlo en una estructura de datos, como una base de datos o un archivo. Aquí está la continuación del código anterior:

for a,b,c in zip(df['Service Provider'].to_list(), df['Page Name'].to_list(),df['Web link'].to_list()): url = c headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'} time.sleep(60) # page download response = requests.get(url, headers=headers) # parsed downloaded homepage soup = BeautifulSoup(response.text, "lxml") # discard scripts and styles for script in soup(["script", "style"]): script.extract() soup = soup.get_text() current_ver = soup.splitlines() with open(r"PATH{}{}{}_{}_{}.txt". format(a,b,a,b,date.today().strftime ('%Y-%m-%d')),"a",encoding="utf-8") as file: file.write("n".join(current_ver)) file.close()

Usando el DataFrame de pandas, iteramos sobre las filas para acceder al proveedor de servicios, el nombre de la página y el enlace web. Estas variables se asignan a a, b y c, respectivamente.

Establecemos la variable url dentro de la iteración al enlace web (c). Además, definimos la variable de encabezados para la biblioteca de solicitudes.

Para introducir un retraso razonable entre solicitudes, usamos la función time.sleep() para hacer una pausa de 60 segundos.

A continuación, enviamos una solicitud GET para descargar el contenido de la página utilizando la URL y los encabezados especificados. La respuesta se almacena en la variable de respuesta.

Usando BeautifulSoup con el analizador "lxml", analizamos la página de inicio descargada y extraemos el texto
contenido. Los scripts y estilos se eliminan del contenido analizado.

El texto extraído se divide en líneas y se asigna a la variable current_ver.

Finalmente, abrimos un archivo en modo escritura y escribimos el contenido de texto current_ver. Podemos construir el nombre del archivo según el proveedor de servicios, el nombre de la página y la fecha actual. Estos datos capturados servirán como base para futuras comparaciones en el proyecto de monitoreo del sitio web.

Comparación y detección de cambios

Durante las ejecuciones posteriores, recuperamos el contenido actualizado de la página web y lo contrastamos con nuestros datos de referencia almacenados para identificar cualquier desviación o alteración. Aquí hay una continuación del guión anterior:

change_logs = pd.DataFrame() for provider, page, link in zip(df['Service Provider'].
to_list(), df['Page Name'].to_list(), df['Web link'].to_list()):
files = glob.glob(r"PATH{}{}*.txt".format(provider, page))
files_sorted = sorted(files, key=os.path.getctime, reverse=True)
current_content = open(files_sorted[0], 'r', encoding="utf-8").readlines()
prior_content = open(files_sorted[1], 'r', encoding="utf-8").readlines() comparison = difflib.context_diff(current_content, prior_content, n=3, lineterm='n') compared_text = "n".join([line.rstrip() for line in'n'.join(comparison).splitlines() if line.strip()])
if compared_text == '': change_description = 'No alterations detected on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0]
else: if "We couldn't find the page you were looking for" in compared_text: change_description = 'URL modified on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0] else: change_description = 'Alterations detected on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0] temp_log = pd.DataFrame({'Service Provider': pd.Series(provider), 'Section': pd.Series(page), 'Changes': pd.Series (change_description), 'Link': pd.Series(link)})
change_logs = change_logs.append(temp_log) comparison = difflib.context_diff(current_content, prior_content, n=3, lineterm='n') compared_text = "n".join([line.rstrip() for line in'n'.join(comparison).splitlines() if line.strip()])
if compared_text == '': change_description = 'No alterations detected on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0]
else: if "We couldn't find the page you were looking for" in compared_text: change_description = 'URL modified on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0] else: change_description = 'Alterations detected on ' + date.today().strftime('%Y-%m-%d') + ' compared to ' + files_sorted[1].split('_')[2].split('.')[0] temp_log = pd.DataFrame({'Service Provider': pd.Series(provider), 'Section': pd.Series(page), 'Changes': pd.Series(change_description), 'Link': pd.Series(link)})
change_logs = change_logs.append(temp_log)

Creamos un DataFrame vacío llamado change_logs para almacenar los detalles de cualquier cambio identificado. Usando pandas DataFrame, iteramos sobre las filas para obtener el proveedor de servicios, el nombre de la página y el enlace de la página web. Indique estos como proveedor, página y enlace.

Dentro del bucle, reunimos una colección de archivos que coinciden con el patrón de los archivos guardados anteriormente. Esta colección se ordena según la hora de creación del archivo, con el archivo más reciente en primer lugar.

Luego leemos el contenido de los archivos actuales y anteriores para comparar. La función difflib.context_diff() realiza la comparación, almacenando el resultado en la variable de comparación.

Dependiendo del contenido de texto_comparado, podemos determinar si hay cambios o si mensajes específicos indican que falta la página o que la URL ha cambiado.

Posteriormente, construimos la variable change_description, anotando la fecha y la fecha de referencia del archivo anterior para comparar. Usando los datos recuperados, generamos un marco de datos temporal, temp_log, que incluye el proveedor de servicios, el nombre de la página, la descripción del cambio y el enlace de la página web.

Finalmente, agregamos temp_log al marco de datos change_logs, que recopila los detalles de todos los cambios detectados.

Mecanismo de notificación

Emplear un mecanismo de notificación para alertar al usuario sobre la detección de cambios. Puede usar bibliotecas de Python o API externas para la entrega de notificaciones. Primero, importe las bibliotecas necesarias para enviar notificaciones y, según el método que elija, es posible que deba instalar bibliotecas o API adicionales.

Para las notificaciones por correo electrónico, utilizaremos la biblioteca smtplib para enviar correos electrónicos a través de un servidor SMTP. Asegúrese de proporcionar sus credenciales de correo electrónico y los detalles del servidor SMTP.

A continuación se muestra un fragmento de código que muestra una notificación por correo electrónico:

import smtplib def send_email_notification(subject, message, recipient): sender = '[email protected]' password = 'your-email-password' smtp_server = 'smtp.example.com' smtp_port = 587 email_body = f'Subject: {subject}nn{message}' with smtplib.SMTP(smtp_server, smtp_port) as server: server.starttls() server.login(sender, password) server.sendmail(sender, recipient, email_body) # Usage:
subject = 'Website Change Notification'
message = 'Changes have been detected on the website. Please review.'
recipient = '[email protected]'
send_email_notification(subject, message, recipient)

Para las notificaciones por SMS, puede integrar API externas como Twilio o Nexmo. Estas API permiten el envío programático de mensajes SMS. Regístrese para obtener una cuenta, adquiera las credenciales de API necesarias e instale las bibliotecas de Python respectivas.

A continuación se muestra un fragmento de código de ejemplo que demuestra la notificación por SMS utilizando la API de Twilio:

from twilio.rest import Client def send_sms_notification(message, recipient): account_sid = 'your-account-sid' auth_token = 'your-auth-token' twilio_number = 'your-twilio-phone-number' client = Client(account_sid, auth_token) message = client.messages.create( body=message, from_=twilio_number, to=recipient ) # Usage:
message = 'Changes have been detected on the website. Please review.'
recipient = '+1234567890'
send_sms_notification(message, recipient)

Registro e informes

Dado que la organización ejecutaría este script con frecuencia para realizar un seguimiento de los cambios, es fundamental mantener un registro del resultado de cada ejecución. Registrar cada ejecución, incluido el tiempo, la duración y los cambios detectados, puede facilitar este proceso. Podemos usar estos datos para generar informes resumidos que muestren tendencias a lo largo del tiempo y ayuden a comprender la frecuencia y la naturaleza de las actualizaciones del sitio web.

Iniciamos el proceso importando las bibliotecas adecuadas, que incluyen la biblioteca de registro en Python. Simultáneamente, debemos configurar el nivel de registro y el formato del archivo de registro.

import logging # Configure logging settings
logging.basicConfig(filename='website_monitoring.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') # Log an informational message
logging.info('Website monitoring started.') # Log the detected changes
logging.info('Changes detected on {date}: {details}'
.format(date='2023-06-15', details='Updated content on homepage.')) # Log an error message
logging.error('Error occurred while retrieving website content.')

Para generar un informe a partir de los datos de registro, podemos emplear bibliotecas como matplotlib o seaborn para crear visualizaciones que resuman los cambios a lo largo del tiempo. La elección de informes y visualizaciones dependerá de los cambios registrados.

Aquí hay un fragmento de código de ejemplo para generar un gráfico de líneas simple para ilustrar la frecuencia de cambio a lo largo del tiempo:

import matplotlib.pyplot as plt
import pandas as pd # Read the log file into a pandas DataFrame
log_data = pd.read_csv('website_monitoring.log', delimiter=' - ', header=None, names=['Timestamp', 'Level', 'Message']) # Convert the Timestamp column to datetime format
log_data['Timestamp'] = pd.to_datetime(log_data
['Timestamp'], format='%Y-%m-%d %H:%M:%S') # Group the data by date and count the number of changes per day
changes_per_day = log_data[log_data['Level'] == 'INFO']
.groupby(log_data['Timestamp'].dt.date).size() # Plot the changes over time
plt.plot(changes_per_day.index, changes_per_day.values)
plt.xlabel('Date')
plt.ylabel('Number of Changes')
plt.title('Website Content Changes Over Time')
plt.xticks(rotation=45)
plt.show()

Limitaciones

Pueden surgir varios desafíos durante la implementación del proyecto, que requieren una cuidadosa consideración. Estos
las limitaciones incluyen cambios en la estructura del sitio web, restricciones legales o éticas, y errores en los procesos de comparación de datos o raspado web.

Cambios en la estructura del sitio web: Los sitios web dinámicos a menudo sufren modificaciones, lo que afecta el proceso de web scraping. Se hace necesario adaptar el código de raspado para acomodar estos cambios. Supervisar y actualizar periódicamente el código de extracción puede garantizar la compatibilidad con las estructuras de sitios web en evolución.

Restricciones legales y éticas: Seguir las pautas legales y éticas es crucial para el web scraping. Los sitios web pueden tener términos de servicio que prohíban el raspado o impongan restricciones en la recopilación de datos. Respetar estos términos y usar los datos raspados de manera responsable es esencial para garantizar el cumplimiento.

Errores en Web Scraping y Comparación de datos: El raspado web implica la interacción con sitios web externos, lo que presenta la posibilidad de errores. Pueden ocurrir fallas de conexión, tiempos de espera o problemas con el servidor durante el raspado. Emplear mecanismos robustos de manejo de errores para manejar con gracia tales situaciones es vital. Además, garantizar la precisión de los procesos de comparación de datos y dar cuenta de posibles
errores como falsos positivos o negativos son cruciales para obtener resultados confiables.

Permisos y políticas del sitio web: Verificar si el sitio web de destino permite el raspado u obtiene los permisos necesarios del propietario del sitio web es esencial antes de iniciar el raspado web. Cumplir con el archivo robots.txt del sitio web, respetar sus términos de servicio y tener en cuenta la frecuencia de las solicitudes son consideraciones importantes para evitar infracciones de la política.

Conclusión

En conclusión, este proyecto ha creado con éxito una poderosa herramienta de Python para rastrear las actualizaciones del sitio web a través del web scraping. Hemos desarrollado con éxito una herramienta con características esenciales como web scraping, comparación de datos, notificaciones, registro e informes.

A lo largo de este proyecto, hemos profundizado nuestra comprensión de HTML, perfeccionado nuestras habilidades en el procesamiento de texto y dominado el arte de la manipulación de datos. Aprovechando las capacidades de BeautifulSoup y las solicitudes, nos hemos vuelto expertos en web scraping y tareas automatizadas usando Python. Además, hemos desarrollado un sólido mecanismo de manejo de errores y adquirido experiencia en análisis de datos y generación de informes.

Nuestra herramienta es una solución confiable para rastrear cambios en artículos de noticias, listados de productos y otro contenido web. La automatización del proceso elimina la necesidad de actualizaciones manuales, lo que garantiza que la información permanezca actualizada y precisa.

A lo largo de este viaje, hemos adquirido valiosos conocimientos y habilidades, que incluyen:

1. Técnicas de raspado web usando BeautifulSoup y solicitudes.
2. Extracción efectiva de información valiosa de estructuras HTML.
3. Automatización de tareas para agilizar procesos.
4. Manejo robusto de errores en los procedimientos de web scraping.
5. Análisis y comparación de datos avanzados para identificar cambios.
6. Creación de notificaciones, registros e informes completos para un seguimiento eficiente y un análisis detallado.

Preguntas frecuentes

Los medios que se muestran en este artículo no son propiedad de Analytics Vidhya y se utilizan a discreción del autor.

Relacionado:

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Automoción / vehículos eléctricos, Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• Desplazamientos de bloque. Modernización de la propiedad de compensaciones ambientales. Accede Aquí.
• Fuente: https://www.analyticsvidhya.com/blog/2023/07/website-monitoring-using-python/