Resolviendo problemas de persistencia en automatizaciones de infraestructura con Brenia
En el proyecto Brenia/brenia, nos enfrentamos recientemente a un desafío técnico recurrente en nuestro flujo de automatización: la eliminación de sitios web se quedaba bloqueada en un estado "removing". A pesar de que nuestra API reportaba una ejecución exitosa, los registros en la base de datos y los archivos en el servidor persistían, generando "sitios zombi" que consumían recursos y complicaban el entorno de desarrollo.
El problema: Eliminaciones incompletas
Al analizar los registros, notamos que múltiples intentos de limpieza a través de teardown.sh no lograban completar la eliminación del sitio por completo. La solución fue implementar un mecanismo de reintento con verificación de estado. En lugar de ejecutar un solo comando DELETE, ahora nuestro script verifica la existencia del recurso mediante un sondeo (polling) y reintenta la operación hasta tres veces si el sitio sigue apareciendo.
#!/bin/bash
# Ejemplo de lógica de reintento para limpieza
MAX_RETRIES=3
COUNT=0
while [ $COUNT -lt $MAX_RETRIES ]; do
execute_delete_request
if ! check_if_site_exists; then
echo "Sitio eliminado correctamente."
exit 0
fi
COUNT=$((COUNT + 1))
sleep 5
done
echo "Error: No se pudo eliminar el sitio tras $MAX_RETRIES intentos." >&2
exit 1
Mejora en la observabilidad y logging
Otro reto técnico fue la captura de logs en tareas programadas (cron). Observamos que los comandos de redirección como >> log 2>&1 no siempre se comportaban como esperábamos al ser ejecutados por el programador de tareas. Para solucionar esto, modificamos nuestros scripts para que gestionen su propia salida estándar utilizando tee, asegurando que el historial de ejecución sea persistente y auditable incluso cuando los procesos fallan de forma silenciosa.
Gracias a estas implementaciones y a la integración de un sistema de vigilancia (watchdog) activo, ahora podemos detectar y remediar automáticamente discrepancias en el estado del servidor en cuestión de minutos, mejorando significativamente la estabilidad de nuestro entorno de pruebas.
Generated with Gitvlg.com