Optimización y robustez en la arquitectura de Reimpact platform
Hemos realizado actualizaciones críticas en la plataforma Reimpact para mejorar la eficiencia, la integridad de los datos y el manejo de procesos en segundo plano.
Mejoras de rendimiento en exportaciones
Para evitar problemas de rendimiento con consultas N+1, hemos actualizado la exportación de archivos a CSV. Ahora, las relaciones necesarias se cargan de forma anticipada, asegurando que el acceso a datos relacionados no dispare múltiples consultas innecesarias a la base de datos.
Gestión resiliente de errores
En el manejo de errores de carga masiva, hemos refinado la lógica de persistencia. Ahora, las violaciones de restricciones de clave foránea (SQLSTATE 23000, error 1452) se ignoran explícitamente en el registro de errores, evitando intentos de reintento innecesarios y manteniendo la consistencia entre los logs y la base de datos.
Refactorización de Jobs de procesamiento
El job encargado de guardar transacciones ha sido completamente reestructurado:
- Pre-carga de recursos: Se implementó una estrategia de carga por lotes para productos y almacenes, utilizando mapas en memoria para búsquedas O(1) en lugar de consultas individuales.
- Atomicidad: Se adoptó
firstOrCreatepara la creación de almacenes, resolviendo condiciones de carrera en entornos de ejecución paralela. - Manejo de errores: Se centralizó la lógica de excepciones para una gestión más limpia y un tipado consistente en las colecciones de errores.
Ajustes en la infraestructura de colas
Para acomodar operaciones de larga duración, hemos ajustado los tiempos de espera (timeouts) en los jobs y en los supervisores de cola, alineando los parámetros de retry_after para evitar duplicación de tareas y asegurar que el sistema procese grandes volúmenes de datos con mayor estabilidad.
Generated with Gitvlg.com