Home Projects Portfolio Dashboard Export PDF Log in
PHP MySQL

Optimizando la arquitectura de procesamiento en Reimpact/platform

En el proyecto Reimpact/platform hemos realizado una serie de mejoras técnicas críticas enfocadas en la eficiencia del procesamiento de datos y la robustez de nuestros trabajos en segundo plano.

Optimización de Consultas y Rendimiento

Para mitigar el impacto de las consultas N+1 durante la exportación de archivos, hemos implementado el uso de "eager loading" para cargar relaciones esenciales de manera anticipada. Esta estrategia garantiza que los datos relacionados estén disponibles desde la consulta inicial, reduciendo significativamente la carga sobre la base de datos.

Refactorización del Procesamiento de Transacciones

El núcleo de nuestra lógica de transacciones ha sido reestructurado para mejorar la mantenibilidad y el rendimiento:

  • Precarga de Recursos: Implementamos una capa de pre-carga para productos y almacenes, lo que permite realizar búsquedas en memoria en lugar de ejecutar consultas repetitivas por cada transacción.
  • Gestión de Excepciones: Se estandarizó la captura de errores, sustituyendo capturas genéricas por tipos específicos como ModelNotFoundException para asegurar que solo los casos previstos detengan el proceso, mientras que otros errores del sistema puedan ser manejados adecuadamente.
  • Atomicidad: Se integró el uso de métodos de persistencia atómicos para evitar condiciones de carrera cuando múltiples procesos intentan crear recursos simultáneamente.

Ajustes de Infraestructura y Tiempos de Espera

Hemos alineado las configuraciones de los trabajadores de cola con los límites de tiempo de los trabajos. Dado que los tiempos de ejecución de los procesos de carga masiva han aumentado, hemos ajustado los parámetros de timeout y retry_after en la configuración del orquestador de colas. Esto evita que el supervisor termine prematuramente trabajos legítimamente largos y previene reintentos innecesarios que podrían generar duplicados.

Estos cambios, validados mediante pruebas exhaustivas, aseguran que la plataforma mantenga su estabilidad bajo cargas de trabajo pesadas mientras optimiza el uso de los recursos del sistema.


Generated with Gitvlg.com

Optimizando la arquitectura de procesamiento en Reimpact/platform
Gerardo Ruiz

Gerardo Ruiz

Author

Share: