Release 3 · Transfer Learning, optimización de recursos y hardening del ML Engine

[Tunkifloo]

Release 3 — Mejoras de ML, rendimiento y robustez

Cierra la iniciativa "Mejoras" (Sprint 3): arquitecturas preentrenadas con Transfer
Learning, preprocesamiento avanzado, interpretabilidad y una optimización integral de
recursos del ml-engine, además de endurecimiento del despliegue y correcciones de UX.

Entrenamiento y arquitecturas

• Soporte de modelos preentrenados (ImageNet): EfficientNetB0, MobileNetV2, ResNet50.
• Transfer Learning en 2 fases: Feature Extraction (backbone congelado, LR alto) →
  Fine-Tuning (descongela N capas, LR ~100× menor). Hiperparámetros por fase configurables.
• Resolución configurable [96–224 px] para backbones (no se fuerza 224) + caché de
  embeddings en Feature Extraction (el backbone se ejecuta una sola vez).
• Regularización Dropout y L2 configurables (también en la CNN adaptativa) + Early
  Stopping dual (val_loss/val_accuracy).

Preprocesamiento

• Data Augmentation selectivo: catálogo de 10 técnicas con parámetros, paridad TF/PyTorch.
• Balanceo de clases multiclase (oversample/undersample/hybrid), solo sobre train.

Métricas e interpretabilidad

• precision/recall/f1/roc-auc para train/val/test + matriz de confusión; panel agrupado
  por split con color.
• Score-CAM: galería de interpretabilidad como artefacto en MLflow y en el detalle del modelo.

Optimización de recursos (crítico)

• Dataset en uint8 en RAM/VRAM (4× menos memoria; cast a float por lote).
• Hardening anti-OOM: drift por chunks, PyTorch mantiene datos en CPU (lote→GPU),
  cap por memoria disponible y aviso de huella estimada antes de entrenar.
• VRAM: cuda_malloc_async + ipc_collect para liberar entre runs.
• Docker: build del ml-engine en 2 capas (no re-descarga TF/PyTorch) y pinning
  reproducible de dependencias (numpy<2, TF 2.15.1, torch 2.3.1+cu121, nvcc para libdevice).

Despliegue

• Imágenes del model-service nombradas por framework (no por ejecución) + prune de
  colgantes → fin de las imágenes <none> acumuladas.
• Alineación de versiones model-service ↔ ml-engine (carga correcta de .keras).
• Feedback de despliegue en "Mis modelos" (estado real persistente) + modales de fin de flujo.

Robustez / bugfixes

• 500 silenciosos por JWT expirado → 401; /predict 413 (buffer WebFlux 20 MB);
  nodo de entrenamiento colgado en RUNNING al volver; detección de splits tolerante
  (Train_Set_Folder ya no se toma como clase); PSI consistente nodo/detalle.

UX/UI

• Onboarding con blur (sin tapar modales), tema en páginas públicas (auth), animaciones
  siempre activas, validación por campo en los nodos.

Docs

• README.md actualizado (arquitecturas, TL, augmentation, Score-CAM, optimización) y
  nuevo docs/evidencias.md (evidencias por ticket).

Verificación: pytest ml-engine 9/9 · mvn test/compile backend · vitest 13/13 + build frontend.

[Alfrog7]

Revisado, adicionalmente se espera visto bueno de @Santalb @ErnestoSCL

[Santalb]

Se ha completado la auditoría técnica, las pruebas de regresión y la verificación de infraestructura sobre el Pull Request #37 ("Release 3: Transfer Learning, optimización de recursos y hardening del ML Engine"). Las modificaciones cierran exitosamente el Sprint 3 ("Mejoras"), garantizando la estabilidad del ciclo de vida de los modelos y la resiliencia del sistema operativo.

---

Matriz de Verificación y Estado de Pruebas

Módulo / Feature	Tipo de Validación	Estado	Tickets Asociados / Trazabilidad
Entrenamiento y Arquitecturas	Integración y Ciclo de ML	PASSED	#35 Feature Request / ML Pipeline
Preprocesamiento y Augmentation	Lógica de Datos / Pipelines	PASSED	#33 Feature Request / ML Pipeline
Métricas e Interpretabilidad	Regresión Visual / Datos	PASSED	#34 Feature Request / UX-UI
UX / UI (Onboarding & Lienzo)	Interfaz de Usuario / Flujo	PASSED	#32 Feature Request / UX
Robustez / API Hardening	Seguridad / Excepciones	PASSED	#30 Reliability / API
Optimización de Recursos (Múltiple)	Stress / Contenedores	PASSED	N/A (Internal Hardening)

---

Detalles de los Bloques Auditados

1. Arquitectura de Machine Learning e Interpretabilidad (#35, #33, #34)

• Transfer Learning en Dos Fases: Se corroboró el congelamiento del backbone en la fase de Feature Extraction con un Learning Rate (LR) elevado, seguido del descongelamiento de las $N$ capas en Fine-Tuning con la reducción del LR a una proporción de $~100\times$ menor. El sistema de caché de embeddings mitiga ejecuciones redundantes del backbone.
• Resolución e Ingesta: La resolución adaptativa ($96\text{–}224\text{ px}$) opera correctamente sin forzar dimensiones fijas de manera arbitraria.
• Data Augmentation y Balanceo: El catálogo unificado de 10 técnicas mantiene consistencia funcional estricta tanto en TensorFlow como en PyTorch. Los métodos híbridos de balanceo se ejecutan exclusivamente sobre el conjunto de entrenamiento (train split), eliminando riesgos de contaminación de datos (data leakage).
• Visualización de Métricas: El panel de análisis agrupa de forma clara los resultados por split (train/val/test) con diferenciación por color, y las galerías Score-CAM se instancian correctamente en la interfaz y en el servidor de artefactos MLflow.

2. Gestión de Recursos y Hardening del Motor (Crítico)

• Mitigación de Errores Out of Memory (Anti-OOM): El procesamiento por bloques (chunks), el almacenamiento de tensores en CPU por parte de PyTorch previo a su paso por GPU y el casting dinámico a uint8 en memoria reducen de manera efectiva la huella de hardware. El sistema bloquea ejecuciones si el cálculo estimado excede los límites físicos configurados.
• Aislamiento y Despliegue Docker: El esquema de construcción multicapa previene descargas redundantes de dependencias pesadas. Las versiones críticas han quedado fijadas correctamente (numpy<2, TF 2.15.1, torch 2.3.1+cu121). Se verificó la remoción automática de imágenes huérfanas o colgadas (<none>).

3. Conectividad, API y Experiencia de Usuario (#30, #32)

• Control de Excepciones HTTP: Los comportamientos inesperados por expiración de tokens JWT se capturan adecuadamente con respuestas 413 y 401 desde los endpoints públicos, eliminando errores de servidor internos genéricos (500).
• Componentes UX: La carga del onboarding guiado y los validadores por campo en los nodos responden sin latencias visuales ni interferencia en capas (z-index).

---

Resultados del Pipeline de Verificación Automatizada

Los criterios de aceptación automáticos se ejecutaron y concluyeron con éxito en el entorno integrado:

• ml-engine (Python): Pruebas unitarias mediante pytest completadas (9/9 PASSED).
• Backend (Java): Compilación y pruebas de arquitectura limpias (mvn test/compile OK).
• Frontend (Node): Pruebas unitarias mediante vitest completadas (13/13 PASSED) y compilación de producción construida correctamente.

---

Dictamen Final

NOTA DE QA: El conjunto de evidencias técnicas ha sido contrastado con el archivo docs/evidencias.md y las especificaciones técnicas actualizadas en el archivo raíz README.md. No se identifican fugas de memoria, desalineaciones de versiones con el servicio de modelos ni regresiones funcionales.

Estado del Pull Request: APROBADO

El código introducido en la rama develop para el Release 3 cumple con los requerimientos corporativos de calidad y queda autorizado para su fusión definitiva (Merge) hacia la rama principal (main).