Nube de puntos generada: un neumático girando bajo un barrido de luz rasante mientras un OCR lee el texto del flanco.

ML Engineer · Computer Vision & LLMs

Juan Manuel Ruiz Muñoz

Llevo modelos de visión y lenguaje de la investigación a producción: detección y segmentación para inspección industrial, OCR multimodal ajustado con LoRA y sistemas RAG. Físico de formación, con base sólida en Matemáticas: me importa entender por qué funciona un modelo antes de desplegarlo.

Alicante, España · Abierto a reubicación, híbrido o remoto

Proyectos

Casos de estudio completos y el resto del trabajo, con su estado y dónde leer más.

Más proyectos

ProyectoStackEstadoEnlaces

Inspección industrial de neumáticos con visión y OCR multimodal

Detección y segmentación (CNNs, ViT, YOLO, RF-DETR) para inspección y detección de defectos, y lectura de flancos con GLM-OCR ajustado con LoRA, en producción en VRAIA. Servido con vLLM y Docker.

PyTorch · RF-DETR · GLM-OCR · LoRA · vLLM · Docker En producción OCR en condiciones extremasCNNs vs Vision Transformers

GLM-OCR + LoRA para extraer campos de tickets y facturas

Adaptación del modelo multimodal GLM-OCR con LoRA (LLaMA-Factory) para devolver JSON estructurado a partir de la imagen de un ticket o una factura. Inferencia 100 % local.

GLM-OCR · LoRA · LLaMA-Factory · Python En desarrollo Código invoice-ocr

vision-pytorch: pipelines DINOv2/v3 para clasificación y features

Entrenamiento, evaluación y extracción de embeddings con backbones ViT de Meta: fine-tuning completo, linear probe o extractor de características, con métricas por clase y checkpoints.

PyTorch · DINOv2 · DINOv3 · ViT En desarrollo Código

Identificación lagrangiana de bloqueos atmosféricos (TFG)

Miles de retrotrayectorias HYSPLIT sobre ERA5 y clustering DBSCAN para localizar bloqueos por el estancamiento real del aire, sin umbrales eulerianos. Validado en las olas de calor de 2003 y 2019.

Python · HYSPLIT · ERA5 · DBSCAN Completado Código Paper Post

Agente local con Ollama: tool calling y RAG

Agente de consola 100 % local con herramientas nativas (ficheros, búsqueda web, ejecución de Python) y RAG sobre documentos propios con ChromaDB.

Python · Ollama · ChromaDB · RAG Activo Código

Experiencia

De la física atmosférica a la visión industrial, pasando por la investigación en LLMs.

Junio 2025 - Presente Puesto actual

ML Engineer · Computer Vision & LLMs

VRAIA Corp.

Llevo a producción modelos de detección y segmentación (CNNs, ViT, YOLO, RF-DETR) para inspección industrial de neumáticos y detección de defectos, y un OCR multimodal (GLM-OCR): mAP@50:95 de 0,83 en segmentación multiclase y 98,56 % de exact match leyendo flancos.

Escribo sobre este trabajo en OCR en condiciones extremas y CNNs vs Vision Transformers.

6 logros
  • Diseño y entrenamiento de modelos de detección y segmentación (CNNs, Vision Transformers, YOLO, RF-DETR) para inspección industrial de neumáticos y detección de defectos: mAP@50:95 de 0,83 en segmentación multiclase sobre datasets propios de miles de imágenes.
  • Fine-tuning de un modelo de lenguaje multimodal (GLM-OCR) con LoRA vía LLaMA-Factory para leer texto en flancos de neumático: 98,56 % de exact match en producción; serving con vLLM y Ollama.
  • Pipeline de generación sintética de defectos con modelos generativos para ampliar datasets escasos y mejorar la robustez de la detección.
  • Peritaje técnico con CNNs y Vision Transformers para comparar productos de forma objetiva y reproducible a partir de sus partes estructurales y de apariencia.
  • Pipelines ETL de extracción, transformación y aumento de datasets visuales a escala industrial.
  • Despliegue y monitorización con Docker, MLflow y TensorBoard; métricas de evaluación (precision, recall, F1, mAP, IoU) para validación en tiempo real; documentación técnica y especificación algorítmica en C++ para el equipo cliente.
PyTorchVision TransformersYOLORF-DETRGLM-OCRLoRALLaMA-FactoryvLLMMLflowDockerC++
Junio 2024 - Junio 2025

Data Scientist & AI Researcher

AIR Institute & Grupo de Investigación BISITE

Investigación en NLP y LLMs: una arquitectura de detección de desinformación basada en ontologías generadas con LLMs (publicada en DCAI'25), pipelines RAG y sistemas multiagente, además de proyectos de visión por computador.

Publicación: paper en DCAI'25.

4 logros
  • Investigación y desarrollo de soluciones de NLP y LLMs, incluida una arquitectura de detección de desinformación basada en ontologías generadas con modelos de lenguaje (publicada en DCAI'25).
  • Pipelines RAG y de recuperación semántica con bases de datos vectoriales (ChromaDB) y sistemas multiagente (Ollama, DeepSeek, GPT-4o-mini), con foco en reducir coste y latencia.
  • Proyectos de Computer Vision (detección, clasificación y segmentación) y gestión del ciclo completo de proyectos ML: requisitos, desarrollo, validación y documentación.
  • Interacción directa con clientes para captura de requisitos y adaptación de soluciones state-of-the-art a casos de uso reales.
NLPLLMsRAGChromaDBMultiagenteOllamaComputer VisionPython
Enero 2024 - Julio 2024

Investigador · Contrato de prácticas

Universidad Miguel Hernández — Grupo SCOLAb

Desarrollé métodos lagrangianos para identificar automáticamente situaciones de bloqueo atmosférico: la base de mi TFG y de una publicación en desarrollo.

Lo cuento en detalle en Bloqueos atmosféricos, punto de vista lagrangiano.

2 logros
  • Desarrollo de métodos lagrangianos para la identificación automática de situaciones de bloqueo atmosférico, base del TFG y de una publicación en desarrollo.
  • Colaboración en proyectos del grupo de física atmosférica.
PythonFísica AtmosféricaHYSPLITERA5DBSCAN

Del blog

Visión por computador, LLMs, física y meteorología.

Detectar desinformación en la ficción: una ontología que se construye sola

Cómo construimos, en un trabajo publicado en DCAI'25, un sistema que genera automáticamente una base de conocimiento (ontología) con LLMs y RAG, y la usa para detectar información falsa en películas, podcasts y otros formatos de ficción.

6 min

OCR en condiciones extremas: leer texto donde no hay tinta

Qué pasa cuando llevas el OCR a un entorno industrial real —texto en relieve negro sobre negro, polvo, brillos y cadencia de línea— y qué aprendí probando GLM-OCR, un modelo multimodal de 0.9B parámetros que corre en local

6 min

¿Qué ve realmente una red neuronal? De los filtros de Sobel a los mapas de atención

Un recorrido por la interpretabilidad en visión por computador: filtros clásicos, mapas de características, Grad-CAM y atención. Y por qué visualizar lo que ve tu modelo no es opcional en producción

5 min

Publicaciones

DCAI'25

AI-Powered Ontology-Based Architecture for Misinformation Detection in Fiction Works

Marcos Arias-González, Juan Manuel Ruiz Muñoz, Pablo Armenteros Cosme, Lucía Isabel Rodríguez González, Javier Curto Hernández

DCAI 2025 · International Conference on Distributed Computing and Artificial Intelligence

BISITE Research Group, Universidad de Salamanca · Proyecto TRUESTORIES (CPP2021-008358)

En desarrollo

A Lagrangian Method for the Identification of Atmospheric Blocking Situations

Publicación en desarrollo a partir del TFG (Universidad de Alicante · Grupo SCOLAb, UMH)

Educación

2020 - 2024

Grado en Física · Universidad de Alicante

+120 ECTS del Grado en Matemáticas cursados en paralelo (programa de estudios simultáneos de la UA).

TFG: Un método lagrangiano para la identificación de situaciones de bloqueo atmosférico

2022 - 2023

Beca SICUE — Física y Matemáticas · Universidad de Salamanca

Beca de movilidad nacional.

Certificaciones

AWS Cloud Technical Essentials · Amazon Web Services

Herramientas

Lo que uso a diario, agrupado por área.

LLMs & NLP

  • Fine-tuning (LoRA)
  • LLaMA-Factory
  • RAG
  • Transformers
  • vLLM
  • Ollama
  • Embeddings y búsqueda semántica
  • ChromaDB
  • FAISS
  • Prompt engineering

Computer Vision

  • PyTorch
  • TensorFlow
  • Keras
  • OpenCV
  • CNNs
  • Vision Transformers
  • YOLO
  • RF-DETR
  • Modelos generativos
  • Detección y segmentación

Lenguajes y análisis

  • Python
  • NumPy
  • Pandas
  • scikit-learn
  • Matplotlib
  • C++ (lectura y especificación)
  • R
  • Análisis estadístico
  • LaTeX

MLOps y herramientas

  • Docker
  • MLflow
  • TensorBoard
  • Git y GitHub
  • AWS (Cloud Technical Essentials)
  • Linux / SSH
  • uv
  • Jupyter

Sobre mí

Juan Manuel Ruiz Muñoz

Físico con formación avanzada en Matemáticas, especializado en ingeniería de Machine Learning y Computer Vision. Llevo modelos de visión y lenguaje a producción real: del dato al despliegue con Docker, vLLM y MLflow. Me interesa entender los modelos a fondo, no solo entrenarlos. Cuando no estoy entrenando modelos, escribo sobre física, caos y meteorología en este blog.

  • Experiencia…
  • Publicaciones1
  • Open source5

Contacto

¿Tienes un problema de visión por computador o de LLMs que llevar a producción? Escríbeme.

Juan Manuel

ML Engineer · Computer Vision & LLMs