Ir al contenido

ML Engineer · Computer Vision & LLMs

Juan Manuel Ruiz Muñoz

Llevo modelos de visión y lenguaje de la investigación a producción: detección y segmentación de defectos industriales, OCR multimodal ajustado con LoRA y sistemas RAG. Físico y matemático de formación: me importa entender por qué funciona un modelo antes de desplegarlo.

  • 0,83 mAP@50:95 en segmentación multiclase, en producción
  • 98,56 % exact match de un OCR multimodal (GLM-OCR + LoRA) en producción
  • DCAI'25 paper sobre detección de desinformación con LLMs y RAG
  • 35,9 % recuperación de activaciones con un filtro de ~2 KB (vcalib)

Elche, Alicante, España

Juan Manuel Ruiz Muñoz

Sobre mí

Físico y matemático especializado en ingeniería de Machine Learning y Computer Vision. Llevo modelos de visión y lenguaje a producción real: del dato al despliegue con Docker, vLLM y MLflow. Me interesa entender los modelos a fondo, no solo entrenarlos. Cuando no estoy entrenando modelos, escribo sobre física, caos y meteorología en este blog.

...

Experiencia

1

Publicaciones

5

Open source

Descargar CV

Proyectos

En producción

Inspección industrial de neumáticos con visión y OCR multimodal

Detección y segmentación de defectos (CNNs, ViT, YOLO, RF-DETR) y lectura de flancos con GLM-OCR ajustado con LoRA, en producción en VRAIA. Servido con vLLM y Docker.

  • mAP@50:95 de 0,83 en segmentación multiclase
  • 98,56 % de exact match en OCR sobre flancos
PyTorchRF-DETRGLM-OCRLoRAvLLMDocker

Experiencia

ML Engineer · Computer Vision & LLMs

VRAIA Corp.

Junio 2025 - Presente

Llevo a producción modelos de detección y segmentación de defectos (CNNs, ViT, YOLO, RF-DETR) y un OCR multimodal (GLM-OCR) para inspección industrial de neumáticos: mAP@50:95 de 0,83 y 98,56% de exact match leyendo flancos.

Escribo sobre este trabajo en OCR en condiciones extremas y CNNs vs Vision Transformers.

  • Diseño y entrenamiento de modelos de detección y segmentación de defectos (CNNs, Vision Transformers, YOLO, RF-DETR) para inspección industrial de neumáticos: mAP@50:95 de 0,83 en segmentación multiclase sobre datasets propios de miles de imágenes.
  • Fine-tuning de un modelo de lenguaje multimodal (GLM-OCR) con LoRA vía LLaMA-Factory para leer texto en flancos de neumático: 98,56 % de exact match en producción; serving con vLLM y Ollama.
  • Pipeline de generación sintética de defectos con modelos generativos para ampliar datasets escasos y mejorar la robustez de la detección.
  • Peritaje técnico con CNNs y Vision Transformers para comparar productos de forma objetiva y reproducible a partir de sus partes estructurales y de apariencia.
  • Pipelines ETL de extracción, transformación y aumento de datasets visuales a escala industrial.
  • Despliegue y monitorización con Docker, MLflow y TensorBoard; métricas de evaluación (precision, recall, F1, mAP, IoU) para validación en tiempo real; documentación técnica y especificación algorítmica en C++ para el equipo cliente.
PyTorch Vision Transformers YOLO RF-DETR GLM-OCR LoRA LLaMA-Factory vLLM MLflow Docker C++

Data Scientist & AI Researcher

AIR Institute & Grupo de Investigación BISITE

Junio 2024 - Junio 2025

Investigación en NLP y LLMs: una arquitectura de detección de desinformación basada en ontologías generadas con LLMs (publicada en DCAI'25), pipelines RAG y sistemas multiagente, además de proyectos de visión por computador.

Publicación: paper en DCAI'25.

  • Investigación y desarrollo de soluciones de NLP y LLMs, incluida una arquitectura de detección de desinformación basada en ontologías generadas con modelos de lenguaje (publicada en DCAI'25).
  • Pipelines RAG y de recuperación semántica con bases de datos vectoriales (ChromaDB) y sistemas multiagente (Ollama, DeepSeek, GPT-4o-mini), con foco en reducir coste y latencia.
  • Proyectos de Computer Vision (detección, clasificación y segmentación) y gestión del ciclo completo de proyectos ML: requisitos, desarrollo, validación y documentación.
  • Interacción directa con clientes para captura de requisitos y adaptación de soluciones state-of-the-art a casos de uso reales.
NLP LLMs RAG ChromaDB Multiagente Ollama Computer Vision Python

Investigador · Contrato de prácticas

Universidad Miguel Hernández — Grupo SCOLAb

Enero 2024 - Julio 2024

Desarrollé métodos lagrangianos para identificar automáticamente situaciones de bloqueo atmosférico: la base de mi TFG y de una publicación en desarrollo.

Lo cuento en detalle en Bloqueos atmosféricos, punto de vista lagrangiano.

  • Desarrollo de métodos lagrangianos para la identificación automática de situaciones de bloqueo atmosférico, base del TFG y de una publicación en desarrollo.
  • Colaboración en proyectos del grupo de física atmosférica.
Python Física Atmosférica HYSPLIT ERA5 DBSCAN

Educación

Grado en Física

Universidad de Alicante

+120 ECTS del Grado en Matemáticas cursados en paralelo (programa de estudios simultáneos de la UA).

2020 - 2024

TFG: Un método lagrangiano para la identificación de situaciones de bloqueo atmosférico

Beca SICUE — Física y Matemáticas

Universidad de Salamanca

Beca de movilidad nacional.

2022 - 2023

Certificaciones

AWS Cloud Technical Essentials

Amazon Web Services

Build Basic Generative Adversarial Networks (GANs)

DeepLearning.AI

Introduction to Front-End Development

Meta

Cambridge English B1 Preliminary

Cambridge Assessment English

Publicaciones

DCAI'25 DCAI 2025 · International Conference on Distributed Computing and Artificial Intelligence

AI-Powered Ontology-Based Architecture for Misinformation Detection in Fiction Works

Marcos Arias-González, Juan Manuel Ruiz Muñoz, Pablo Armenteros Cosme, Lucía Isabel Rodríguez González, Javier Curto Hernández

BISITE Research Group, Universidad de Salamanca · Proyecto TRUESTORIES (CPP2021-008358)

En desarrollo Publicación en desarrollo a partir del TFG (Universidad de Alicante · Grupo SCOLAb, UMH)

A Lagrangian Method for the Identification of Atmospheric Blocking Situations

Skills

LLMs & NLP

Fine-tuning (LoRA) LLaMA-Factory RAG Transformers vLLM Ollama Embeddings y búsqueda semántica ChromaDB FAISS Prompt engineering

Computer Vision

PyTorch TensorFlow Keras OpenCV CNNs Vision Transformers YOLO RF-DETR Modelos de difusión (FLUX.1) Detección y segmentación

Lenguajes y análisis

Python NumPy Pandas scikit-learn Matplotlib C++ (lectura y especificación) R Análisis estadístico LaTeX

MLOps y herramientas

Docker MLflow TensorBoard Git y GitHub AWS (Cloud Technical Essentials) Linux / SSH uv Jupyter

Contacto

¿Tienes un problema de visión por computador o de LLMs que llevar a producción? Escríbeme.

Juan Manuel Ruiz Muñoz

Juan Manuel

ML Engineer · Computer Vision & LLMs