README.md

---
base_model: LeoCordoba/beto2beto-mlsum
library_name: peft
tags:
- summarization
- spanish
- lora
- transformers
- seq2seq
- beto
---

# SenaSoft/chdv-summarization

Modelo de resumen automático de textos en español fine-tuneado a partir de **LeoCordoba/beto2beto-mlsum**, utilizando **LoRA** con la librería **PEFT**.

## 🧠 Descripción del modelo

Este modelo genera resúmenes en español a partir de textos largos, usando una arquitectura **Encoder-Decoder basada en BETO** (BERT español adaptado a tareas de resumen).  
Fue ajustado con un adaptador **LoRA (Low-Rank Adaptation)** para reducir el costo computacional y acelerar el entrenamiento sin sacrificar desempeño.

- **Autores:** Christopher Aponte y David Navarro  
- **Lenguaje:** Español  
- **Tarea:** Resumen de texto (summarization)  
- **Modelo base:** [LeoCordoba/beto2beto-mlsum](https://huggingface.co/LeoCordoba/beto2beto-mlsum)  
- **Framework:** 🤗 Transformers + PEFT  
- **Dataset:** [csebuetnlp/xlsum (configuración: spanish)](https://huggingface.co/datasets/csebuetnlp/xlsum)

## 🚀 Ejemplo de uso

```python
from transformers import pipeline

# Carga del pipeline de resumen
resumidor = pipeline("summarization", model="SenaSoft/chdv-summarization")

texto = """
El aprendizaje automático es una rama fundamental de la inteligencia artificial que se centra en el desarrollo de algoritmos y modelos capaces de aprender a partir de datos. En lugar de seguir instrucciones programadas de forma explícita, estas máquinas identifican patrones, relaciones y tendencias dentro de grandes volúmenes de información, lo que les permite mejorar su rendimiento y tomar decisiones cada vez más precisas con el tiempo.

Esta disciplina se aplica en una amplia variedad de campos. En la visión por computadora, por ejemplo, permite que los sistemas reconozcan rostros, objetos y escenas dentro de imágenes o videos. En el procesamiento de lenguaje natural, posibilita que las máquinas comprendan y generen texto o voz de manera coherente, facilitando herramientas como traductores automáticos, chatbots o asistentes virtuales. También se utiliza en la predicción de comportamientos, donde modelos entrenados con datos históricos pueden anticipar compras de usuarios, detectar fraudes financieros o incluso prever fallas en sistemas industriales.

El impacto del aprendizaje automático es tan amplio que se ha convertido en una de las tecnologías más influyentes del siglo XXI, impulsando la automatización, la personalización de servicios y el análisis inteligente de datos en prácticamente todos los sectores.
"""

# Generar resumen
resumen = resumidor(texto, max_length=100, min_length=30, do_sample=False)
print(resumen[0]["summary_text"])
```

Tiempo de respuesta aproximado: **1.1 segundos** en GPU T4.

## ⚙️ Detalles de entrenamiento

- **Modelo base:** LeoCordoba/beto2beto-mlsum  
- **Adaptación:** LoRA (`r=8`, `alpha=16`, `dropout=0.3`, módulos: query, key, value)  
- **Dataset:** 10 000 ejemplos del split `train` de XLSum (spanish)  
- **Épocas:** 3  
- **Batch size:** 16  
- **Learning rate:** 5e-5  
- **Framework:** Transformers + PEFT  
- **Entrenamiento:** Seq2SeqTrainer  
- **Duración total:** 6 h 34 min  

### 📊 Resultados del entrenamiento

| Step | Training Loss | Validation Loss |
|------|----------------|-----------------|
| 100  | 5.77 | 1.17 |
| 500  | 0.98 | 0.85 |
| 1000 | 0.92 | 0.83 |
| 1500 | 0.93 | 0.83 |
| 1800 | 0.93 | 0.82 |

> El modelo converge de manera estable, con un **Validation Loss final ≈ 0.82**, mostrando buena generalización y sin signos de sobreajuste.

## 🧩 Limitaciones

- Puede generar resúmenes demasiado breves en textos con múltiples párrafos.
- No está diseñado para otros idiomas distintos al español.
- No debe usarse para generar conclusiones analíticas o críticas.

## 📘 Licencia

El modelo base y este fine-tune se comparten bajo la misma licencia abierta de Hugging Face.

---

**Autores:** Christopher Aponte y David Navarro  
**Repositorio:** [SenaSoft/chdv-summarization](https://huggingface.co/SenaSoft/chdv-summarization)