---

Modelo pa-pio-piko

Este repositorio contiene el modelo pa-pio-piko, un ajuste fino (finetune) del modelo LiquidAI/LFM2-1.2B (1.2 mil millones de parámetros). El objetivo de este modelo es comprender y generar texto que utilice correctamente los morfemas interrogativos del jopara (la variedad del guaraní hablada en Paraguay): pa, pio y piko.

Contexto del Modelo

"En el jopara (una mezcla entre el guaraní y español hablado en Paraguay), los morfemas pa, pio y piko señalan que una frase es una pregunta, ya que el guaraní no usa signos de interrogación. Estas partículas también expresan matices de duda, énfasis o sorpresa, aportando riqueza y naturalidad al habla cotidiana."

Este modelo ha sido entrenado para capturar estos matices culturales y lingüísticos, permitiéndole generar respuestas y formular preguntas que suenen naturales en el contexto del jopara paraguayo.

---

Proceso de Ajuste Fino (SFT)

El modelo fue entrenado mediante un Ajuste Fino Supervisado (SFT) en dos etapas para asegurar una comprensión robusta tanto de las instrucciones como de los matices conversacionales de los morfemas.

• Etapa 1: Instrucciones Generales

  • Dataset: nicholasKluge/instruct-aira-dataset
  • Tamaño: ~1,300 muestras.
  • Propósito: Se aplicaron los morfemas interrogativos a un corpus de instrucciones en español para enseñar al modelo la función y el formato básicos de estas partículas en un contexto de seguimiento de instrucciones.

• Etapa 2: Refinamiento Conversacional

  • Dataset: OpenAssistant/oasst2
  • Tamaño: ~3,400 muestras.
  • Propósito: Se utilizaron conversaciones de alta calidad, aplicando los morfemas en un contexto de diálogo más natural y fluido, para refinar la capacidad del modelo de usar pa, pio y piko en un chat.

---

Uso

Puedes cargar y utilizar este modelo directamente con la biblioteca transformers. Este modelo está diseñado para ser usado como un asistente de chat y responde mejor cuando se utiliza con su plantilla de chat correspondiente.

Aquí tienes un ejemplo de cómo ejecutar el modelo en un notebook de Python (o un script .py):

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

# El ID de tu modelo en el Hub de Hugging Face
model_name = "eiru-labs/pa-pio-piko" 

# Configuración del dispositivo
device = "cuda" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if device == "cuda" else torch.float32

# Cargar el tokenizador y el modelo
print(f"Cargando modelo {model_name} en {device}...")
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch_dtype,
).to(device)

# --- Creación del Prompt ---
# Este modelo utiliza un formato de chat.
# Debes estructurar la entrada como una conversación.

messages = [
    {"role": "system", "content": "Eres un útil asistente que responde a consultas de usuarios."},
    {"role": "user", "content": "crea 5 preguntas de física"}
]

# Aplicar la plantilla de chat
# Esto formatea la entrada exactamente como el modelo fue entrenado.
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# Tokenizar la entrada
inputs = tokenizer(prompt, return_tensors="pt").to(device)

# --- Generación de la Respuesta ---
print("Generando respuesta...")
outputs = model.generate(
    **inputs,
    max_new_tokens=1024,
    temperature=0.4,
    top_k=20,
    top_p=0.95,
    do_sample=True,
    repetition_penalty=1.2
)

# Decodificar y mostrar solo la respuesta generada
# Nos saltamos el prompt en la salida
response_text = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)

print("\n=== Respuesta del Modelo ===")
print(response_text)

Ejemplo de Salida Esperada:

=== Respuesta del Modelo ===

1.- ¿Cuál piko es la velocidad de luz en el vacío? (299,792,458 m/s)
2.- ¿Qué pa es la energía cinética y cómo se calcula? (Energía del movimiento)
3.- ¿Cómo pio funcionan los transformadores eléctricos? (Inducción electromagnética)
4.- ¿Por qué pa ocurre una explosión al chocar dos objetos? (Transferencia de energía)
5.- ¿Que relación pio hay entre masa y energía según Einstein? (c²)

¿Te gustaría pa saber más sobre alguno de estos temas? 💡

---

Usos Previstos

Este modelo está diseñado para:

• Crear chatbots y asistentes virtuales con un sabor cultural paraguayo.
• Investigación en NLP sobre lenguas de bajos recursos o dialectos específicos como el jopara.
• Aplicaciones educativas para la enseñanza del guaraní y sus matices.

⚠️ Limitaciones y Sesgos

• Sesgos del Modelo Base: Este modelo hereda cualquier sesgo presente en el modelo original LiquidAI/LFM2-1.2B.
• Enfoque Específico: El entrenamiento se centró intensamente en el uso interrogativo de pa, pio y piko. Puede que no capture todos los usos connotativos o de énfasis de estas partículas.
• Alucinaciones: Como todos los LLMs, el modelo puede generar información incorrecta o sin sentido (alucinar). Verifique siempre la información crítica.
• Contexto Lingüístico: El modelo está entrenado en "jopara" (mezcla de español y guaraní) tal como se usa en los datasets, y puede no ser representativo del guaraní "puro" u otras variantes regionales.

Agradecimientos

• A LiquidAI por el modelo base LFM2-1.2B.
• A Nicholas Kluge por el dataset instruct-aira-dataset.
• Al equipo de OpenAssistant por el dataset oasst2.

Contacto

• email: [email protected]