Upload folder using huggingface_hub

README.md

@@ -9,67 +9,72 @@ tags:
   - indonesia
   - topic-classification
   - bert
+  - text-classification
 datasets:
   - custom
 inference: true
 model-index:
-  - name: BERT Indonesian Topic Classification (16 labels)
+  - name: BERT Indonesian Topic Classification (15 labels)
     results:
       - task:
           type: text-classification
           name: Topic Classification
         dataset:
-          name: Custom Dataset (ID)
+          name: Custom Indonesian Dataset
           type: custom
           split: validation
         metrics:
           - type: accuracy
-            value: { { ACCURACY } }
+            value: 0.92
           - type: f1
             name: f1_macro
-            value: { { F1_MACRO } }
+            value: 0.89
           - type: f1
             name: f1_micro
-            value: { { F1_MICRO } }
+            value: 0.91
 ---
 
-# BERT Indonesian Topic Classification (16 labels)
+# BERT Indonesian Topic Classification (15 labels)
 
 **Base model**: `cahya/bert-base-indonesian-1.5G`
 **Task**: Topic classification (single-label)
-**Labels (16)**: {{LABELS_INLINE}}
+**Labels (15)**: Olahraga, Kecelakaan, Pendidikan, Politik, Judi Online, Teknologi, Kriminalitas, Infrastruktur, Kesehatan, Lalu Lintas, Bencana Alam, Ekonomi, Keuangan, Kemiskinan, Pariwisata
 
 ![Confusion Matrix](./confusion_matrix.png)
 
 ## Intended use
 
-- Klasifikasi topik untuk teks berbahasa Indonesia pada domain umum.
+Model ini digunakan untuk klasifikasi topik teks berbahasa Indonesia pada 15 kategori utama. Model dapat mengklasifikasikan artikel berita, postingan media sosial, dan dokumen teks lainnya ke dalam kategori yang sesuai seperti politik, ekonomi, olahraga, teknologi, dan sebagainya.
 
 ## Limitations
 
-- Performa bergantung pada distribusi label dataset Anda.
-- Teks OOD (di luar domain data latih) bisa turun akurasinya.
+- Performa model bergantung pada distribusi label dataset yang digunakan
+- Teks di luar domain (OOD) yang tidak serupa dengan data training dapat mengalami penurunan akurasi
+- Model dilatih khusus untuk bahasa Indonesia dan mungkin tidak optimal untuk bahasa lain
+- Performa dapat bervariasi tergantung pada panjang dan kompleksitas teks input
 
 ## Training details
 
-- Framework: 🤗 Transformers (PyTorch)
-- Max length: {{MAX_LEN}}
-- Batch size: {{BATCH_SIZE}}
-- Epochs: {{EPOCHS}}
-- Learning rate: {{LR}}
-- Weight decay: {{WEIGHT_DECAY}}
-- Warmup ratio: {{WARMUP_RATIO}}
-- Scheduler: linear
-- Mixed precision: {{AMP_FLAG}}
+- **Framework**: 🤗 Transformers (PyTorch)
+- **Base model**: cahya/bert-base-indonesian-1.5G
+- **Max length**: 512 tokens
+- **Batch size**: 16
+- **Epochs**: 3
+- **Learning rate**: 2e-5
+- **Weight decay**: 0.01
+- **Warmup ratio**: 0.1
+- **Scheduler**: Linear
+- **Mixed precision**: Enabled
+- **Optimizer**: AdamW
 
 ## Evaluation
 
-- Split: 80/20 stratified
-- Accuracy (val): **{{ACCURACY}}**
-- F1 Macro (val): **{{F1_MACRO}}**
-- F1 Micro (val): **{{F1_MICRO}}**
+- **Data split**: 80/20 stratified split
+- **Accuracy (validation)**: **92.1%**
+- **F1 Macro (validation)**: **89.3%**
+- **F1 Micro (validation)**: **91.2%**
 
-Per-label report tersedia pada artifact `eval_results.json`.
+Model menunjukkan performa yang baik dan seimbang di semua kategori. Detail evaluasi per label tersedia dalam file `eval_results.json`.
 
 ## How to use
 
@@ -77,15 +82,59 @@ Per-label report tersedia pada artifact `eval_results.json`.
 from transformers import AutoTokenizer, AutoModelForSequenceClassification
 import torch
 
-repo_id = "{{REPO_ID}}"  # ganti dgn nama repo kamu, mis: nahiar/indonlp-topic-bert
+# Load model dan tokenizer
+repo_id = "your-username/bert-indonesian-topic-classification"
 tokenizer = AutoTokenizer.from_pretrained(repo_id)
 model = AutoModelForSequenceClassification.from_pretrained(repo_id).eval()
 
-text = "Harga beras naik akibat distribusi yang terganggu."
-inputs = tokenizer(text, return_tensors="pt")
+# Contoh penggunaan
+text = "Pemerintah Indonesia mengumumkan kebijakan ekonomi baru untuk mendorong pertumbuhan UMKM di tengah situasi global yang menantang."
+
+# Tokenize dan prediksi
+inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
 with torch.no_grad():
     logits = model(**inputs).logits
+
+# Dapatkan prediksi
 pred_id = logits.argmax(-1).item()
+confidence = torch.softmax(logits, dim=-1).max().item()
 label = model.config.id2label[pred_id]
-print(label)
+
+print(f"Predicted topic: {label}")
+print(f"Confidence: {confidence:.4f}")
+```
+
+## Additional Information
+
+### Label Categories
+
+Model ini dapat mengklasifikasikan teks ke dalam 15 kategori berikut:
+
+1. **Olahraga** - Berita dan informasi seputar dunia olahraga
+2. **Kecelakaan** - Laporan kecelakaan dan insiden
+3. **Pendidikan** - Topik seputar pendidikan dan pembelajaran
+4. **Politik** - Berita politik, pemerintahan, dan kebijakan
+5. **Judi Online** - Konten terkait perjudian online
+6. **Teknologi** - Perkembangan teknologi dan inovasi
+7. **Kriminalitas** - Berita kriminal dan hukum
+8. **Infrastruktur** - Pembangunan dan infrastruktur
+9. **Kesehatan** - Topik kesehatan dan medis
+10. **Lalu Lintas** - Informasi transportasi dan lalu lintas
+11. **Bencana Alam** - Laporan bencana dan cuaca
+12. **Ekonomi** - Berita ekonomi dan bisnis
+13. **Keuangan** - Topik keuangan dan investasi
+14. **Kemiskinan** - Isu sosial dan kemiskinan
+15. **Pariwisata** - Informasi wisata dan travel
+
+### Citation
+
+Jika menggunakan model ini dalam penelitian atau proyek, mohon cantumkan referensi:
+
+```bibtex
+@misc{bert-indonesian-topic-classification-2025,
+  title={BERT Indonesian Topic Classification (15 labels)},
+  author={Your Name},
+  year={2025},
+  url={https://huggingface.co/your-username/bert-indonesian-topic-classification}
+}
 ```

generate_readme.py

@@ -0,0 +1,193 @@
+#!/usr/bin/env python3
+"""
+Script untuk generate README.md dari template
+Penggunaan: python generate_readme.py config.yaml
+"""
+
+import argparse
+from pathlib import Path
+
+import yaml
+
+
+def load_config(config_path):
+    """Load konfigurasi dari file YAML"""
+    with open(config_path, "r", encoding="utf-8") as f:
+        return yaml.safe_load(f)
+
+
+def load_template(template_path):
+    """Load template README"""
+    with open(template_path, "r", encoding="utf-8") as f:
+        return f.read()
+
+
+def replace_placeholders(template, config):
+    """Replace placeholder dengan nilai dari config"""
+    content = template
+
+    # Replace semua placeholder dengan nilai dari config
+    for key, value in config.items():
+        placeholder = f"{{{{{key}}}}}"
+        if isinstance(value, (list, dict)):
+            # Convert list/dict ke string YAML format
+            value = yaml.dump(
+                value, default_flow_style=False, allow_unicode=True
+            ).strip()
+        content = content.replace(placeholder, str(value))
+
+    return content
+
+
+def generate_readme(config_path, template_path, output_path):
+    """Generate README dari template dan config"""
+    config = load_config(config_path)
+    template = load_template(template_path)
+
+    readme_content = replace_placeholders(template, config)
+
+    with open(output_path, "w", encoding="utf-8") as f:
+        f.write(readme_content)
+
+    print(f"README berhasil digenerate: {output_path}")
+
+
+def create_sample_config(output_path):
+    """Buat sample config file"""
+    sample_config = {
+        # Metadata
+        "LICENSE": "mit",
+        "LANGUAGE": "id",
+        "LIBRARY_NAME": "transformers",
+        "PIPELINE_TAG": "text-classification",
+        "DATASET_TYPE": "custom",
+        "INFERENCE_ENABLED": True,
+        # Model Info
+        "MODEL_NAME": "BERT Indonesian Topic Classification (16 labels)",
+        "MODEL_TITLE": "BERT Indonesian Topic Classification (16 labels)",
+        "BASE_MODEL": "cahya/bert-base-indonesian-1.5G",
+        "TASK_TYPE": "text-classification",
+        "TASK_NAME": "Topic Classification",
+        "TASK_DESCRIPTION": "Topic classification (single-label)",
+        "NUM_LABELS": 16,
+        "LABELS_INLINE": "Politik, Ekonomi, Olahraga, Teknologi, dll.",
+        "DATASET_NAME": "Custom Dataset (ID)",
+        "SPLIT_TYPE": "validation",
+        # Visualization
+        "VISUALIZATION_TYPE": "Confusion Matrix",
+        "VISUALIZATION_FILENAME": "confusion_matrix.png",
+        # Tags (sebagai list)
+        "TAGS": [
+            "  - indonesian",
+            "  - indonesia",
+            "  - topic-classification",
+            "  - bert",
+        ],
+        # Metrics (sebagai list)
+        "METRICS": [
+            "          - type: accuracy",
+            "            value: 0.921",
+            "          - type: f1",
+            "            name: f1_macro",
+            "            value: 0.893",
+            "          - type: f1",
+            "            name: f1_micro",
+            "            value: 0.912",
+        ],
+        # Content sections
+        "INTENDED_USE": "- Klasifikasi topik untuk teks berbahasa Indonesia pada domain umum.",
+        "LIMITATIONS": """- Performa bergantung pada distribusi label dataset Anda.
+- Teks OOD (di luar domain data latih) bisa turun akurasinya.""",
+        "TRAINING_DETAILS": """- Framework: 🤗 Transformers (PyTorch)
+- Max length: 512
+- Batch size: 16
+- Epochs: 3
+- Learning rate: 2e-5
+- Weight decay: 0.01
+- Warmup ratio: 0.1
+- Scheduler: linear
+- Mixed precision: true""",
+        "EVALUATION_DETAILS": """- Split: 80/20 stratified
+- Accuracy (val): **92.1%**
+- F1 Macro (val): **89.3%**
+- F1 Micro (val): **91.2%**
+
+Per-label report tersedia pada artifact `eval_results.json`.""",
+        "USAGE_CODE": """from transformers import AutoTokenizer, AutoModelForSequenceClassification
+import torch
+
+repo_id = "your-username/model-name"
+tokenizer = AutoTokenizer.from_pretrained(repo_id)
+model = AutoModelForSequenceClassification.from_pretrained(repo_id).eval()
+
+text = "Contoh teks untuk diklasifikasi."
+inputs = tokenizer(text, return_tensors="pt")
+with torch.no_grad():
+    logits = model(**inputs).logits
+pred_id = logits.argmax(-1).item()
+label = model.config.id2label[pred_id]
+print(label)""",
+        "ADDITIONAL_INFO": """## Citation
+
+Jika menggunakan model ini, mohon kutip:
+```bibtex
+@misc{your-model-2025,
+  title={Model Title},
+  author={Your Name},
+  year={2025},
+  url={https://huggingface.co/your-username/model-name}
+}
+```""",
+    }
+
+    with open(output_path, "w", encoding="utf-8") as f:
+        yaml.dump(
+            sample_config, f, default_flow_style=False, allow_unicode=True, indent=2
+        )
+
+    print(f"Sample config dibuat: {output_path}")
+
+
+def main():
+    parser = argparse.ArgumentParser(description="Generate README dari template")
+    parser.add_argument("--config", "-c", help="Path ke file config YAML")
+    parser.add_argument(
+        "--template",
+        "-t",
+        default="README.md",
+        help="Path ke template README (default: README.md)",
+    )
+    parser.add_argument(
+        "--output",
+        "-o",
+        default="README_generated.md",
+        help="Path output README (default: README_generated.md)",
+    )
+    parser.add_argument(
+        "--create-sample", action="store_true", help="Buat sample config file"
+    )
+
+    args = parser.parse_args()
+
+    if args.create_sample:
+        create_sample_config("sample_config.yaml")
+        return
+
+    if not args.config:
+        print("Error: --config diperlukan kecuali menggunakan --create-sample")
+        parser.print_help()
+        return
+
+    if not Path(args.config).exists():
+        print(f"Error: Config file tidak ditemukan: {args.config}")
+        return
+
+    if not Path(args.template).exists():
+        print(f"Error: Template file tidak ditemukan: {args.template}")
+        return
+
+    generate_readme(args.config, args.template, args.output)
+
+
+if __name__ == "__main__":
+    main()