Klasifikasi Abjad Bahasa Isyarat Indonesia (BISINDO) Secara Real-Time Menggunakan Deep LearningVision Transformer (ViT)

Abstract

Keterbatasan pemahaman Bahasa Isyarat Indonesia (BISINDO) di masyarakat umum menghambat komunikasi efektif antara penyandang tunarungu dengan lingkungan sekitarnya. Penelitian ini mengembangkan sistem klasifikasi abjad BISINDO secara real-time menggunakan arsitektur Vision Transformer (ViT) dan mengevaluasi kinerjanya secara komprehensif pada berbagai jarak kamera dan kondisi pencahayaan. Model dilatih menggunakan 30.316 gambar dari 26 kelas abjad (A–Z) selama 150 epoch pada GPU NVIDIA GeForce RTX 4090. Dataset diperoleh dari kombinasi dataset publik dan pengambilan data mandiri, kemudian diperluas melalui augmentasi rotasi, flip, variasi kecerahan, dan penambahan noise. Pengujian real-time dilakukan pada jarak 30 cm, 50 cm, dan 70 cm serta dua kondisi pencahayaan (16 lux dan 196 lux). Pada jarak optimal 30 cm, sistem mencapai akurasi 95%, precision rata-rata 95,58%, recall rata-rata 95,07%, dan latensi 58,75 ms. Pada jarak 50 cm akurasi tetap tinggi sebesar 94%, namun pada jarak 70 cm terjadi penurunan drastis hingga 27,80%, yang mengindikasikan jarak sebagai faktor dominan yang memengaruhi kinerja. Pengujian pada cahaya redup menghasilkan akurasi 87–88%, sementara validasi lintas pengguna menunjukkan akurasi konsisten 93,08%. Hasil penelitian menunjukkan bahwa arsitektur ViT memiliki potensi signifikan sebagai fondasi sistem penerjemah bahasa isyarat otomatis bagi penyandang tunarungu.