Sistem Deteksi Emosi Manusia Menggunakan Metode Audio-Visual Berbasis MFCC, Random Forest, dan CNN

Abstract

Perkembangan teknologi kecerdasan buatan memberikan peluang bagi sistem komputer untuk mengenali dan memahami emosi manusia secara otomatis. Namun, sebagian besar sistem deteksi emosi hanya memanfaatkan satu modalitas, seperti suara atau citra wajah, sehingga performanya masih dipengaruhi oleh kondisi lingkungan, seperti kebisingan dan pencahayaan. Penelitian ini bertujuan mengembangkan sistem Audio-Visual Emotion Recognition (AVER) yang mampu mendeteksi emosi secara real-time menggunakan kombinasi informasi suara dan citra wajah. Pada sistem audio digunakan metode Mel Frequency Cepstral Coefficients (MFCC) sebagai ekstraksi fitur dan algoritma Random Forest sebagai metode klasifikasi, sedangkan pada sistem visual digunakan Convolutional Neural Network (CNN) untuk mengenali ekspresi wajah. Hasil prediksi kedua modalitas kemudian digabungkan menggunakan metode Weighted Late Fusion dengan pembobotan 75% pada sistem visual dan 25% pada sistem audio. Penelitian difokuskan pada empat kategori emosi, yaitu Happy, Neutral, Angry, dan Sad. Hasil pelatihan menunjukkan bahwa model audio memperoleh akurasi sebesar 75,56%, sedangkan model visual memperoleh akurasi sebesar 87,48%. Selanjutnya, sistem diuji secara real-time terhadap 10 responden, dimana setiap responden melakukan 60 kali pengujian sehingga diperoleh 600 data pengujian pada setiap mode. Berdasarkan hasil pengujian, Mode Visual menunjukkan tingkat keberhasilan tertinggi pada emosi Happy sebesar 90,00% dan Neutral sebesar 86,00%. Pada Mode Audio, tingkat keberhasilan tertinggi diperoleh pada emosi Sad sebesar 88,67%. Sementara itu, Mode Fusion menunjukkan tingkat keberhasilan tertinggi pada emosi Happy sebesar 80,67% dan Neutral sebesar 68,00%. Hasil tersebut menunjukkan bahwa sistem visual memiliki performa yang lebih baik dibandingkan sistem audio, sedangkan metode Weighted Late Fusion mampu menghasilkan deteksi emosi yang lebih stabil melalui penggabungan informasi audio dan visual. Berdasarkan hasil penelitian yang telah dilakukan, sistem deteksi emosi berbasis audio-visual berhasil diimplementasikan dalam bentuk aplikasi GUI berbasis Python yang mampu melakukan deteksi emosi secara real-time menggunakan webcam dan mikrofon. Penelitian ini diharapkan dapat menjadi salah satu referensi dalam pengembangan sistem Human Computer Interaction (HCI).