Malang, SERU.co.id – Mahasiswa Teknik Informatika Universitas Ma Chung berhasil mengembangkan machine learning untuk mendeteksi dan mengklasifikasi bahasa isyarat BISINDO. Machine learning tersebut dikembangkan dari proyek tugas akhir. Harapannya dapat membantu komunitas yang membutuhkan dan menginspirasi pengembangan teknologi masa depan.
Pengembang machine learning, Nico Alexander mengatakan, memberikan kontribusi nyata kepada masyarakat menjadi motivasi penelitiannya. Dirinya dibantu dua dosen pembimbing, Prof Dr Eng Romy Budhi Widodo dan Windra Swastika PhD. Kemudian berkolaborasi dengan Sumiyati dari komunitas Gerkatin Kota Malang.
“Proses penelitian saya tidak mudah karena saya belum pernah sama sekali belajar bahasa isyarat. Sehingga saya berkonsultasi dengan tokoh bahasa isyarat Kota Malang. Kemudian mengajarkan gerakan bahasa isyarat kepada empat orang responden,” seru Nico, Kamis (11/1/2024).
Baca juga: Mahasiswi ITN Kembangkan Aplikasi Bahasa Isyarat pada SDLB Purworejo III Pasuruan
Lebih lanjut, Nico mengumpulkan data berupa foto tangan gerakan bahasa isyarat lalu melakukan ekstraksi koordinatnya. Dari situ dihasilkan 21 landmarks pada setiap tangan dengan masing-masing memiliki 3 subkoordinat (x, y, z). Hasilnya ada 63 subkoordinat untuk setiap tangan atau 126 subkoordinat secara keseluruhan.
“Subkoordinat ini digunakan sebagai data acuan untuk pembelajaran machine learning. Hasilnya, data sebanyak 77.000 class difilter menyesuaikan 127 parameter pada setiap baris data guna menjadi referensi pembelajaran AI. Total terdapat 77 kelas kata, terdiri dari gerakan numerik, abjad 26 huruf dan kata-kata sehari-hari,” ungkapnya.
Menurutnya, mengevaluasi perbandingan antara beberapa model classifier sekaligus mempertahankan kemampuan optimal dari masing-masing classifier tanpa pengurangan ataupun penambahan menjadi tantangan utama. Kemudian tantangan lainnya, jumlah data cukup banyak dan gerakan bahasa isyarat mirip atau dinamis.
Baca juga: Peringati Hari Bahasa Isyarat Internasional, Shining Tuli Gelar Outdoor Camping
“Saya berhasil mengatasinya dengan membuat program khusus yang memungkinkan pengambilan foto dalam hitungan detik. Memodifikasi beberapa gerakan agar posisi tertentu dalam gerakan dinamis dapat terdeteksi dengan lebih baik,” terangnya.
Sementara itu, Dekan Fakultas Teknologi dan Desain.Prof Dr Eng Romy Budhi Widodo MT menjelaskan, Nico tergabung dalam kelompok studi Human-Machine Interaction. Kelompok ini berfokus pada kesejahteraan manusia, termasuk penyandang disabilitas dan manual.
“Tujuannya agar dapat menjalankan fungsi kehidupan dengan baik meski dengan segala keterbatasan,” ungkapnya.
Baca juga: Peringatan Hari Bahasa Isyarat Internasional Jawa Timur Digelar di Kabupaten Malang
Nico berhasil menyelesaikan sekitar 70-80% dari tahap prototipe, bahkan sebelum presentasi proyek. Proyek tersebut sebagai langkah penting untuk menghadirkan inovasi membantu pemberdayaan masyarakat dengan disabilitas dan memperkaya komunitas bahasa isyarat.
“Dengan demikian, kami berhasil mewujudkan semangat melalui Tri Darma Perguruan Tinggi untuk memberikan kontribusi untuk Masyarakat,” tutup Romy. (ws10/rhd).
