Sistem Verifikasi Wajah Deep Learning MobileNetV2 dan Convolutional Neural Network Berbasis Siamese Model

Abstract

Teknologi keamanan informasi berkembang pesat seiring meningkatnya kebutuhan perlindungan data dan identitas pengguna. Sistem autentikasi konvensional yang mengandalkan kata sandi atau PIN memiliki kelemahan mendasar karena rentan terhadap pencurian, peretasan, dan kelalaian pengguna. Teknologi biometrik menawarkan alternatif yang lebih aman dengan memanfaatkan ciri fisik atau perilaku unik seperti sidik jari, iris mata, dan wajah. Metode verifikasi wajah mendapatkan perhatian khusus karena sifatnya yang non-invasif, kemudahan penggunaan, dan potensi penerapan yang luas. Peningkatan penggunaan perangkat mobile dan desktop dalam kehidupan sehari-hari menimbulkan tantangan ketika verifikasi wajah harus dijalankan pada perangkat dengan sumber daya komputasi terbatas. Tantangan tersebut meliputi kebutuhan akurasi tinggi, efisiensi pemrosesan, dan stabilitas performa dalam kondisi nyata. Penelitian ini bertujuan mengevaluasi kinerja enam model embedding Convolutional Neural Network (CNN), L2-normalized CNN, MobileNetV2, MobileNetV2 Adjusted, pre-trained MobileNetV2, dan fine-tuned MobileNetV2 yang diintegrasikan dalam arsitektur Siamese Neural Network (SNN). Penelitian ini juga bertujuan menilai pengaruh teknik optimasi seperti pre-trained, fine-tuning, dan L2-normalization terhadap performa model, serta menguji efektivitas implementasi model terbaik pada skenario real-time. Penelitian ini merancang dan menguji arsitektur Siamese Neural Network (SNN) dengan enam model embedding yang memiliki karakteristik berbeda. Model CNN terdiri dari empat blok konvolusi berlapis max pooling dan satu lapisan dense berukuran 4.096 unit, menghasilkan total 178.421.056 parameter trainable. Model L2-normalized CNN menambahkan batch normalization dan dropout pada setiap blok konvolusi serta L2 normalization layer pada keluaran dense 512 unit, dengan total 23.361.600 parameter. Model MobileNetV2 menggunakan arsitektur lightweight dengan tiga lapisan dense (4.096, 1.024, 512 unit) dan L2 normalization, berjumlah 12.230.208 parameter. Model MobileNetV2 Adjusted mengintegrasikan augmentasi langsung di arsitektur (rescaling, random flip, random rotation), menghasilkan embedding berdimensi 128 dengan total 3.870.144 parameter. Model pre-trained MobileNetV2 memanfaatkan bobot ImageNet tanpa fine-tuning (9.969.664 parameter trainable dari total 12.230.208), sedangkan fine-tuned MobileNetV2 mengaktifkan pelatihan ulang pada lapisan atas untuk menyesuaikan karakteristik data primer (11.831.104 parameter trainable dari total 12.230.208). Seluruh model embedding menghasilkan vektor representasi berdimensi rendah yang dibandingkan menggunakan metrik jarak euclidean distance dan dioptimalkan dengan Contrastive Loss. Proses pelatihan dilakukan selama 20 epoch menggunakan Adam optimizer dengan early stopping, sedangkan evaluasi performa mencakup metrik akurasi, presisi, recall, F1-score, AUC, serta pengujian real-time pada CPU dan GPU. Penelitian ini memanfaatkan kombinasi data primer, sekunder, dan empiris untuk melatih dan menguji model. Data primer terdiri dari 2.520 citra wajah delapan individu (empat pria dan empat wanita) yang diperoleh menggunakan tiga jenis webcam, yaitu Acer Nitro AN515-54, Asus ROG GC21, dan Smart Monitor Samsung M8, masing-masing menghasilkan 105 citra per individu. Data sekunder berasal dari Labeled Faces in the Wild (LFW) yang digunakan sebagai label negatif, sedangkan dataset ImageNet digunakan untuk mendukung pelatihan model pre-trained. Data empiris berupa embedding yang dihasilkan keenam model setelah proses ekstraksi fitur. Tahap preprocessing meliputi augmentasi citra, normalisasi skala piksel ke rentang [0,1], serta penyesuaian ukuran menjadi 160×160 piksel. Dataset dibentuk menjadi pasangan positif-negatif yang seimbang, menghasilkan total 43.680 pasangan yang dibagi menjadi 70% untuk pelatihan (30.576 pasangan) dan 30% untuk pengujian (13.104 pasangan). Distribusi data yang seimbang ini memastikan proses pelatihan model bebas dari bias kelas dan valid untuk evaluasi performa. Hasil evaluasi menunjukkan bahwa pre-trained MobileNetV2 dan CNN mencapai akurasi tertinggi masing-masing sebesar 100% dan 99,99%, dengan precision, recall, F1-score, dan AUC yang sangat tinggi. Model MobileNetV2 Adjusted menonjol karena mampu mempertahankan akurasi tinggi (AUC > 0,99) sekaligus menawarkan efisiensi komputasi, sehingga direkomendasikan sebagai model terbaik untuk aplikasi real-time. Model MobileNetV2 standar dan L2-normalized CNN menunjukkan performa lebih rendah dan cenderung tidak stabil, sedangkan fine-tuned MobileNetV2 memperlihatkan akurasi tinggi namun berisiko overfitting pada beberapa ulangan. Pengujian real-time pada CPU menunjukkan bahwa MobileNetV2 Adjusted menghasilkan average distance rendah pada wajah cocok, latency 152-202 ms, dan throughput 4,82-6,35 gambar per detik. Pengujian pada GPU juga memberikan hasil verifikasi yang baik, namun dengan latency lebih tinggi dan throughput lebih rendah dibanding CPU. Perbandingan CPU dan GPU menegaskan bahwa CPU lebih optimal untuk model ringan. Penelitian ini menyimpulkan bahwa MobileNetV2 Adjusted merupakan model embedding terbaik untuk verifikasi wajah berbasis arsitektur Siamese Neural Network pada perangkat dengan sumber daya terbatas. Model MobileNetV2 Adjusted mampu memadukan akurasi tinggi dengan efisiensi komputasi yang mendukung implementasi real-time, khususnya pada CPU. Teknik pre-trained terbukti memberikan stabilitas hasil, sedangkan fine-tuning meningkatkan akurasi tetapi memerlukan mitigasi risiko overfitting. Evaluasi real-time memperlihatkan bahwa CPU memberikan kinerja lebih optimal dibanding GPU untuk model ringan pada batch kecil. Penelitian selanjutnya disarankan untuk mengoptimalkan pemrosesan GPU melalui batch inference serta membandingkan MobileNetV2 Adjusted dengan model lightweight lainnya seperti EfficientNet, ShuffleNet, atau MobileNetV3 guna memperoleh pemahaman lebih mendalam tentang trade-off antara performa dan efisiensi pada sistem verifikasi wajah. Kata kunci: Convolutional Neural Network, MobileNetV2, real-time, Siamese Neural Network, Verifikasi wajah.