Kajian Pengembangan Super Learner dengan Cuckoo Search untuk Peningkatan Performa Klasifikasi
Abstract
Metode ensemble merupakan istilah umum untuk metode-metode yang
dapat menggabungkan beberapa model, yang umumnya dilakukan pada masalah
klasifikasi. Pendekatan ini, biasanya menghasilkan tingkat akurasi yang lebih tinggi
dibandingkan dengan model tunggal. Beberapa contoh dari model tunggal adalah
regresi logistik, SVM, decision tree dan neural Network. Tingkat akurasi yang
lebih tinggi mampu diperoleh karena kesalahan prediksi yang dilakukan suatu model
tunggal pada observasi tertentu belum tentu dilakukan juga oleh model tunggal
lainnya. Sehingga jika digabungkan kedua model tunggal tersebut memungkinkan
untuk mendapatkan prediksi yang benar untuk observasi tersebut. Menemukan
metode penggabungan hasil prediksi terbaik dari beberapa model tunggal ini
merupakan kajian yang sering dilakukan pada model ensemble.
Secara umum, metode ensemble dapat dikelompokan menjadi 3 tipe, salah
satunya adalah metode stacking. Metode stacking merupakan metode yang
menggabungkan hasil prediksi dari beberapa model tunggal yang disebut model
dasar (base-learner) dengan menggunakan suatu model tunggal yang disebut model
tingkat lanjut (meta-learner). Super learner (SL) merupakan perkembangan terbaru
dari metode stacking yang memiliki kemampuan menyeleksi kandidat model dasar
dan secara teoritis performa dari SL lebih akurat dari kandidat model dasar yang
digunakan.
Performa dari SL ini dapat ditingkatkan menjadi lebih akurat dengan
mengatur hiperparameter-hiperparameter yang dimiliki oleh kandidat model dasar.
Cuckoo search (CS) yang merupakan salah satu tipe algoritme meta-heuristic
memiliki kemampuan untuk mengatur hiperparameter-hiperparameter ini agar
meningkatkan keakuratan prediksi dari
. Oleh karena itu, penelitian ini memiliki tujuan utama untuk memformulasikan
algoritme CS supaya dapat mengatur hiperparameter-hiperparameter yang dimiliki
oleh kandidat model dasar dan meningkatkan performa dari SL menggunakan
algortime CS yang telah diformulasikan pada beberapa gugus data tolok ukur
(benchmark datasets).
Penelitian ini dilakukan dengan memformulasikan terlebih dahulu algortime
CS agar dapat mengatur hiperparameter-hiperparameter kandidat model dasar
yang dapat berupa bilangan real, bilangan bulat ataupun bilangan biner. Formulasi
ini dilakukan dengan cara melakukan transformasi kandidat solusi dari CS yang
berupa bilangan real menjadi bilangan bulat dan biner. Sebelum algoritme CS
ini diterapkan pada SL, terlebih dahulu kandidat model dasar ditentukan terlebih
dahulu. Penentuan kandidat model dasar ini didasarkan pada kandiat model
dasar yang prediksinya dapat berubah secara signifikan jika hiperparameter
yang digunakan berubah. Kemudian, pengaturan hiperparameter-hiperparameter
kandidat model dasar pada SL dilakukan dengan menerapkan algoritme CS yang
telah diformulasikan. SL yang hiperparameter-hiperparameter kandidat model
dasarnya telah diatur oleh CS disebut dengan Cuckoo super learner (CSSL).
Gugus data tolok ukur digunakan untuk mengetahui peningkatan performa yang
didapatkan oleh SL sebelum menjadi CSSL dan setelah menjadi CSSL. Hasil
dari penelitian ini menunjukkan bahwa terjadi peningkatan performa SL sebelum
menjadi CSSL dan setelah menjadi CSSL pada semua gugus data tolok ukur.
Walaupun demikian, waktu komputasi yang dibutuhkan oleh CSSL ini cukup besar.