Evaluasi Kinerja Model TabTransformer, Temporal Fusion Transformer (TFT), dan Hybrid TabTransformer-TFT pada Klasifikasi Keterlambatan Penerbangan

Abstract

Keterlambatan penerbangan merupakan permasalahan operasional yang dipengaruhi oleh berbagai faktor, seperti karakteristik penerbangan, kondisi cuaca, kepadatan operasional, serta hubungan antar peristiwa penerbangan berdasarkan waktu. Data penerbangan memiliki struktur tabular yang tersusun atas peubah kategorik dan numerik, sekaligus memiliki pola temporal karena pengamatan terjadi secara berurutan. Model klasifikasi konvensional belum mampu mempelajari interaksi kompleks antar fitur tabular dan ketergantungan temporal secara bersamaan. TabTransformer dapat membentuk representasi kontekstual dari fitur kategorik, sedangkan Temporal Fusion Transformer (TFT) dirancang untuk mempelajari hubungan temporal melalui pemilihan peubah, Long Short-Term Memory (LSTM), mekanisme attention, dan jaringan residual dengan gerbang. Penelitian ini mengembangkan Hybrid TabTransformer-TFT untuk menggabungkan kemampuan pemodelan fitur tabular dan pola temporal dalam klasifikasi keterlambatan penerbangan. Penelitian ini bertujuan mengevaluasi dan membandingkan kinerja TabTransformer, TFT, dan Hybrid TabTransformer-TFT pada data simulasi serta menerapkan ketiga model tersebut pada data empiris klasifikasi keterlambatan penerbangan. Data simulasi dibangkitkan dengan pola hubungan linear dan nonlinear menggunakan 20 peubah penjelas yang terdiri atas enam peubah numerik, sembilan peubah kategorik, dan lima peubah temporal. Simulasi mencakup variasi tingkat pengaruh peubah, tingkat error, serta distribusi kelas. Kombinasi faktor tersebut menghasilkan 12 skenario untuk setiap pola hubungan linear dan nonlinear dengan 15.000 pengamatan pada setiap skenario. Data empiris merupakan gabungan data penerbangan domestik dan data cuaca di Bandar Udara Internasional Soekarno-Hatta selama periode tahun 2024, dengan jumlah pengamatan sebesar 257.442 baris penerbangan. Peubah respon berupa kelas keterlambatan yang dibentuk menjadi tiga Skema klasifikasi, yaitu enam kelas, tiga kelas, dan dua kelas. Peubah penjelas mencakup informasi maskapai, rute, jenis pesawat, terminal, gerbang, lokasi parkir, jumlah penumpang, jarak dan durasi penerbangan, serta kondisi cuaca. Data empiris juga dibagi secara kronologis menjadi 80% data pelatihan dan 20% data pengujian. Evaluasi kinerja model dilakukan menggunakan metrik evaluasi Accuracy, Balanced Accuracy, dan F1-score. Ketiga model dilatih dan dievaluasi secara berulang dengan 10 kali pengulangan untuk memperoleh gambaran variasi dan kestabilan kinerja. Uji statistik ANOVA diterapkan untuk menilai setiap faktor simulasi beserta interaksinya kemudian dilakukan uji lanjut Tukey HSD. Hasil simulasi menunjukkan bahwa kinerja model dipengaruhi oleh karakteristik skenario yang digunakan. Pada pola linear, Hybrid TabTransformer-TFT cenderung menghasilkan Accuracy dan F1-score yang lebih tinggi pada sebagian besar skenario. TabTransformer dan TFT masih menunjukkan kinerja yang kompetitif pada beberapa kombinasi tingkat pengaruh peubah, tingkat error, dan distribusi kelas. Pada pola nonlinear, keunggulan Hybrid terlihat lebih konsisten, terutama dalam menghasilkan Accuracy dan F1-score yang lebih tinggi. Namun, pada beberapa skenario tertentu, model tunggal masih dapat menghasilkan nilai evaluasi yang sebanding atau lebih tinggi pada metrik tertentu. Hasil ini menunjukkan bahwa representasi konteks tabular dan temporal memberikan peningkatan kinerja yang lebih baik ketika hubungan antar fitur semakin kompleks, tetapi tingkat keunggulannya tetap bergantung pada karakteristik data. Hasil analisis keragaman menunjukkan bahwa tingkat pengaruh peubah, tingkat error, distribusi kelas, dan model memberikan pengaruh terhadap kinerja klasifikasi. Tingkat error menghasilkan nilai F-statistics paling besar pada ketiga metrik baik pada pola linear maupun nonlinear, sehingga menjadi faktor yang paling kuat berkaitan dengan perubahan kinerja model. Sejumlah interaksi yang melibatkan model juga signifikan, yang menunjukkan bahwa perbedaan kinerja antara TabTransformer, TFT, dan Hybrid tidak bersifat tetap, tetapi bergantung pada tingkat pengaruh peubah, tingkat error, dan distribusi kelas. Hasil uji Tukey memperlihatkan bahwa Hybrid lebih sering menghasilkan rata-rata kinerja yang lebih tinggi dibandingkan model tunggal, khususnya pada pola nonlinear. Namun, tidak seluruh perbandingan antar model menunjukkan perbedaan yang signifikan pada setiap skenario dan metrik. Pada data empiris, distribusi kelas menjadi semakin seimbang ketika jumlah kelas dikurangi dari enam menjadi tiga dan dua kelas. Pola keterlambatan juga berubah sepanjang tahun, dengan proporsi penerbangan terlambat yang cenderung lebih tinggi mulai April dan mencapai nilai tertinggi pada periode akhir tahun. Hasil pemodelan menunjukkan bahwa Hybrid TabTransformer-TFT memiliki median nilai evaluasi tertinggi pada seluruh Skema klasifikasi. Pada Skema enam kelas, median Accuracy, Balanced Accuracy, dan F1-score Hybrid masing-masing berada di sekitar 0,66, 0,54, dan 0,57. Pada Skema tiga kelas, nilainya meningkat menjadi sekitar 0,74, 0,74, dan 0,74, sedangkan pada Skema dua kelas mencapai sekitar 0,80 untuk ketiga metrik. Hybrid juga menunjukkan sebaran hasil yang relatif sempit sehingga kinerjanya cenderung lebih stabil dibandingkan dua model tunggal. Uji nonparametrik dengan Kruskal–Wallis menunjukkan adanya perbedaan kinerja yang signifikan antara ketiga model pada seluruh Skema dan metrik, dengan Hybrid memperoleh peringkat rata-rata tertinggi, diikuti TabTransformer dan TFT. Temuan ini menunjukkan bahwa Hybrid TabTransformer-TFT mampu memanfaatkan hubungan kontekstual antar fitur tabular sekaligus ketergantungan temporal dalam data penerbangan. Keunggulan Hybrid terlihat lebih baik pada pola nonlinear dan tetap konsisten pada data empiris dengan tingkat kompleksitas kelas yang berbeda. Namun, hasil simulasi juga menunjukkan bahwa Hybrid tidak selalu unggul pada setiap skenario dan metrik sehingga pemilihan model tetap perlu mempertimbangkan struktur data, tingkat gangguan, dan distribusi kelas. Penelitian ini berpotensi memperluas kajian pengembangan model klasifikasi berbasis deep learning dengan arsitektur Transformer pada data yang memiliki karakteristik tabular dan temporal secara bersamaan.

Flight delays are an operational problem influenced by flight characteristics, weather conditions, operational congestion, and temporal relationships among flight events. Flight data combine tabular features, including categorical and numerical variables, with temporal patterns formed by sequential observations. Conventional classification models are generally not designed to learn complex tabular interactions and temporal dependencies simultaneously. TabTransformer produces contextual representations of categorical features, whereas the Temporal Fusion Transformer (TFT) captures temporal relationships through variable selection, Long Short-Term Memory (LSTM), attention mechanisms, and gated residual networks. This study develops a Hybrid TabTransformer-TFT model to integrate tabular and temporal information for flight delay classification. This study aims to evaluate and compare TabTransformer, TFT, and Hybrid TabTransformer-TFT using simulated data and to apply the three models to empirical flight delay data. The simulated data were generated under linear and nonlinear relationships using 20 explanatory variables consisting of six numerical, nine categorical, and five temporal variables. Variations in variable effects, error levels, and class distributions produced 12 scenarios for each relationship pattern, with 15,000 observations per scenario. The empirical data combined domestic flight and weather records from Soekarno-Hatta International Airport during 2024, comprising 257,442 observations. Flight delays were classified using three schemes containing six, three, and two classes. The explanatory variables included airline, route, aircraft type, terminal, gate, parking stand, passenger volume, flight distance and duration, and weather conditions. The data were chronologically divided into 80% training and 20% testing sets. Model performance was evaluated using Accuracy, Balanced Accuracy, and F1-score. Each model was trained and evaluated over 10 repetitions to assess performance variation and stability. Analysis of variance was used to examine the simulation factors and their interactions, followed by the Tukey Honestly Significant Difference test. The simulation results show that model performance depended on the characteristics of each scenario. Under linear relationships, Hybrid TabTransformer-TFT tended to produce higher Accuracy and F1-score values in most scenarios, although TabTransformer and TFT remained competitive under several combinations of variable effects, error levels, and class distributions. Under nonlinear relationships, the Hybrid model showed a more consistent advantage, particularly in Accuracy and F1-score. However, the individual models still produced comparable or higher values for certain metrics in several scenarios. These results indicate that integrating contextual tabular representations with temporal information provides greater benefits as relationships among features become more complex, although the magnitude of improvement remains data-dependent. The analysis of variance showed that variable effects, error levels, class distributions, and model choice influenced classification performance. Error level produced the largest F-statistic for all three metrics under both linear and nonlinear relationships, indicating the strongest association with changes in model performance. Several interactions involving the model were also significant, showing that performance differences among TabTransformer, TFT, and the Hybrid model depended on variable effects, error levels, and class distributions. The Tukey test showed that the Hybrid model more frequently achieved higher mean performance than the individual models, particularly under nonlinear relationships. Nevertheless, not all pairwise comparisons were significant across all scenarios and metrics. In the empirical data, the class distribution became more balanced as the number of classes decreased from six to three and two. The proportion of delayed flights also tended to increase from April and reached its highest level toward the end of the year. Hybrid TabTransformer-TFT achieved the highest median evaluation values across all classification schemes. Under the six-class scheme, its median Accuracy, Balanced Accuracy, and F1-score were approximately 0.66, 0.54, and 0.57. Under the three-class scheme, the values were approximately 0.74 for all three metrics, while under the two-class scheme they reached approximately 0.80. The Hybrid model also showed a relatively narrow distribution, indicating more stable performance than the individual models. The Kruskal–Wallis test identified significant performance differences among the three models across all classification schemes and metrics, with the Hybrid model obtaining the highest mean rank, followed by TabTransformer and TFT. The findings indicate that Hybrid TabTransformer–TFT can jointly utilize contextual relationships among tabular features and temporal dependencies in flight data. Its advantage was more evident under nonlinear relationships and remained consistent across empirical classification schemes with different levels of complexity. However, the Hybrid model did not outperform the individual models in every simulation scenario and metric. Model selection should therefore consider data structure, error level, and class distribution. This study extends the development of deep learning classification models based on Transformer architectures for data containing both tabular and temporal characteristics.