Machine Learning Basic Workflow

Berikut adalah workflow basic dari sebuah machine learning

Pengumpulan Data
Kita harus mengumpulkan data yang cukup untuk melakukan training dan testing pada model machine learning.

Data Preparation
Pada tahap ini biasanya kita melakukan pemilihan data mana yang akan dijadikan feature untuk model. Dan membersihkannya, biasanya mengubah dari string menjadi numeric.

Pengacakan Data
Data yang akan digunakan harus diacak, agar saat training, model tidak menangkap suatu pattern yang sebetulnya tidak ada, namun dikenali oleh model karena kita melakukan ordering pada data tersebut.

Pembagian Data
Membagi data untuk training dan testing. Umumnya 70% untuk training data, 30% untuk testing data.

Model akan dibentuk oleh training dataset, jadi sangat penting tidak menggunakan data training dalam melakukan testing.

Set Model Hyperparameters
Berikutnya kita membentuk model, kita harus menentukan parameter pada model. Parameter ini akan mempengaruhi seberapa cepat model melakukan proses learning dan seberapa komplek model tersebut.

Proses Training
Proses dimana kita memberikan data training dan nilai yang diharapkan (supervised). Data yang digunakan adalah 70% dari data yang kita kumpulkan.

Model Akurasi Testing
Setelah model terbentuk, kita harus melakukan testing, seberapa akurat model yang telah dilatih. Data yang digunakan adala 30% dari data yang kita kumpulkan.

Jika tidak tepat, maka kita harus mengulang lagi. Dapat dengan mengubah training data, atau mengubah hyperparameter dari model. Dan melakukan training ulang.

Jika sudah tepat atau mendekati, berarti model sudah bisa digunakan untuk memprediksi data yang betul-betul baru, diluar data training dan testing.