Veri işleme, veri toplandığında ve kullanılabilir bilgilere dönüştürüldüğünde gerçekleşir. Genellikle bir veri bilimcisi veya veri bilimcisi ekibi tarafından gerçekleştirilen, veri işlemenin son ürünü veya veri çıktısını olumsuz etkilemeyecek şekilde doğru yapılması önemlidir.
Veri işleme, ham biçimindeki verilerle başlar ve onu daha okunabilir bir formata (grafikler, belgeler vb.) dönüştürerek, bilgisayarlar tarafından yorumlanması ve kuruluş genelinde çalışanlar tarafından kullanılması gereken biçim ve bağlamı verir.
• Veri işlemenin altı aşaması;
1. Veri toplama
Veri toplama, veri işlemede ilk adımdır. Veriler, veri gölleri ve veri ambarları dahil olmak üzere mevcut kaynaklardan alınır. Mevcut veri kaynaklarının güvenilir ve iyi yapılandırılmış olması önemlidir, böylece toplanan veriler (ve daha sonra bilgi olarak kullanılır) mümkün olan en yüksek kalitede olur.
2. Veri hazırlama
Veri toplandıktan sonra, veri hazırlama aşamasına girer. Genellikle “ön işleme” olarak adlandırılan veri hazırlama, ham verilerin temizlendiği ve sonraki veri işleme aşaması için düzenlendiği aşamadır. Hazırlama sırasında ham veriler herhangi bir hata için özenle kontrol edilir. Bu adımın amacı, kötü verileri (gereksiz, eksik veya yanlış veriler) ortadan kaldırmak ve en iyi iş zekası için yüksek kaliteli veriler oluşturmaya başlamaktır.
3. Veri girişi
Temiz veriler daha sonra hedefine girilir (belki Salesforce gibi bir CRM veya Redshift gibi bir veri ambarı) ve anlayabileceği bir dile çevrilir. Veri girişi, ham verilerin kullanılabilir bilgi biçimini almaya başladığı ilk aşamadır.
4. İşleme
Bu aşamada önceki aşamada bilgisayara girilen veriler aslında yorumlanmak üzere işlenir. İşlem, makine öğrenme algoritmaları kullanılarak yapılır. Ancak işlemin kendisi, işlenmekte olan verilerin kaynağına (veri gölleri, sosyal ağlar, bağlı cihazlar vb.) ve kullanım amacına (reklam modellerinin incelenmesi, bağlı cihazlardan tıbbi teşhis, müşteri ihtiyaçlarının belirlenmesi vb.).
5. Veri çıktısı
Yorum aşaması, verilerin nihayetinde veri olmayan bilim adamları tarafından kullanılabildiği aşamadır. Çevrilir, okunabilir ve genellikle grafikler, videolar, resimler, düz metin vb. şeklinde şirket veya kurum üyeleri artık kendi veri analizi projeleri için kendi kendine hizmet sunmaya başlayabilir.
6. Veri depolama
Veri işlemenin son aşaması depolamadır. Tüm veriler işlendikten sonra ileride kullanılmak üzere saklanır. Bazı bilgiler hemen kullanılsa da, daha sonra bir amaca hizmet edecektir. Ayrıca, GDPR gibi veri koruma mevzuatına uyum için uygun şekilde depolanmış veriler bir gerekliliktir. Veriler uygun şekilde saklandığında, gerektiğinde kuruluş üyeleri tarafından hızlı ve kolay bir şekilde erişilebilir.