Veri Platformu ve MLOps
Verinizi raporlamaya ve modellere hazır hâle getiren altyapı.
ALGOFACT, farklı sistemlerde dağınık duran veriyi güvenilir veri hatlarıyla tek bir veri ambarı veya lakehouse yapısında toplar ve raporlama ile makine öğrenmesi için kullanılabilir hâle getirir. Aynı altyapıya etiketleme, deney takibi, model kaydı, canlıya alma ve izleme adımlarını ekleyerek modellerin tek seferlik bir çalışma değil işletilen bir sistem olmasını sağlarız. Kurulum AWS, Azure, GCP, Kubernetes veya şirket içi sunucularınızda yapılır.
Kısa bilgiler
Son güncelleme:
- Kapsam
- Veri hattı, depo, etiketleme, MLOps, BI
- Veri deposu
- Veri ambarı, lakehouse veya PostgreSQL
- Model yaşam döngüsü
- MLflow ile deney ve model kaydı
- Kurulum
- AWS, Azure, GCP, Kubernetes veya şirket içi
- Veri kalitesi
- Her hat adımında otomatik testler
- Yönetişim
- Rol bazlı erişim ve metrik sözlüğü
Veri platformuna ne zaman ihtiyaç duyulur?
Aynı rapor için her ay Excel dosyaları elle birleştiriliyor, iki departman aynı ciro rakamını farklı söylüyor veya veri bilimci zamanının çoğunu veriyi toplamaya harcıyorsa sorun model değil altyapıdır. Veri platformu ERP, CRM, üretim, e-ticaret ve saha sistemlerinden gelen veriyi düzenli olarak çeker, temizler, tek bir tanımla saklar ve hem raporlara hem modellere aynı kaynaktan sunar.
MLOps, bu altyapının makine öğrenmesi tarafıdır. Bir modeli bir kez eğitip bir dizüstü bilgisayarda bırakmak yerine hangi veriyle eğitildiğini, hangi sürümün canlıda olduğunu ve performansının zamanla nasıl değiştiğini kayıt altına alır. Henüz canlıda bir modeliniz yoksa, önce raporlama için kurulan platform daha sonra modellerin üzerinde çalışacağı zemin olur; iki altyapıyı ayrı ayrı kurmanız gerekmez.
Platformun karşıladığı ihtiyaçlar
Projelerin çoğu raporlama sorunuyla başlar, model ihtiyacıyla büyür. Platform ikisini aynı veri üzerinden çözer.
- 01
Tek kaynaktan raporlama
Yönetim, satış ve operasyon panoları aynı tanımlı metriklerden beslenir. Ciro, stok veya aktif müşteri sayısı herkes için aynı sorgudan gelir. - 02
Sistemler arası veri birleştirme
ERP, CRM, e-ticaret ve saha uygulamalarındaki müşteri, ürün ve sipariş kayıtlarını eşleştirip tek bir görünümde birleştirir. - 03
Model için tutarlı özellikler
Özellik (feature) hesaplamaları bir kez tanımlanır ve hem eğitimde hem canlı tahminde aynı şekilde kullanılır. Eğitimde iyi görünüp canlıda bozulan modellerin yaygın bir nedeni böylece ortadan kalkar. - 04
Etiketleme operasyonu
Görüntü, metin veya kayıt etiketleme için iş akışı, etiketleyici talimatları, çift kontrol ve etiketleyiciler arası tutarlılık ölçümü. - 05
İşlem ve davranış analitiği
Yayımlanmış örneklerimizden Soldo için bir kullanıcı işlem verisi analiz platformu geliştirdik; içgörüler bu platform üzerinden çıkarıldı.
Platform nasıl kurulur
- 01
Veri envanteri
Kaynak sistemleri, tabloları, güncelleme sıklığını, veri sahiplerini ve kişisel veri içeren alanları listeleriz. Platformun ilk yanıtlayacağı iş soruları burada önceliklendirilir. - 02
Mimari kararı
Veri hacmi, gerçek zamanlılık ihtiyacı, mevcut bulut sözleşmeniz ve ekibinizin yetkinliğine göre veri ambarı, lakehouse veya PostgreSQL tabanlı daha yalın bir yapı arasında seçim yaparız. - 03
Veri hatları
Kaynaklardan veri çeken, dönüştüren ve yükleyen işler sürüm kontrolüyle yazılır. Her adımda satır sayısı, boş alan ve iş kuralı kontrolleri çalışır. - 04
Metrik katmanı ve raporlar
Aktif müşteri, net satış veya fire oranı gibi metriklerin tanımı tek bir yerde yazılır; BI aracınız bu katmana bağlanır ve her pano aynı tanımı kullanır. - 05
MLOps katmanı
Deney takibi ve model kaydı için MLflow, otomatik eğitim ve dağıtım hattı, model servisleme ve canlıya çıkmadan önce onay adımı eklenir. - 06
İzleme ve devir
Veri tazeliği, hat hataları, model sapması ve altyapı maliyeti için alarmlar kurulur; platform runbook’larla ekibinize devredilir.
Teslim edilenler
- 01
Mimari doküman
Veri akış şeması, depolama katmanları, erişim modeli ve tahmini altyapı maliyeti. - 02
Veri hatları ve kalite testleri
Sürüm kontrolündeki dönüşüm kodu, veri kalitesi testleri ve zamanlanmış işler. - 03
Veri ambarı veya lakehouse
Ham, temizlenmiş ve iş katmanlarına ayrılmış, her tablosu belgelenmiş veri deposu. - 04
BI panoları ve metrik sözlüğü
Önceliklendirilen sorular için hazır raporlar ve her metriğin yazılı tanımı. - 05
Model kaydı ve dağıtım hattı
Modellerin sürümlendiği, onaylandığı ve canlıya alındığı MLOps hattı ile model izleme panoları.
Veri yönetişimi, güvenlik ve izleme
Platform büyüdükçe asıl risk tek bir veri hatası değil güven kaybıdır: bir pano yanlış rakam gösterdiğinde kullanıcılar Excel’e geri döner. Bu yüzden her tablonun bir sahibi, her metriğin yazılı bir tanımı ve her hattın kalite testleri vardır. Bir kontrol başarısız olduğunda hatalı veri raporlara ulaşmadan durdurulur ve tablonun sahibine bildirilir.
Erişim rol bazlı tanımlanır. Kişisel veri içeren sütunlar maskelenir veya yalnızca yetkili rollere açılır, kimin hangi veriyi sorguladığı kayda geçer. Bu tedbirler 6698 sayılı Kişisel Verilerin Korunması Kanunu kapsamındaki teknik yükümlülüklerin karşılanmasına yardımcı olur; hukuki değerlendirme sizin hukuk danışmanınıza aittir.
Model tarafında canlıdaki her tahminin hangi model sürümünden ve hangi veri anlık görüntüsünden geldiği izlenebilir. Model risk yönetimi ve yönetişim için Luwian için geliştirdiğimiz platform (MVP), bu yaklaşımın /work sayfasındaki örneğidir.
Sorular
Yaklaşım01Veri ambarı mı, lakehouse mı seçmeliyiz?
Verinizin çoğu yapılandırılmış tablolardan oluşuyor ve ihtiyaç raporlamaysa veri ambarı genellikle daha basit ve yeterlidir. Görüntü, log veya belge gibi yapılandırılmamış veri büyük yer tutuyorsa ya da aynı veri üzerinde hem raporlama hem model eğitimi yapılacaksa lakehouse daha uygundur. Küçük ve orta hacimlerde PostgreSQL tabanlı bir yapı da yeterli olabilir.
02Mevcut BI aracımızı kullanmaya devam edebilir miyiz?
Evet. Platform, kullandığınız BI aracını değiştirmeyi gerektirmez; araç, düzenlenmiş veri katmanına bağlanır. Yeni bir araç ancak mevcut araç ihtiyacı karşılamıyorsa gerekçesiyle önerilir.
03Tek bir modelimiz varken MLOps gerekli mi?
Tek bir canlı model bile sürüm kaydı, izleme ve yeniden eğitim gerektirir. İlk modelde kapsamı küçük tutar, deney takibi, model kaydı ve sapma izlemesiyle başlarız; otomatik eğitim hatları model sayısı arttıkça eklenir.
04Etiketleme işini kim yapar?
Alan bilgisi gerektiren etiketler sizin uzmanlarınızdan gelir; biz etiketleme aracını, talimatları ve kalite kontrolünü kurarız. Hacim yüksekse etiketlemenin bir kısmı model önerisiyle hızlandırılır ve uzmanlar yalnızca düzeltme yapar.
05Süreyi ve maliyeti ne belirler?
Kaynak sistem sayısı ve bu sistemlere erişimin kolaylığı, veri kalitesi, gerçek zamanlı veri ihtiyacı, rapor sayısı, MLOps kapsamı ve bulut kaynak tüketimi. Veri envanterinden sonra aşamalı bir plan ve tahmini altyapı maliyetini yazılı olarak sunarız.
Kaynaklar
- Personal Data Protection Law (Law No. 6698), Kişisel Verileri Koruma Kurumu
Projenizi anlatın
Sorunu kısaca yazın; 30 dakikalık keşif görüşmesi için bir zaman önerisiyle size dönelim.
Keşif görüşmesi planlayın