Model İzleme (MLOps) ve Tahmin Doğruluğu

Enerji Üretim Tahmin Sistemleri Canlı Ortamda Nasıl Güvenilir Tutulur?

Model Çalışıyor Görünüyor. Peki Gerçekten Güvenilir mi?

Bir hidroelektrik santralde üretim tahmini yapan model ilk devreye alındığında yüksek doğruluk gösterebilir. Eğitim verisi üzerinde %90 doğruluk, düşük MAE ve istikrarlı grafikler teknik ekibi tatmin edebilir. Ancak üç ay sonra aynı modelin performansı yavaşça düşmeye başlar. Hata artışı dramatik değildir; bu nedenle alarm üretmez. Dashboard çalışmaya devam eder. Raporlar üretilir. Fakat model artık fiziksel sistemi doğru temsil etmiyordur.

Enerji sektöründe tahmin hatası yalnızca istatistiksel bir sapma değildir. Gün Öncesi Piyasası saatlik teklif eşleştirme mekanizması ile çalışır [1]. Saatlik üretim tahminindeki sapma, dengeleme maliyeti ve gelir kaybı anlamına gelir. Özellikle pik saatlerde yapılan yanlış tahminler finansal etkisi yüksek sonuçlar doğurur. Bu nedenle model doğruluğu yalnızca teknik bir KPI değil, kurumsal risk göstergesidir.

Makine öğrenmesi modelleri matematiksel olarak statiktir; fakat temsil ettikleri fiziksel sistemler dinamik ve değişkendir. İşte bu nedenle MLOps (Machine Learning Operations), enerji tahmin sistemlerinde sürdürülebilir güvenilirliğin temelidir [2].

• Enerji tahmin sistemlerinde drift kaçınılmazdır.
• Data drift ve concept drift farklı risk türleridir [3].
• Ortalama hata metrikleri tek başına yeterli değildir.
• Sessiz model bozulması milyonluk finansal kayıplara yol açabilir.
• Kurumsal MLOps: veri sağlığı + drift analizi + finansal etki + versiyonlama + insan onayı gerektirir.

Drift, Durağanlık ve Enerji Sistemleri

Enerji üretim tahmin sistemleri çoğu zaman geçmiş veriler üzerine eğitilir. Bu yaklaşım, sistemin istatistiksel olarak durağan olduğu varsayımına dayanır. Ancak gerçek dünyada hidrometeorolojik süreçler durağan değildir.

Model Drift iki temel başlık altında incelenir: data drift ve concept drift.

1. Data Drift

Data drift, giriş değişkenlerinin dağılımının değişmesidir. Örneğin ekstrem yağış olaylarının sıklığındaki artış [4], modelin eğitim gördüğü dağılımdan sapma yaratır. Bu durumda model hâlâ geçmiş dağılımı varsayar.

2. Concept Drift

Concept drift ise daha derindir. Girdi ile çıktı arasındaki ilişki değişir [3]. Aynı yağış miktarı artık aynı debiyi üretmez. Bunun nedeni:

• Toprak doygunluk yapısının değişmesi
• Sediment birikimi
• Kanal pürüzlülüğünün artması
• Havza arazi kullanımının dönüşmesi

Concept Drift’in Matematiksel Yorumu

Makine öğrenmesi modeli şu ilişkiyi öğrenir:

P(Y | X)

Concept drift durumunda bu koşullu olasılık dağılımı zamanla değişir:

P_t(Y | X) ≠ P_t+1(Y | X)

Bu durum yalnızca yeniden eğitim değil, model yapısının yeniden değerlendirilmesini gerektirebilir [3].

IPCC raporları, küresel iklim sisteminin uzun dönemli kaymalar yaşadığını göstermektedir [4]. Bu nedenle enerji tahmin sistemlerinde drift yapısal bir gerçektir. Bu nedenle statik model yaklaşımı sürdürülebilir değildir.

Nasıl Çalışır? — Enerjiye Özgü MLOps Mimarisi

Kurumsal bir MLOps mimarisi enerji sektöründe dört ana katmandan oluşmalıdır: veri sağlığı, dağılım analizi, performans metrikleri ve finansal etki değerlendirmesi.

Veri sağlığı katmanı, SCADA sensör hatalarını, eksik veri oranlarını ve zaman senkronizasyon problemlerini izler. NIST AI Risk Management Framework, veri kalitesinin yapay zekâ sistemlerinde risk yönetiminin temel unsuru olduğunu belirtir [5].

Dağılım analizi katmanında Population Stability Index (PSI) ve Kolmogorov–Smirnov testi gibi yöntemler kullanılarak feature drift tespit edilir [6]. PSI değerinin 0.25 üzerine çıkması ciddi dağılım değişimini gösterir.

Performans metrikleri katmanında MAE, RMSE ve MAPE gibi klasik metrikler izlenir [7]. Ancak enerji üretiminde Peak Error (%) ve Lag Error (saat bazlı kayma) ayrıca değerlendirilmelidir. Özellikle saatlik teklif sistemlerinde zaman kayması finansal risk oluşturur [1].

Finansal etki katmanı, model hatasının gelir üzerindeki etkisini simüle eder. Bu yaklaşım model doğruluğunu teknik metrikten kurumsal risk metriğine dönüştürür.

Örnek:

Tahmin sapma: %8
Pik fiyat: 2800 TL/MWh
Sapma süresi: 3 saat

Finansal etki teknik hatadan daha anlamlıdır. Bu katman olmadan MLOps yalnızca teknik izleme olur.

HES / Enerji Tesisi Tarafında Etkisi

Bir HES’te debi tahmin hatası üretim tahmin hatasına dönüşür. Üretim tahmin hatası ise Gün Öncesi Piyasası teklif stratejisini doğrudan etkiler [1]. Saatlik eşleşme sistemi nedeniyle özellikle pik saatlerde yapılan hata finansal açıdan büyüyebilir.

Örneğin pik debinin %20 düşük tahmin edilmesi, türbin optimizasyonunun kaçırılmasına ve potansiyel gelir kaybına yol açabilir. Tahmin sistemi bu nedenle yalnızca teknik değil, finansal güvenilirlik bileşenidir.

Bu zincir şu şekilde işler:

Debi Tahmini → Üretim Planı → Piyasa Teklifi → Gerçekleşen Üretim → Dengeleme Maliyeti

Örnek Senaryo / Mini Hesap

65 MW kurulu güce sahip bir HES’te son 120 gün içinde:

• MAE %10 → %21
• Peak error %18 → %42
• Lag error 1 saat → 3 saat

Alarm yalnızca MAPE> %30 olarak tanımlı olduğu için sistem uyarı üretmemiştir.

Sonuç:

• 3 büyük yağış olayında düşük teklif
• 2,2 milyon TL gelir kaybı
• Operasyonel güven kaybı

Model teknik olarak “çalışmaktadır”. Ancak kurumsal olarak güvenilir değildir.

Enerji Tahmin Sistemlerinde Kurumsal MLOps Yaklaşımı

Enerji tahmin sistemlerinde asıl problem yalnızca model doğruluğu değildir; model çıktılarının ne kadar güvenilir olduğu ve bu güvenilirliğin nasıl sürdürüldüğüdür.

Birçok organizasyonda model geliştirme ve operasyonel kullanım birbirinden ayrıdır. Veri bilim ekipleri model doğruluğuna odaklanırken, operasyon ekipleri model çıktılarının finansal etkisi ile karşı karşıya kalır. Bu ayrım, model hatasının gerçek maliyetinin geç fark edilmesine neden olur.

Kurumsal bir MLOps yaklaşımı bu boşluğu kapatmayı hedefler. Model performansı, veri kalitesi, drift davranışı ve finansal etki birlikte değerlendirilir.

Bu yaklaşım genellikle dört temel prensip üzerine kuruludur:

Veri güvenilirliği
Model çıktısı kadar, modele giren verinin kalitesi de izlenmelidir. Sensör hataları, eksik veri ve zaman kaymaları model doğruluğunu doğrudan etkiler.

Drift izleme
Data drift ve concept drift düzenli olarak analiz edilmelidir. Modelin eğitim gördüğü dağılım ile canlı veri arasındaki fark izlenmeden model güvenilirliği sürdürülemez.

Performans analizi
MAE, RMSE ve MAPE gibi metrikler izlenmelidir. Ancak enerji sistemlerinde peak error ve zaman kayması ayrıca değerlendirilmelidir.

Finansal etki görünürlüğü
Model hatasının yalnızca yüzdesel değil, finansal karşılığı izlenmelidir. Bu yaklaşım model doğruluğunu kurumsal risk metriğine dönüştürür.

Bu yapı sayesinde tahmin sistemi yalnızca çalışan bir model değil; izlenen, ölçülen ve yönetilen bir operasyonel bileşen haline gelir.

Karar Katmanı: Model Ne Zaman Güvenilmez?

MLOps sistemlerinde en kritik soru modelin çalışıp çalışmadığı değil, ne zaman güvenilmemesi gerektiğidir.

Enerji üretim tahmininde aşağıdaki durumlar “model güven kaybı” sinyali olarak değerlendirilmelidir:

• Peak error > %25 (özellikle pik saatlerde)
• Lag error > 2 saat
• PSI > 0.25 (kritik feature’larda)
• Hata artışı trend halinde (ani değil)

Bu durumda sistem:

1) Model çıktısını düşük güven olarak işaretlemeli
2) Operasyonel planlama konservatif moda geçmeli
3) Gerekirse manuel müdahale devreye alınmalıdır

Bu yaklaşım, modeli yalnızca izlenen değil, karar süreçlerine aktif katkı sağlayan bir bileşen haline getirir.

Tahmin Hatasından Karara Etki

Enerji piyasasında model hatası yalnızca finansal kayıp değil, yanlış karar üretimi anlamına gelir.

Örneğin:

• Model üretimi düşük tahmin ederse → düşük teklif verilir
• Model üretimi yüksek tahmin ederse → imbalance maliyeti oluşur

Bu nedenle MLOps sistemleri sadece hata büyüklüğünü değil, hata yönünü de analiz etmelidir.

Bias (systematic error) analizi yapılmadan model performansı eksik değerlendirilmiş olur.

Gerçek Hayatta En Büyük Problem: Sessiz Drift

Enerji tesislerinde en büyük risk modelin tamamen bozulması değil, yavaş yavaş güven kaybetmesidir.

Bu durum genellikle:

• Mevsim geçişlerinde
• Ekstrem hava olaylarında
• Havza davranış değişimlerinde

ortaya çıkar.

Bu nedenle MLOps sistemleri yalnızca alarm bazlı değil, trend bazlı izleme yapmalıdır.

Aksi durumda model “çalışıyor gibi” görünürken finansal zarar üretmeye devam eder.

MLOps Olmadan Ne Olur?

MLOps olmayan bir sistemde:

• Model doğruluğu yalnızca geçmişe göre ölçülür
• Drift fark edilmez
• Finansal etki izlenmez
• Müdahale gecikir

Bu yapı teknik olarak çalışan, ancak kurumsal olarak risk üreten sistemler oluşturur.

Sık Sorulan Sorular

1. Model ne sıklıkla yeniden eğitilmelidir?
   Enerji üretim tahmin sistemlerinde yeniden eğitim sabit zaman aralıklarına göre değil, performans ve veri davranışına göre tetiklenmelidir.

   Aşağıdaki durumlar yeniden eğitim ihtiyacını gösterir:

   • Kritik feature’larda PSI > 0.25
   • Peak error > %25 (özellikle pik saatlerde)
   • Hata metriklerinde trend bazlı artış (7–14 gün)
   • Yeni hidrometeorolojik rejim (örneğin ekstrem yağış sezonu)

   Bu nedenle en doğru yaklaşım zaman bazlı değil, drift ve performans bazlı hibrit bir stratejidir.

2. MAPE yeterli midir?
   Hayır. MAPE ortalama hata büyüklüğünü gösterir, ancak enerji sistemlerinde kritik olan uç (extreme) davranışlardır.

   Bu nedenle aşağıdaki metrikler birlikte değerlendirilmelidir:

   • Peak Error (%) → pik saatlerdeki hata
   • Lag Error (saat) → zaman kayması
   • Bias → sistematik hata yönü

   Özellikle saatlik teklif sistemlerinde zaman kayması (lag error), finansal risk açısından MAPE’den daha kritik olabilir.

3. Drift her zaman model hatası mıdır?
   Hayır. Drift tespit edildiğinde ilk kontrol edilmesi gereken model değil, veri kalitesidir.

   Drift şu nedenlerle oluşabilir:

   • Sensör hataları
   • Eksik veri veya veri gecikmesi
   • Zaman senkronizasyon problemi
   • Gerçek sistem değişimi (concept drift)

   Bu nedenle drift analizi yapılırken önce veri sağlığı doğrulanmalı, ardından model davranışı değerlendirilmelidir.

4. Tam otomatik retraining güvenli midir?
   Kritik altyapı sistemlerinde (özellikle enerji ve SCADA ortamlarında) tam otomatik model güncelleme önerilmez.

   Bunun nedeni:

   • Modelin hatalı veri ile yeniden eğitilme riski
   • Beklenmeyen davranış değişimleri
   • Operasyonel süreçlere kontrolsüz etki

   Bu nedenle en güvenli yaklaşım:

   Human-in-the-loop (insan onaylı) retraining sürecidir

5. AI Governance neden önemlidir?
   Enerji üretim tahmin sistemleri yalnızca teknik sistemler değil, operasyonel ve finansal karar sistemleridir.

   Bu nedenle:

   • Model versiyonlarının izlenebilir olması
   • Eğitim veri setinin kayıt altına alınması
   • Model değişikliklerinin onay mekanizmasına bağlı olması

   gereklidir.

   EU AI Act ve ISO AI risk çerçeveleri, özellikle kritik altyapılarda bu tür izleme ve yönetim mekanizmalarını zorunlu hale getirmektedir [9][10].

   Bu yaklaşım, model doğruluğunu yalnızca teknik değil, kurumsal güvenilirlik seviyesine taşır.

Sonuç

Enerji üretim tahmin sistemi bir analitik araç değil, operasyonel varlıktır. Model doğruluğu finansal istikrar ve operasyonel güvenle doğrudan ilişkilidir. Drift kaçınılmazdır; izlenmeyen model zamanla güvenilirliğini kaybeder.

Bu konuda daha fazla bilgi almak için bizimle iletişime geçebilirsiniz:

[email protected]