Problemi Kaynağında "Gör", Nedenini ve Ne Olduğunu "Anla", "Müdahale Et": Enerjisa Örneği

Enerjisa, Elektrik Üretim, Dağıtım ve Satış sektörlerinde faaliyet gösteren Türkiye’nin en büyük kurumlarından biridir. Başkent, Ayedaş ve Toroslar olmak üzere faaliyet gösterdiği 3 dağıtım bölgesi ile 14 ilde 21.5 milyonu aşkın kullanıcıya hizmet sağlamaktadır.

Enerjisa, elektrik dağıtım sektöründe verimliliği artırmak için Akıllı Şebekeler kavramını ve beraberinde getirdiği yeni iş modellerini iş süreçlerine dahil etmektedir. Enerjisa Dağıtım Şirketleri, görevli oldukları dağıtım bölgelerinde müşterilerin enerji tedariğinin sürekliliğini sağlamak, arıza, bakım, onarım, yatırım gibi alt yapı faaliyetlerini sürdürmekle yükümlüdür. Kurum, geniş bir coğrafyada sayaç okuma, açma-kesme, yeni bağlantı, kaçak kullanım tespiti gibi saha operasyonlarını da yürütmektedir.

Enerjisa gibi stratejik ve kritik hizmetler sunan kurumlarda, güçlü ve sürdürülebilir bir IT altyapısını kurmak ve kesintisiz bir şekilde servisleri devam ettirmek son derece önemlidir. Yatırım yapıldıktan sonra da bu yatırımın istenilen performans standartlarını karşılaması ve kurumu doğru sonuçlara götürmesi en büyük beklentiyi oluşturmaktadır. Bu yatırım ile doğru sonuçlar elde edildiğinde soruna erken müdahale imkanı ile birlikte, iş gücü ve ekipman verimliliğinin artması hedeflenmektedir. Tüm bunların sonucunda iç ve dış müşteri memnuniyeti ile marka güvenilirliğinin artarak sürdürülmesi sağlanmaktadır.

Enerjisa 3 dağıtım bölgesinde bulunan ve 300.000 km’den fazla uzunluğa sahip elektrik şebeke altyapısı ile Türkiye’de 14 ile elektrik sağlamaktadır. Bu şebeke altyapısını yönetebilmek için Web, Desktop ve Mobil ortamlarda entegre bir şekilde çalışan ve 2500’den fazla CBS personelinin kullandığı gelişmiş Coğrafi Bilgi Sistemi uygulamaları ve alt yapısına sahiptir.

Gerek şebeke büyüklüğünün sürekli artması, gerek şebeke verisi kullanımının ve entegre sistem/ uygulama sayısının artması, gerekse kullanıcı sayısının büyük ölçüde artması neticesinde entegrasyonlar ve kaynak kullanımları da aynı oranda artış göstermekte, bu durum sistemlerde darboğaz ve performans problemlerine sebep olmaktadır. Sistem, altyapı ve network ekipleri  koordineli çalışarak, , CBS uygulamalarına özgü parametreler ile birlikte daha büyük bir çerçeveden sistemleri inceleme ihtiyacının gerekli olduğunu görmüştür. Bu durum, kullanıcıların çalışma deneyimini ve süreçlerini etkilemeye başlamadan acil ve kalıcı bir çözüm getirilmesi ihtiyacı ortaya çıkmıştır.

Desktop ve web uygulamalarında yürütülen çalışmalar sırasında zaman aşımı kaynaklı kopmalar, ekranlardaki işlemlerde donmalarla karşılaşılıyor, uzun işlem süreleri ve isteklere cevap alamamak gibi sorunlar yaşanıyordu. Diğer taraftan, yayınlanan harita servisleri ve web uygulamalarına gelen istek sayıları büyük ölçüde artarken, kaynak havuzu aynı oranda artış göstermediğinden, kopmalar, servislerin time outa düşmesi gibi durumlar meydana getiriyordu. Bu nedenle CBS altyapısında kaynak planlama ihtiyacı belirgin biçimde ortaya çıkmaya başladı.

Uzmanların yaşadığı bu kronik sorunlar, onların iş yaparken motivasyonunu düşürecek kadar ilerlemişti. Daha önce bu sorunların çözümüne ilişkin bazı günü kurtarıcı adımlar atılmış olsa da, yeterli bir sonuç alınamadığı için sorunun çözümü konusunda ekiplerde olumsuz bir önyargı oluşmuştu. CBS Ekibi, bu noktada kapsamlı bir çalışma başlatarak desktop, web ve mobil olmak üzere CBS altyapısını belirli bir periyotta sistem, network, mimari ekipleri ve kullanıcılar ile koordine olarak incelemeye başladı. Bu incelemede, sistemsel parametrelerin yanı sıra Enerjisa CBS altyapısına özel parametreler ve raporlamalar oluşturarak altyapı detaylıca ele alındı.

EnerjiSA CBS altyapısında 70’den fazla sistem, 20’den fazla ArcGIS Enterprise ortamı, 100’den fazla servis, uygulama ve entegrasyon bulunmaktadır.

Başlatılan çalışma kapsamında ArcGIS Monitor kurulumu yapılmış, sonrasında EnerjiSA CBS altyapısı içerisinde Desktop tarafında sistemler ve kaynak kullanımları, Windows servisleri ve uygulamalar, veri tabanları ve çalıştığı sistemlerin kaynak kullanımları, bağlantı ve sorgu sayıları, kullanıcı sayıları ve kullanıcı bazlı sistem kullanımları, uygulamalar ve işlemler, Enterprise tarafında ise servislerin dönüş süreleri, servislere gelen istekler, servislerin tüketim bilgileri, saniyede yapılan işlem sayıları, servislerin ve sistemlerin boşta ve meşgulken yük ve işlem kapasitesi gibi parametreler 5 dakikalık aralıklarla toplanan verilerle izlenmiş, günlük ve haftalık olmak üzere raporlamalar yapılmıştır. Mevcut CBS altyapısının tüm bileşenlerini ve mekana dayalı tüm veri akışını izlemesi hedeflenen ArcGIS Monitor uygulamasının kurulumu, belirlenen kriterlere göre alarmlar oluşturulması, kullanıcılara bildirim gönderilmesi (e-mail servisi)  çalışmaları EnerjiSA CBS ekibi tarafından gerçekleştirilmiştir. Kuruma özel izleme metrikleri için izleme sayaçları tanımlanmıştır.

ArcGIS Monitor, mevcuttaki sistemler ve uygulamalara dair yukarıdaki parametreleri takip edecek şekilde konfigüre edilerek sorun tespitinin yanı sıra, Root Cause Analysis (RCA) özelliği yardımıyla sorunun kök nedenine dair analizler ve değerlendirmeler yapılmış, kapasite planlama çalışmalarında karar verme süreçlerine de doğrudan katkı verilmiştir.

ArcGIS monitör üzerinde oluşturulan raporlar belirli periyotlar ile çalıştırılarak örneğin; darboğazların nerede yaşandığı, darboğazların tekrar etme durumları, darboğazların türleri izlenmeye başlandı. Bu raporlamalardan sonra planlama aşamasına geçildi. CBS altyapısı üzerinde kapasite planlaması ve kaynak optimizasyonundan sonra kontrollü kaynak artırımları yapılmaya başlandı.

Kullanıcıların kullanım durumunu değiştirme konusunda da aksiyonlar alındı. 2-2,5 aylık bir dönem sonrasında kullanıcıların kullanım deneyimini doğrudan etkileyecek şekilde sorunlara çözüm üretir hale gelindi. Sorunlara yönelik nokta atışı karar ve müdahale edilmesine imkan veren bir mekanizma oluşturuldu. Sorunun kaynağıyla ilişkili çözüm ekipleri (Veri Tabanı Ekipleri, Sistem Ekipleri ya da kullanıcı kaynaklı sorunlarda direkt CBS ekipleri ) devreye sokuldu.

Yapılan müdahalelerle kronik yavaşlık sorunu hızlı ve hissedilir bir şekilde çözülmeye başlandı. Bu durum, ekiplere sistemi değiştirmeye ve alacağı aksiyonları planlamaya yönelik hem zaman hem de inisiyatif kazandırdı. Kullanıcı deneyimi bu çalışma neticesinde büyük ölçüde iyileştirildi. Daha önce saha ekipleri sistemde sorunlar yaşandıkça sistem destek ekiplerine bildirim de bulunuyordu. Şuan bu bildirimler gelmeden sorunu görerek proaktif bir şekilde müdahale edilebilen bir süreç işlemeye başladı.

Müdahaleler sonrası desktop ve web tarafındaki kullanıcıların işlem süreleri büyük oranda azaldı. Yavaşlık sorunu çözülünce kullanıcıların desktop ve web tarafında yaptığı işlemlerin süresi kısaldı. Örneğin, daha önce 10.000 kayıtla ancak çalışabiliyorken, sistemsel iyileştirmeler sonrası 50.000 kayıtla rahatlıkla çalışılabilir hale gelindi. Sistemlere yapılan müdahaleler sonrasında son kullanıcılardan çok sayıda olumlu geri bildirim alınmaya başladı.

ArcGIS Monitor uygulamasının yetenekleri ve EnerjiSA CBS ekibinin çalışmaları sayesinde maliyet yönetimi ve yatırım yönetimi tarafında veri odaklı karar verme süreçlerine katkı sağlanmış oldu.  Birim, CBS altyapısında kaynak planlamasına doğrudan etki edebilir ve kaynaklarını yönetebilir hale geldi.

Birkaç örnek inceleyecek olursak;

• Bir web servisi aylık 100.000 istek karşılıyor, diğer servis 10.000 istek karşılıyorsa CBS birimi kaynağı 10.000 istek alan servise doğru kaydırma kararını verecek karar mekanizması haline geldi. Güncel durumda SOC Optimizasyonu gerçekleştirilmiş olup bu kaynak dağıtımı servisler arasında otomatik olarak yapılabilmektedir. Bu da, kaynak havuzunun daha etkin kullanımını sağlarken kullanıcıların işlem sürelerinin doğrudan azalmasını sağladı.
• ArcGIS Enterprise ortamında yaşanan haftalık time out adedi 2863 iken, çalışma sonrasında bu değer önce 10’un altına, daha sonra 0’a indirilmiştir.
• Bir diğer örnekte; uygulamalarda yaşanan kapanma ve yanıt vermeme durumları aylık olarak 15 adet üzerindeyken, çalışma sonrasında bu değer 0’a indirilmiş, uygulama da anlık kapanma problemleri ortadan kaldırılmıştır.
• İzlenen sistemlerde yaşanan darboğazlar aylık olarak 20’nin üzerindeyken kaynak artırımları ve kapasite planlama çalışmaları sonrasında bu değerler 0’a indirilmiş ve mevcut sistemler daha etkin biçimde kullanılmaya başlanmıştır.

Bu şekilde hem kullanıcının çalıştığı veri seti, hem işlemin kapsamı genişletilmiş, ayrıca, kullanıcının o anki durumunu etkileyen anlık darboğazları ve sorunları önceden tespit ederek kullanıcı daha bunu hissetmeden müdahale etmeye imkan veren bir izleme sistemi kurulmuş oldu.

• Haziran 2021’de başlayan projede ilk aksiyonlar Temmuz 2021’de netleşti. İlk müdahaleler sonrasında son kullanıcılardan olumlu yorumlar gelmeye başlayınca diğer yapılacak işlemler ve atılacak adımlar için zaman kazanıldı. 
• ArcGIS Monitör kurulmadan önce CBS ekipleri sorun olan darboğazların nereden kaynaklandığı konusunda sistem ekiplerini ikna etmekte yetersiz kalıyordu. Sistem ekipleri ellerindeki altyapıyla sorunun kaynağını net olarak göremedikleri için müdahale etseler bile sorun devam edebiliyordu. Monitöring çıktılarının doğruluğu ve güvenilirliği ispatlandıkça CBS birimi kararlarda daha etkili haline geldi. Çünkü, ArcGIS Monitör çıktıları ile doğrudan sorunun kaynağına ulaşılabiliyordu.
• Sorunların kaynağı doğrudan tespit edilebildiği için kullanıcı sorunu daha anlamadan ekiplerin sorunu yakaladığı ve daha hızlı çözüme kavuşturduğu bir yapı kuruldu.
• ArcGIS Monitör çıktıları her hafta, CIO, Bilgi Teknolojileri Direktörü, Bilgi Sistemleri Uygulamaları Grup Müdürü tarafından incelenerek karar destek mekanizması olarak kullanılmaya başladı.
• Bu sistem sayesinde, sorunları erken tespit edebilen, hızlı karar verebilen ve buna bağlı olarak hızlı müdahale mekanizmalarını doğru bir şekilde çalıştırabilen bir ekip yapısı kuruldu.