DR Orkestrasyonu, Failover, Failback ve Veri Uzlaştırma

Ön koşul: Arven için senaryo bazlı BIA, MTD/RTO/RPO, minimum iş hizmeti, recovery site, failure/trust domain ve bağımlılık topolojisini çıkarabilmelisin. Bu dersin sonunda declaration kararını kanıt ve yetkiyle yönetecek; recovery dalgalarını runbook, otomasyon ve stop/go kapılarıyla işletecek; fencing ile split-brain’i önleyecek; teknik, güvenlik ve iş kabulünü ayıracak; kayıp, gecikmiş ve çakışan işlemleri uzlaştıracak; reverse replication ve failback’i ikinci bir kontrollü değişiklik olarak planlayacaksın. Sürenin yaklaşık 31 dakikası anlatı ve örneklere, 19 dakikası uygulamaya, 12 dakikası kontrollere ayrılır.

Declaration bir alarmın otomatik olarak “DR başladı” demesi değildir. Olay komutası; etkilenen iş hizmetini, olay kapsamını, güvenilir kalan domain’leri, yerel onarım tahminini, veri ve güvenlik riskini, MTD bütçesini ve recovery ortamının readiness durumunu aynı karar kartında toplar. Yetkili kişi kararı verir; teknik lider uygulanabilirliği, güvenlik lideri containment koşulunu, iş sahibi minimum hizmet önceliğini doğrular. Danışılan kişi cevap vermiyorsa vekâlet ve süre aşımı yolu önceden yazılır. Kararın üç sonucu olabilir: yerinde onarıma devam, kontrollü failover veya bekle/izole et. Özellikle ransomware ve kimlik ihlalinde hızlı failover saldırıyı, bozuk configuration’ı veya zararlı veriyi ikinci ortama taşıyabilir. Bu yüzden güvenli recovery point, temiz yönetim yolu ve olay müdahalesinin release koşulu declaration’dan ayrı bir kapıdır. Fiziksel site kaybında ise gereksiz bekleme RTO bütçesini tüketebilir. Plan, karar için gereken en az kanıtı ve eksik kanıtın nasıl risk kabulüne dönüştüğünü tanımlar. Komuta günlüğü zaman damgalı karar, varsayım, owner, kanıt bağlantısı, sonraki gözden geçirme ve geri döndürülemez adımı kaydeder. Incident commander işi koordine eder; recovery lead teknik dalgaları yürütür; security lead güven sınırını korur; data owner yazma kaynağı ve reconciliation kararını, business owner kullanıcıya açılma ölçüsünü onaylar. Aynı kişinin kritik değişikliği hem yapıp hem kabul etmesi kontrol zayıflığıdır. Runbook olay sırasında keşif belgesi değildir. Başlangıç koşulu, gerekli erişim ve araçlar, adımlar, beklenen çıktı, süre bütçesi, bağımlılık, doğrulama, rollback/stop koşulu ve eskalasyon içerir. Ekran görüntüsüne bağlı kırılgan talimat yerine sürümlü komut, API veya otomasyon tercih edilir; fakat otomasyon da yanlış kapsamı daha hızlı etkileyebilir. Dry-run, least privilege, idempotency, açık hedef seçimi, insan onayı ve immutable audit otomasyonun güvenlik kapılarıdır.

Failover kontrollü state geçişidir. Dalga 0 komuta ve güvenli erişimi; Dalga 1 network, DNS, identity, key ve observability’yi; Dalga 2 veriyi; Dalga 3 uygulama ve entegrasyonları; Dalga 4 kullanıcı, trafik ve minimum iş kapasitesini açar. Her dalga çıktısını doğrular, süresini ölçer ve sonraki dalga için stop/go kararı üretir. Paralellik için bağımsızlık, personel ve kaynak kanıtı gerekir. En kritik kapı yazma otoritesidir. Birincil tarafın gerçekten yazamadığı kanıtlanmadan ikincil tarafı primary yapmak iki bağımsız transaction geçmişi doğurabilir. Fencing; eski primary’nin storage, database, network, load balancer, credentials veya quorum üzerinden yazmasını engeller. STONITH, lease, quorum/witness, storage reservation veya uygulama seviyesinde single-writer mekanizması kullanılan mimariye göre değişir. “Site görünmüyor” fencing kanıtı değildir; network partition’da görünmeyen site çalışmaya devam edebilir. Data promotion öncesinde son transaction, replication lag, consistency, recovery point ve beklenen kayıp kaydedilir. Replika hedef RPO’dan gerideyse iş sahibi kaybı ve yeniden üretme yolunu görür. Promosyon sonrasında replication körlemesine ters çevrilmez; roller, timeline/epoch, conflict ihtimali ve backup point’i doğrulanır. Queue, cache ve dış sistemler database ile aynı anda kesilmemiş olabilir; dağıtık işlem sınırı ayrıca incelenir. Trafik geçişi DNS kaydı değiştirmekten fazlasıdır. Health decision, authoritative ve recursive cache, TTL, route, global/load balancer, firewall/WAF, certificate, external allowlist, client retry ve session davranışı birlikte zamanlanır. Küçük bir kullanıcı grubu veya sentetik işlemle canary açılış yapılır; error, latency, saturation, güvenlik ve iş sonucu eşikleri geçerse trafik kademeli büyütülür. Her adımın rollback’i mümkün olmayabilir: yeni sitede yazma başladıktan sonra “DNS’i geri al” veri ayrışmasını çözmez.

Infrastructure health, hizmet kabulünün yalnız ilk katmanıdır. Teknik kabul; process, endpoint, dependency, data consistency, queue ve observability’nin beklenen durumda olduğunu gösterir. Security kabulü; doğru identity/role, secret/key, policy, segmentation, EDR/SIEM, log bütünlüğü ve olay containment’ını doğrular. İş kabulü ise yetkili kullanıcının gerçekçi fakat kontrollü bir işlemi uçtan uca tamamladığını, sonucun downstream sistemde göründüğünü ve minimum kapasitenin karşılandığını kanıtlar. Bu üç karar ayrı owner ve kanıt taşır. Canary işlem geri alınabilir, benzersiz işaretli ve yan etkisi kontrollü olmalıdır. Gözlem penceresinde error rate, latency, saturation, replication, queue depth, güvenlik alarmı ve iş hacmi izlenir. Trafik kademeli büyütülür. Eşik aşılırsa daha fazla trafik durur; veri yazıldıysa rollback kararını data owner verir. RPO kadar veri uzlaştırma da recovery sonucudur. Son güvenilir transaction’dan declaration ve trafik kesimine kadar oluşan kayıp penceresi belirlenir. Birincilde kalmış commit, istemcinin timeout aldığı belirsiz işlem, queue’da bekleyen mesaj, dış ödeme sisteminde tamamlanan fakat ERP’ye düşmeyen kayıt, manuel Excel siparişi ve yeniden denenen istek ayrı sınıflardır. Unique id, idempotency key, sequence/epoch, immutable event log ve dış sistem mutabakatı mümkün olan otomasyonu güçlendirir; bunlar yoksa kayıt bazlı owner ve iş kuralı gerekir. Uzlaştırma “son yazan kazanır” gibi genel bir kural değildir. Sipariş durumu, stok, ödeme ve muhasebe farklı doğruluk otoritelerine sahip olabilir. Her conflict türü için system of record, karşılaştırma alanı, tolerans, otomatik/manuel karar, dört göz kontrolü, müşteri etkisi ve audit kaydı tanımlanır. Data silmek veya duplicate’i birleştirmek geri döndürülemez olabilir; önce snapshot/backup ve kanıt korunur. Backlog’un eritilmesi kapasiteyi etkiler ve MTD sonrası normalleşme bütçesine dahildir.

Failback, felaket bittiğinde trafiği eski siteye çevirmek değildir. Recovery sırasında ikincil ortam yeni system of record olmuş, configuration ve data değişmiş, backlog işlenmiş ve kullanıcılar yeni endpoint’e bağlanmıştır. Birincil ortamın kök nedeni giderilir; güvenlik temizliği, patch/config uyumu, kapasite, identity/key, network ve observability yeniden doğrulanır. Eski primary güvenilmezse yeniden kurulur. “Eski site açıldı” production readiness kanıtı değildir. Reverse replication başlamadan önce yeni source of truth, baseline snapshot/backup, timeline ve schema/config uyumu belirlenir. Büyük backlog için bandwidth, süre ve üretim I/O etkisi ölçülür. Seed/resync mi, incremental catch-up mı kullanılacağı teknolojiye ve ayrışma geçmişine göre seçilir. İki yönlü replication aceleyle açılmaz. Hedef catch-up olduğunda checksum, row/object count, transaction marker ve uygulama seviyesi mutabakat yapılır. Failback RPO/RTO’su, bakım penceresi ve rollback sınırı iş sahibiyle ayrıca onaylanır. Geçiş planı bir değişiklik yönetimidir: freeze veya kontrollü yazma penceresi, son sync, fencing yönünün değiştirilmesi, canary, trafik ramp-up, teknik/security/iş kabulü ve hypercare adımları vardır. Geri dönüş noktası, yeni birincilde yazma başlamadan önce açık olabilir; sonrasında tekrar ters uzlaştırma gerekebilir. DR ortamı hemen söndürülmez. Stabilite penceresi, backup doğrulaması, log/audit koruması ve kapasite normalleşmesi tamamlanınca standby rolüne döner. Post-incident review kişi aramaz; karar zamanları, runbook sapmaları, manuel adımlar, otomasyon hataları, iletişim, gerçek RTO/RPO, veri kaybı, reconciliation eforu ve iş etkisini ölçer. Her bulgu owner, tarih ve yeniden test kriteri kazanır. Runbook, dependency map, CMDB/IaC, erişim, alarm ve eğitim güncellenir. Bir sonraki tatbikat yalnız başarılı adımları tekrarlamaz; en riskli varsayımı ve başarısız kapıyı hedefler.