Ana içeriğe geç

Bölüm 21: Analytics, Cost ve Performance

Bu bölüm, Arceris kullanımının operasyonel görünürlüğünü sağlayan iki sayfayı kapsar: Usage Analytics (kullanım analitiği ve maliyet) ve Performance (performans izleme).


Usage Analytics Sayfası

Usage Analytics sayfası, Arceris üzerinden geçen trafiğin hacmini, güvenlik eylemlerini, token tüketimini ve maliyet dağılımını gösterir. Sayfanın üst kısmında dönem seçimi yapılır: Today, 7 Days veya 30 Days.

Security Activity (Güvenlik Aktivitesi):

Döneme göre filtrelenen 5 KPI kartı:

  • API Requests: Dönem içindeki toplam istek sayısı.
  • Blocked Requests: Engellenen istek sayısı ve block oranı (%). Block oranı %10'ün üzerindeyse kırmızı, %2-10 arası turuncu, %2 altında normal gösterilir.
  • PII Redacted: PII mask/redact edilen istek sayısı.
  • Avg Latency: Gateway gidiş-dönüş ortalama gecikme (ms).
  • Active Users: Dönem içinde aktif kullanıcı sayısı ve toplam kullanıcı sayısı.

Token & Prompt Usage (Token ve Prompt Kullanımı):

Dönemden bağımsız çalışan yuvarlanan sayaçlar:

  • Daily Tokens: Bugünkü toplam token tüketimi (UTC sıfırla).
  • Monthly Tokens: Bu ayın toplam token tüketimi.
  • Daily Prompts: Bugünkü toplam prompt sayısı (UTC sıfırla).
  • Monthly Prompts: Bu ayın toplam prompt sayısı.
  • Total Tokens: Kullanıcı bazlı aylık token toplamı.
  • Total Cost: Kullanıcı bazlı aylık maliyet (USD).

Event Breakdown (Olay Dağılımı):

Dönem içindeki olayların kategori bazında dağılımı:

  • Allowed: İzin verilen ve passthrough istekler.
  • ACL Denied: Model erişim kontrolü tarafından reddedilenler.
  • Prompt Injection: Prompt injection engellenenler.
  • PII Blocked: PII nedeniyle tamamen engellenenler.
  • PII Redacted: PII tespit edilen ama maskelenerek iletilenler.
  • Shadow AI: Bilinmeyen/kaydedilmemiş kaynaklardan gelen istekler (varsa).

Ayrıca Scope Breakdown ile trafiğin hangi kapsamdan geldiği (API, Browser Proxy, All) gösterilir.

Daily Trend (Günlük Trend):

Seçilen dönem içinde günlük istek hacmini gösteren çubuk grafik. Her çubuk üç katmanlıdır:

  • Mavi: Toplam istek.
  • Kırmızı: Engellenen istekler.
  • Turuncu: Maskelenen istekler.

Fare ile çubuğun üzerine gelindiğinde tooltip'te gün, toplam, engellenen ve maskelenen değerler gösterilir.

Model Distribution (Model Dağılımı):

Hangi modellerin ne sıklıkta kullanıldığını gösteren yatay çubuk grafik. Her model için toplam istek sayısı ve varsa block oranı (%) gösterilir. Bu bilgi, kurumun AI tercihlerini ve maliyet davranışını anlamak için kullanılır.

Per-User Activity (Kullanıcı Bazlı Aktivite):

Her kullanıcının ayrıntılı kullanım tablosu:

Sütun Açıklama
User Kullanıcı adı ve rolü
Requests Toplam istek sayısı
Blocked Engellenen istek sayısı (kırmızı)
Block Rate Engelleme oranı (%)
Redacted PII maskelenen istek sayısı (turuncu)
Monthly Tokens Aylık token tüketimi (mini ilerleme çubuğu ile)
Cost (mo) Aylık maliyet (USD)
Configured Limits Kullanıcıya tanımlı limitler ve doluluk oranları

"Show only active users" checkbox'ı ile yalnızca dönem içinde aktivitesi olan kullanıcılar gösterilebilir.

Configured Limits (Yapılandırılmış Limitler):

Kullanıcı tablosundaki son sütun, her kullanıcı için tanımlı limitleri ve doluluk oranlarını gösterir. Her limit için bir ilerleme çubuğu bulunur:

  • Mavi çubuk: Limit altında.
  • Turuncu çubuk: Soft limite ulaşılmış (uyarı).
  • Kırmızı çubuk: Hard limite ulaşılmış (aşıldı).

Gösterilen limit türleri: - Daily tokens (günlük token sınırı) - Monthly tokens (aylık token sınırı) - Monthly cost (aylık maliyet sınırı, USD) - Daily prompts (günlük prompt sınırı) - Monthly prompts (aylık prompt sınırı)

Limit tanımlama Settings → Cost Enforcement Defaults bölümünden (varsayılanlar) veya Access Management → Cost Limit kuralı ile (kullanıcı/grup bazlı) yapılır.


Cost Enforcement (Maliyet Yönetimi)

Maliyet yönetimi, Settings → Cost Enforcement Defaults bölümünden yapılandırılır. Bu ayarlar veritabanında saklanır ve anında uygulanır.

Cost Tracking Enabled: Toggle ile açılıp kapatılır. Etkinleştirildiğinde, her isteğin token tüketimi ve maliyet hesaplaması yapılır.

Hard Quota Restrictions:

  • Daily Token Limit: Kullanıcı başına günlük maksimum token sayısı. 0 = sınırsız.
  • Monthly Token Limit: Kullanıcı başına aylık maksimum token sayısı. 0 = sınırsız.

Prompt Quotas:

  • Daily Prompt Limit: Kullanıcı başına günlük maksimum prompt sayısı. 0 = sınırsız.
  • Monthly Prompt Limit: Kullanıcı başına aylık maksimum prompt sayısı. 0 = sınırsız.

Cost Quotas:

  • Monthly Cost Limit (USD): Kullanıcı başına aylık maksimum maliyet. 0 = sınırsız.

Soft Limit Alert (%): Hard limite ulaşmadan önce uyarı verilecek yüzde. Örneğin %80 girildiğinde, kullanıcı hard limitin %80'ine ulaştığında uyarı loglanır ve UI'da turuncu gösterilir. 0 = devre dışı.

Bu varsayılanlar tüm kullanıcılar için geçerlidir. Belirli kullanıcılar veya gruplar için farklı limitler tanımlamak istendiğinde, Access Management → Cost Limit kural türü kullanılır.

Limit Aşıldığında: Hard limite ulaşan kullanıcıların istekleri reddedilir ve "rate limited" olarak audit log'a kaydedilir.


Performance Sayfası

Performance sayfası, Arceris'in alt işlem gecikmelerini, Redis/veritabanı yanıt sürelerini ve Go runtime istatistiklerini gösterir. Bu sayfa, ürünün sağlıklı çalışıp çalışmadığını operasyon perspektifinden anlamaya yardımcı olur.

Go Runtime İstatistikleri:

4 KPI kartı:

  • Goroutines: Aktif goroutine sayısı. Yüksek değerler (ör. >10.000) bellek sızıntısına işaret edebilir.
  • Heap Alloc: Kullanımda olan heap belleği (MB).
  • GC Pauses: Son GC (Garbage Collection) duraklama süresi. 10ms üzerindeyse kırmızı gösterilir. Toplam GC sayısı da belirtilir.
  • Sys Memory: İşletim sisteminden alınan toplam bellek (MB).

Operasyon Tabloları:

Alt işlemler 5 kategoriye ayrılır ve her biri ayrı bir tablo olarak gösterilir:

  • API Proxy: API ve explicit proxy isteklerinin işlem süreleri.
  • Transparent Proxy: Transparent proxy isteklerinin işlem süreleri.
  • Middleware: Kimlik doğrulama, captive portal gibi ara katman süreleri.
  • PostgreSQL: Veritabanı sorgu süreleri.
  • Redis: Önbellek ve oturum süreleri.

Her tablo şu sütunları içerir:

Sütun Açıklama
Operation Alt işlem adı (monospace kod stili)
Count Toplam çağrı sayısı
Avg Ortalama gecikme
P50 Medyan gecikme (50. percentile)
P95 95. percentile gecikme
P99 99. percentile gecikme (ilerleme çubuğu ile)

Gecikme Renk Kodlaması:

  • Normal (siyah): <100ms
  • Uyarı (turuncu): 100ms-1000ms arası
  • Kritik (kırmızı): >1000ms

Bu renk kodları tüm gecikme sütunlarında (Avg, P50, P95, P99) uygulanır.

Kullanım Senaryoları:

  • Yavaş yanıtlar: P99 gecikmesi yüksek olan işlemler tespit edilir. Örneğin, Redis P99 >100ms ise önbellek performansı sorgulanmalıdır.
  • Veritabanı darboğazı: PostgreSQL tablosunda yüksek gecikme görülürse sorgu optimizasyonu veya bağlantı havuzu ayarları incelenmelidir.
  • GC baskısı: GC Pauses sürekli yüksekse bellek kullanımı optimize edilmelidir.
  • Ortam karşılaştırması: Farklı dönemlerde performans verileri karşılaştırılarak yapılandırma değişikliklerinin etkisi gözlemlenebilir.