Aşama 01
İz ve istek bağlamını oluştur
OpenQCore · Realtime Runtime
1. Nesil · Düşük Gecikmeli Yürütme Çekirdeği
Realtime Runtime.
Düşük Gecikmeli Yapay Zeka Yürütme.
Realtime Runtime, üretim chat sistemleri için OpenQCore’un yürütme omurgasıdır; doğrulama, geri basınç kontrolü, yinelenmeyi önleme, dağıtık kilitler ve dayanıklı yanıt orkestrasyonunu bir araya getirir.
Yük Stratejisi
Geri basınca duyarlı
Yürütme Modları
Akışlı + Akışsız
Güvenlik Kontrolleri
Lock + Circuit Breaker + Dedup
Mesaj Kalıcılığı
Kullanıcı ve Asistan için kalıcı kayıt
İstek Yaşam Döngüsü
Girişten temizlemeye kadar deterministik yürütme.
Her istek şu korunmalı yaşam döngüsünü izler: doğrulama, aşırı yük koruması, çoğaltma denetimi, kilit edinme, çalışma zamanı yürütmesi, kalıcılık ve deterministik temizlik.
Aşama 02
Bekleyen isteği takip et ve sistem yükünü değerlendir
Aşama 03
Gövde, ekler ve oturum erişimini doğrula
Aşama 04
En son kullanıcı mesajını kalıcı olarak kaydet (oturum varsa)
Aşama 05
Akış olmayan isteklere yönelik çoğaltma kontrolü
Aşama 06
Dağıtık kilidi al ve çalışma zamanını yürüt
Aşama 07
Asistan mesajını kalıcı olarak kaydet ve yanıtı önbelleğe al
Aşama 08
Finally bloğunda kilidi serbest bırak ve bekleyen isteği kayıttan çıkar
Çalışma Zamanı Kontrol Düzlemi
Yürütmeyi kararlı tutan temel dayanıklılık bileşenleri.
Devre Kesici Entegrasyonu
Çalışma zamanı yürütmesi, downstream hataları izole etmek ve sistem kullanılabilirliğini korumak için devre kesici ile entegredir.
Dağıtık Kilitleme
Kapsamlı bir kilit anahtarı, aynı istek kimliği için eşzamanlı tekrar işleme girişimlerini engeller.
Geri Basınç Yönetimi
Bekleyen istekler sürekli izlenir ve kritik yük durumlarında kontrollü 503 reddi tetiklenir.
Yürütme Yolları
Gecikme hedeflerine göre farklı yanıt yolları.
Akış Yolu
- •Anında token teslimi için optimize edildi
- •StreamingResponse'ı doğrudan döndürür
- •Çoğaltma önbelleği dönüş yolunu atlar
- •Doğrulama, kilit ve temizlik ile korunur
Akış Dışı Yolu
- •Çalıştırmadan önce dedup cache'ini kontrol eder
- •Runtime'i çalıştırır ve nihai içerik/payload'u alır
- •Oturum sürekliliği için asistan çıktısını saklar
- •Mümkün olduğunda model çıktısını dedup cache'ine kaydeder
Gözlemlenebilirlik ve Güvenlik
İzlenebilir işlemlerle ölçülebilir runtime davranışı.
- •Yapılandırılmış olay kaydı (başlatma, tamamlanma, temizleme, hatalar)
- •Her yürütmede Trace ID ve Request ID aktarımı
- •İstekler, reddedilmeler ve hata sınıfları için metrik sayaçları
- •Kontrollü durum yönetimi ile HTTPException eşlemesi
- •Kilidin serbest bırakılması ve bekleyen temizleme işlemlerinin garanti altına alınması
Üretim ortamında AI iş yüklerini gerçek zamanlı güvenle çalıştırın.
Düşük gecikme, deterministik temizleme, dayanıklı kontrol akışı ve operasyonel güvenilirlik için tasarlanmış bir runtime mimarisini benimseyin.