Strata Yerel LLM: 125B MoE Modelleri Yerelde Çalıştırma

Strata yerel LLM çıkarım motoru, devasa Mixture-of-Experts (MoE) dil modellerini çoklu H100/B200 sunucu kümelerine ihtiyaç duymadan standart tüketici ekran kartları (12–24 GB VRAM) ve yüksek kapasiteli sistem belleği (32–64+ GB DDR4/DDR5 RAM) üzerinde saniyede 65 ila 140+ token hızında çalıştırmak için tasarlanmış açık kaynaklı bir çalışma zamanıdır (runtime). Geleneksel çıkarım motorlarının aksine Strata yerel LLM mimarisi, bir modelin tüm ağırlıklarını GPU belleğine sığdırmaya zorlamak yerine katmanlı bellek yerleşimi (tiered weight placement) ve donanıma özgü C++/CUDA/HIP/Metal çekirdekleriyle VRAM darboğazını ortadan kaldırır.

Niko Veit tarafından geliştirilen ve kısa sürede 43.400’ün üzerinde GitHub yıldızına ulaşan Niko1221/Strata resmi GitHub deposu, özellikle Alibaba’nın 125 milyar parametreli Qwen3.8-Flash-Next modeli ile DeepSeek V4.1-Flash ailesini tek bir iş istasyonunda veya kurumsal geliştirici bilgisayarında sıfır bulut bağımlılığıyla ayağa kaldırmayı hedefler. nasuhakay.com.tr kurumsal mimari ve yapay zeka rehberleri kapsamında ele aldığımız bu derin incelemede; Strata’nın kod tabanı anatomisini, bellek katmanlama algoritmasını, üretim ortamı kurulum adımlarını ve gerçek donanım benchmark sonuçlarını inceliyoruz.

Strata Yerel LLM Nedir ve Neden Farklıdır?

Standart yoğun (dense) dil modellerinde her bir token üretimi sırasında modeldeki parametrelerin %100’ü bellek veriyolundan okunur. Bu durum, 70B veya 125B parametreli bir modelin PCIe veriyolu üzerinden CPU-GPU hibrit modunda çalıştırılmasını pratikte kullanılamaz (1–3 token/sn) hale getirir. Ancak Strata yerel LLM motorunun odaklandığı Qwen3.8-Flash-Next gibi modern MoE mimarileri, toplamda 125 milyar parametre barındırmasına rağmen token başına yalnızca 6 milyar (6B) aktif parametre tetikler (buna ek olarak 51B n-gram gömme tablosu ve 4B MTP taslak katmanı bulunur).

Mevcut llama.cpp sarmalayıcıları (Ollama, LM Studio vb.) genel amaçlı uyumluluk hedeflerken, Strata yerel LLM motoru doğrudan seyrek uzman yönlendirmesi (sparse expert routing) ve uzman önbellek isabet oranı (expert-cache hit rate) optimizasyonu üzerine inşa edilmiştir. Sistem önyükleme aşamasında donanım topolojisini otomatik analiz eder, GPU mimarisine uygun derlenmiş yerel ikili motoru (CUDA 12/13, ROCm/HIP, Metal veya Intel SYCL) indirir ve model tensörlerini gecikmeyi en aza indirecek şekilde donanım katmanlarına dağıtır.

Hibrit VRAM / DDR5 RAM Bellek Mimarisi Nasıl Çalışır?

Bir ileri besleme (forward pass) döngüsü sırasında Strata yerel LLM çekirdeği, bellek hiyerarşisini dört katmanlı bir veri hattı (pipeline) olarak yönetir. Bu tasarım, yüksek maliyetli sunucu GPU’ları olmadan 128K ve 192K bağlam pencerelerinde (context window) kararlı çıkarım yapılmasını sağlar:

Strata Kaynak Kod ve Modül Anatomisi

Sistem yöneticileri ve altyapı mühendisleri açısından bir çıkarım motorunun denetlenebilirliği kritik öneme sahiptir. MIT lisansıyla yayınlanan Strata yerel LLM deposu (%40.7 C++, %29.9 Python, %12.3 CUDA, %11.5 JS/TS ve %1.6 Metal), sorumlulukların net biçimde ayrıldığı modüler bir dizin yapısına sahiptir:

• src/ ve include/strata/: Çekirdek C++/CUDA çıkarım motorunu barındırır. Özellikle include/strata/kernels/qsa.hpp (kuantalanmış seyrek dikkat çekirdekleri), include/strata/core/emulate.hpp ve src/program/generate.cpp token üretim döngüsünün kalbidir.
• metal/ ve sycl/: Apple Silicon donanımları için metal/src/mtl_rt.h çalışma zamanını ve Intel Arc/Level Zero GPU’lar için dpct ile port edilmiş SYCL çekirdeklerini içerir.
• serve/server.py: Harici ağır bağımlılıklar olmadan çalışan hafif Python API sunucusudur. Yerel ağda veya 127.0.0.1:8080 portunda hem OpenAI hem de Anthropic mesaj protokollerini karşılar.
• strata_cli/ ve strata.py: Yalnızca Python standart kütüphanesini kullanan sıfır bağımlılıklı CLI orkestratörüdür. Donanım profilleme, --plan ile kuru çalıştırma ve arka plan süreç yönetimini üstlenir.
• apps/host/ ve apps/desktop/: Rust tabanlı Tauri kabuğu ile paketlenen masaüstü arayüzüdür. Canlı donanım telemetrisini, VRAM/RAM doluluk oranlarını ve sohbet önizlemesini tek pencerede sunar.
• bench/: Farklı GPU ve RAM kombinasyonlarında ölçülmüş gerçek prompt işleme ve token üretim günlüklerini (log) saklar.

Donanım Gereksinimleri ve RCO-GSQ Kuantalama Seçimi

Strata yerel LLM ekosisteminde model kalitesini korurken bellek ayak izini küçültmek için ISTA-DASLab tarafından optimize edilen RCO-GSQ GGUF paketleri kullanılır. Standart 2-bit kuantalamalardaki doğruluk kaybını önleyen bu yapı sayesinde Q2_0 paketi, klasik Q3 kalitesinde çıktı üretir. Görsel giriş (multimodal vision encoder) etkinleştirildiğinde toplam bellek tüketimine yalnızca 0.91 GB ek yük biner.

Detaylı kuantalama ağırlıklarına ve model kartlarına ISTA-DASLab Qwen3.8-Flash-Next GGUF deposu üzerinden doğrudan erişebilirsiniz. NVIDIA kartlarında CUDA 13 paketlerini kullanabilmek için sürücü sürümünün 580 veya üzeri olması, daha eski RTX 20/30 serisi kartlarda ise CUDA 12 paketlerinin tercih edilmesi gerekir.

Linux, Windows ve macOS İçin Adım Adım Kurulum Rehberi

Strata yerel LLM kurulumu yönetici (root/Administrator) yetkisi gerektirmez; tüm ikili dosyaları kullanıcı dizini altına SHA-256 sağlama toplamı (checksum) ve dijital imza doğrulaması yaparak kurar.

1. Terminal Üzerinden Tek Satırlık Kurulum

curl -fsSL --connect-timeout 15 --max-time 120 \
  https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh \
  && sh install.sh

# PATH tanımlı değilse kalıcı hale getirin:
export PATH="$HOME/.local/bin:$PATH"

irm -TimeoutSec 120 https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex

2. Donanım Tanılama ve Kuru Çalıştırma (Dry-Run Plan)

Kurulum tamamlandıktan sonra yeni bir terminal oturumu açın ve Strata yerel LLM bileşenlerinin donanımınızı doğru algıladığını doğrulayın. Onlarca gigabaytlık model indirmeye başlamadan önce --plan bayrağını kullanarak bellek yerleşim planını test etmek en iyi sistem yönetimi pratiğidir:

# 1. Sürücü, CLI ve TUI bileşenlerini denetle
strata doctor

# 2. İndirme yapmadan Qwen3.8-Flash-Next IQ3_XXS bellek planını görüntüle
strata launch --family qwen --model iq3_xxs --plan

# 3. Alternatif olarak DeepSeek V4.1-Flash (2.00 bpw) planını kontrol et
strata launch --family deepseek41 --model ist-das-2.00bpw --plan

3. Başsız (Headless) Sunucu Modunda Başlatma

Sunucu ortamlarında veya arka planda sürekli çalışacak API servislerinde terminal arayüzünü (TUI) devre dışı bırakarak --no-tui ve --yes parametreleriyle servisi başlatabilirsiniz:

strata launch \
  --model iq3_xxs \
  --context 32k \
  --vision off \
  --parallel 1 \
  --tune quick \
  --access local \
  --port 8080 \
  --yes \
  --no-tui

# Çalışan örneğin durumunu ve VRAM/RAM kullanımını sorgula:
strata launch --status

Gerçek Donanım Performans ve Benchmark Verileri

Aşağıdaki veriler, Strata yerel LLM deposundaki resmi test tabloları ile doğrulanmış topluluk ölçümlerinden derlenmiştir. Dikkat edilmesi gereken en kritik metrik, 128K gibi uzun bağlam pencerelerinde dahi token üretim hızının (output tok/s) okuma hızının katbekat üzerinde kalmasıdır:

Claude Code, Codex CLI ve Üretim Servisi (Systemd)

Strata yerel LLM sunucusu http://127.0.0.1:8080 adresinde hem OpenAI (/v1/chat/completions) hem de Anthropic (/v1/messages) şemalarını yerel olarak taklit eder. Bu sayede kod tabanınızı dış bulut sunucularına göndermeden otonom kodlama ajanlarını yerel modelinize bağlayabilirsiniz.

# Claude Code, Codex CLI, OpenCode veya Hermes Agent yapılandırmasını otomatik yaz:
strata connect

# Yerel API uç noktasını standart OpenAI istemcisiyle test et:
curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.8-flash-next",
    "messages": [
      {"role": "system", "content": "Sen kıdemli bir Linux sistem mühendisisin."},
      {"role": "user", "content": "Nginx reverse proxy için rate-limiting yapılandırması yaz."}
    ],
    "temperature": 0.2
  }'

Linux Sunucular İçin Systemd Servis Tanımı

Kurumsal şirket içi (on-premise) geliştirici sunucularında Strata yerel LLM motorunu kalıcı bir arka plan servisi olarak yönetmek için /etc/systemd/system/strata-llm.service dosyasını oluşturabilirsiniz:

[Unit]
Description=Strata Yerel LLM Cikarim Motoru (Qwen3.8-Flash-Next)
After=network.target

[Service]
Type=simple
User=llmadmin
Group=llmadmin
Environment="PATH=/home/llmadmin/.local/bin:/usr/local/bin:/usr/bin:/bin"
ExecStart=/home/llmadmin/.local/bin/strata launch --model iq3_xxs --context 65536 --vision off --parallel 1 --access local --port 8080 --yes --no-tui
ExecStop=/home/llmadmin/.local/bin/strata launch --stop
Restart=on-failure
RestartSec=10

[Install]
WantedBy=multi-user.target

Kurumsal Güvenlik Sertleştirme ve Teknik Sınırlar

Kurumsal ağlarda yapay zeka altyapısı kurgularken hız kadar veri egemenliği ve operasyonel sınırlar da netleştirilmelidir. Yerel yapay zeka altyapısı mimarileri kapsamında dikkat etmeniz gereken dört kritik kontrol noktası şunlardır:

Sıkça Sorulan Sorular (SSS)