Teknik Künye
30 Saniyelik Yönetici Özeti – TL;DR
KOBİ’lerde yapay zeka hazırlığı bir yazılım satın alma projesi değil, kurumsal yetkinlik dönüşümüdür.
- Önce otomasyona uygun, ölçülebilir iş problemlerini belirleyin.
- ERP, CRM, dosya ve operasyon verilerinin kalitesini değerlendirin.
- İlk yatırımınızı büyük bir AI platformuna değil, sınırlı bir pilot projeye yapın.
- LLM kullanımını API Gateway, kimlik doğrulama, veri maskeleme ve loglama ile yönetin.
- RAG mimarisiyle kurumsal dokümanlardan kaynaklı yanıt üretin.
- Başarıyı token sayısıyla değil, işlem süresi, hata oranı, maliyet ve ROI ile ölçün.
Önerilen yaklaşım: Önce yönetişim ve veri temeli, ardından pilot, ölçüm ve kontrollü ölçekleme.
KOBİ’lerde yapay zeka hazırlığı[cite: 1], bir şirketin ChatGPT aboneliği alması veya çalışanlarına birkaç yeni araç kullandırmasıyla tamamlanabilecek bir süreç değildir. Gerçek hazırlık; verinin nerede tutulduğunun, hangi sistemlerin birbirleriyle konuşabildiğinin, erişim yetkilerinin nasıl yönetildiğinin ve yapay zekânın hangi iş kararlarında kullanılabileceğinin bilinmesiyle başlar.
Bugün birçok işletme yapay zekâdan verimlilik bekliyor. Ancak ERP’de tutarsız ürün kartları, CRM’de eksik müşteri kayıtları, farklı Excel dosyalarında çoğaltılmış raporlar ve dokümante edilmemiş operasyon süreçleri varsa, en gelişmiş dil modeli bile bu yapısal problemleri tek başına çözemez.
Buradaki temel ayrım şudur: Yapay zekâ teknolojisi satın almak başka, yapay zekâ kullanabilecek bir kurum mimarisi oluşturmak başkadır.
Bu makalede KOBİ’ler için hazırlanan 13 aşamalı yol haritasını kurumsal BT mimarisi perspektifinden ele alacağım. Amacımız yalnızca AI araçlarını tanıtmak değil; mevcut ERP, CRM, veritabanı, ağ, güvenlik ve insan kaynağı altyapısı üzerinde sürdürülebilir bir AI operasyon modeli tasarlamak.
KOBİ’lerde Yapay Zekâ Hazırlığı Neden Stratejik Bir Konudur?
Kurumsal teknoloji yatırımlarında sık karşılaşılan bir problem var: İşletmeler çoğu zaman teknolojiyi, çözülmesi gereken iş probleminden önce değerlendiriyor. Bir departman yeni bir AI aracı keşfediyor, lisans satın alınıyor, birkaç kullanıcı deniyor ve bir süre sonra proje günlük operasyonun dışında kalıyor.
Bu yaklaşımın temel problemi teknoloji eksikliği değil, mimari ve yönetsel sahiplik eksikliğidir.
Örneğin bir perakende şirketini düşünelim. İşletmenin ERP sistemi ürün, stok ve satış verilerini tutuyor. E-ticaret platformu siparişleri yönetiyor. CRM müşteri etkileşimlerini saklıyor. Ancak bu sistemlerin arasında tutarlı bir veri akışı bulunmuyorsa, AI destekli bir satış tahmin sistemi için önce entegrasyon ve veri kalitesi problemi çözülmelidir.
Yapay zekâ, mevcut süreçlerin üzerine yerleştirilen bağımsız bir oyuncak değil; kurumsal uygulama, veri, güvenlik ve operasyon mimarisinin kontrollü bir bileşeni olmalıdır.
KOBİ’lerde yapay zeka hazırlığı değerlendirilirken beş temel alan birlikte ele alınmalıdır:
- İş süreçleri: Hangi süreçlerde zaman, maliyet veya kalite problemi bulunuyor?
- Veri mimarisi: Veri güvenilir, erişilebilir ve ilişkilendirilebilir durumda mı?
- Teknoloji: API, entegrasyon, ağ ve hesaplama altyapısı yeterli mi?
- İnsan: Çalışanlar ve yöneticiler yeni çalışma modeline hazır mı?
- Yönetişim: Yetki, güvenlik, sorumluluk ve denetim mekanizmaları tanımlı mı?
Kurumsal AI Mimarisi: Teknolojiden Önce Tasarım
Bir işletmede yapay zekâ kullanımını sürdürülebilir hâle getirmek için uygulamaların doğrudan model sağlayıcılarına bağlanmasını önermiyorum. Özellikle ERP, CRM ve finansal sistemlere erişecek uygulamalarda araya kontrollü bir servis katmanı koymak daha doğru bir mimari yaklaşımdır.
Önerdiğim temel yapı aşağıdaki katmanlardan oluşur:
Web / Mobil / ERP
IAM / Rate Limit
Python / .NET
Model Katmanı
SQL Server
Veri İşleme
Doküman Deposu
Metadata / ACL
Şematik gösterimdir. Gerçek mimaride kimlik doğrulama, yetkilendirme, izleme ve denetim kontrolleri tüm katmanlara yayılır.
1. API Gateway ve servis katmanı
Web, mobil veya ERP ekranlarının doğrudan LLM sağlayıcısına bağlanması yerine, bütün istekler merkezi bir API katmanından geçmelidir.
Bu katmanda aşağıdaki kontroller uygulanabilir:
- JWT veya OAuth 2.0 tabanlı kimlik doğrulama.
- Departman ve kullanıcı bazlı yetkilendirme.
- Rate limiting ve token tüketim sınırları.
- Prompt ve yanıt denetimi.
- PII maskeleme ve hassas veri filtreleme.
- Model sağlayıcısı değişimini kolaylaştıran soyutlama.
- İstek kimliği, gecikme, maliyet ve hata logları.
Örneğin bir ERP kullanıcısının stok sorgusu yapmasıyla finans yöneticisinin kârlılık analizi istemesi aynı yetki seviyesinde değerlendirilmemelidir. Yetki kontrolü uygulama ve veri katmanında gerçekleştirilmelidir.
2. AI Orchestrator
Orchestrator, gelen isteğin nasıl işleneceğine karar veren uygulama katmanıdır. Kullanıcı sorusunun sınıflandırılması, ilgili veri kaynağının belirlenmesi, RAG sorgusunun çalıştırılması, modelin çağrılması ve çıktının doğrulanması bu katmanda yönetilebilir.
Örnek teknoloji yığını:
- Python 3.12 veya güncel kararlı Python sürümü.
- FastAPI ile REST servisleri.
- .NET ile mevcut kurumsal uygulamalara entegrasyon.
- Redis ile kontrollü cache.
- Celery veya uygun bir mesaj kuyruğu ile asenkron işler.
- OpenTelemetry ile izlenebilirlik.
3. Model katmanı
Model katmanı tek bir sağlayıcıya bağımlı tasarlanmamalıdır. İhtiyaca göre bulut API, yerel açık ağırlıklı model veya hibrit yapı kullanılabilir. Model seçimi yalnızca parametre sayısına göre değil; Türkçe performansı, gecikme, bağlam uzunluğu, güvenlik, maliyet ve görev başarısına göre yapılmalıdır.
KOBİ’lerde Yapay Zekâ Hazırlığı: 13 Adımlı Yol Haritası
Yol haritasındaki 13 aşamayı, kurumsal BT uygulamasında karşılığı olacak şekilde genişletiyorum. Bu aşamalar birbirinden bağımsız kontrol listeleri değildir. Bazıları paralel yürütülebilir; ancak veri, güvenlik ve yönetişim temelleri kurulmadan ölçekleme yapılmamalıdır.
İş problemini belirleyin, model seçimini erteleyin
İlk soru hangi LLM’i kullanacağınız değil, hangi iş problemini çözeceğiniz olmalıdır.
- Gelen müşteri taleplerinin otomatik sınıflandırılması.
- ERP stok ve satış verilerinden doğal dille rapor oluşturulması.
- Tekrarlayan muhasebe ve operasyon belgelerinin ön kontrolü.
- Teknik destek taleplerinin önceliklendirilmesi.
- Ürün açıklamalarının standartlaştırılması.
Her fırsat için işlem hacmi, mevcut işlem süresi, hata oranı ve beklenen iyileşme kaydedilmelidir.
Çıktı: Önceliklendirilmiş AI kullanım senaryoları envanteri.
Veri kalitesi ve erişilebilirliği değerlendirin
Yapay zekâ projelerinin önemli bir bölümü veri kalitesi sorunları nedeniyle beklenen sonucu vermez.
ERP’de aynı ürünün farklı kodlarla tanımlanması, CRM’de eksik müşteri kayıtları veya farklı departmanlarda tutulan çelişkili Excel raporları, modelin üreteceği sonuçların güvenilirliğini doğrudan etkiler.
- Veri sahipliği ve sistem kayıtlarının ana kaynağı.
- Tekilleştirme ve referans bütünlüğü.
- Null, hatalı ve güncelliğini kaybetmiş kayıtlar.
- Veri erişim yetkileri.
- Veri saklama ve arşiv politikaları.
Çıktı: Veri envanteri, veri kalite raporu ve sorumluluk matrisi.
Her problem için LLM kullanmayın
Yapay zekâ tek bir teknolojiden oluşmaz. Kullanım senaryosuna göre farklı yaklaşımlar değerlendirilmelidir.
- Klasik makine öğrenmesi: Talep tahmini, anomali tespiti, sınıflandırma.
- LLM: Metin analizi, doğal dil arayüzü, içerik üretimi.
- RAG: Şirket dokümanlarından kaynaklı bilgi üretimi.
- Computer Vision: Görsel kalite kontrol ve OCR.
- Optimizasyon: Rota, stok ve kaynak planlama.
Örneğin mağaza bazlı satış tahmini için her zaman büyük bir dil modeline ihtiyaç yoktur. Zaman serisi modelleri ve doğru hazırlanmış geçmiş satış verileri daha uygun sonuç verebilir.
Çıktı: Kullanım senaryosu ile teknoloji eşleştirme matrisi.
Sınırlı kapsamda, ölçülebilir bir pilot başlatın
İlk projeyi bütün işletmeye yaymak yerine, sınırlı kullanıcı ve kontrollü veri kümesiyle başlatın.
Örnek pilot: ERP ürün ve stok verileri üzerinden satış ekibinin doğal dilde stok sorgulaması yapabilmesi.
- İzin verilen veri kaynakları.
- Kullanıcı grupları ve erişim seviyeleri.
- Beklenen yanıt kalitesi.
- İzin verilen ve yasaklanan işlemler.
- Test senaryoları ve kabul kriterleri.
- Geri alma ve devre dışı bırakma yöntemi.
Çıktı: Pilot sonuç raporu ve teknik kabul dokümanı.
Teknoloji kullanımını iş değerine dönüştürün
Bir modelin iyi yanıt üretmesi tek başına yatırım başarısı değildir.
Örneğin bir destek personeli günlük 40 talebi manuel olarak sınıflandırıyorsa ve AI destekli sistem bu sürenin önemli bir kısmını azaltıyorsa, elde edilen zaman tasarrufu ölçülmelidir.
İş değeri; işlem süresi, operasyonel maliyet, hata oranı, kullanıcı memnuniyeti ve gelir etkisi üzerinden hesaplanmalıdır.
Çıktı: KPI tablosu ve yatırım getirisi raporu.
AI Governance modelini oluşturun
Her AI uygulaması için bir iş sahibi, teknik sorumlu ve risk sahibi belirlenmelidir.
- Onaylı model ve servis sağlayıcıları.
- Veri sınıflandırma ve kullanım kuralları.
- İnsan onayı gerektiren kararlar.
- Model performansı ve hata yönetimi.
- Loglama, denetim ve saklama süreleri.
- Üçüncü taraf riskleri ve tedarikçi sözleşmeleri.
NIST AI Risk Management Framework içerisindeki Govern, Map, Measure ve Manage fonksiyonları bu yönetim modelini oluşturmak için yararlı bir referanstır.
Çıktı: AI politika dokümanı ve sorumluluk matrisi.
Hukuki ve düzenleyici yükümlülükleri değerlendirin
AI uygulamalarının kişisel veri, ticari sır, fikri mülkiyet ve sektör düzenlemeleri açısından değerlendirilmesi gerekir.
Türkiye’de kişisel veri işleyen uygulamalarda KVKK kapsamında veri işleme amacı, hukuki sebep, veri minimizasyonu, saklama ve güvenlik yükümlülükleri dikkate alınmalıdır. Yurt dışındaki bir AI sağlayıcısına veri aktarımı söz konusuysa uluslararası aktarım hükümleri ayrıca incelenmelidir.
AB ile iş yapan işletmeler açısından EU AI Act de önemlidir. Mevzuatın uygulama takvimi ve sistemin risk sınıfı ayrıca değerlendirilmelidir.
Çıktı: AI uyum değerlendirmesi, veri akış haritası ve hukuki kontrol listesi.
Veriyi modelden önce koruyun
Çalışanların kontrolsüz biçimde müşteri listelerini, finansal raporları, sözleşmeleri veya şirket içi yazışmaları herkese açık AI servislerine yüklemesi ciddi bir bilgi güvenliği riskidir.
- Hassas veri sınıflandırması.
- PII maskeleme ve veri minimizasyonu.
- API anahtarlarının secret manager içinde saklanması.
- Şifreli iletişim ve depolama.
- Rol bazlı erişim ve düzenli yetki gözden geçirmesi.
- Veri aktarım ve model sağlayıcı politikalarının kontrolü.
Çıktı: Veri güvenliği kontrolleri ve AI kullanım güvenlik standardı.
Teknoloji kadar insan kaynağına yatırım yapın
AI dönüşümü yalnızca yazılım geliştirme ekibinin sorumluluğunda yürütülmemelidir.
İş birimleri süreçleri, BT ekibi entegrasyon ve güvenliği, yönetim ise yatırım ve risk kararlarını sahiplenmelidir.
Temel yetkinlik programında prompt tasarımı, veri güvenliği, AI çıktılarının doğrulanması, otomasyon süreçleri ve departman bazlı kullanım senaryoları bulunmalıdır.
Çıktı: Yetkinlik matrisi ve departman bazlı eğitim planı.
Pilot başarılı olduğunda doğrudan bütün kullanıcıları sisteme açmak doğru değildir. Önce servis kapasitesi, hata senaryoları, maliyet ve güvenlik test edilmelidir.
- API Gateway ve merkezi kimlik doğrulama.
- Yük dengeleme ve kuyruk yönetimi.
- Model sağlayıcı fallback mekanizması.
- Cache ve tekrar eden sorgu optimizasyonu.
- Versiyonlama ve kontrollü dağıtım.
- Merkezi loglama ve alarm mekanizmaları.
Çıktı: Production mimarisi, SLA ve operasyon prosedürü.
Modeli ve veri kalitesini sürekli takip edin
AI uygulamalarının performansı zaman içinde değişebilir. Veri kaynakları güncellenir, kullanıcı davranışları farklılaşır ve model sağlayıcıları yeni sürümler yayınlar.
- Yanıt doğruluğu ve kaynak uygunluğu.
- Hallucination oranı.
- Ortalama yanıt süresi ve p95 gecikme.
- Token tüketimi ve işlem maliyeti.
- Başarısız istek ve tekrar deneme oranı.
Çıktı: AI operasyon dashboard’u ve periyodik kalite raporu.
Model çıktısını denetlenebilir hâle getirin
Özellikle finans, insan kaynakları, satın alma ve müşteri yönetimi gibi alanlarda modelin ürettiği yanıtın hangi kaynağa dayandığı görülebilmelidir.
RAG sistemlerinde kaynak doküman, sayfa, kayıt tarihi ve ilgili veri kimliği gibi metadata bilgileri yanıtla birlikte sunulabilir.
Önemli kararlar için insan onayı, işlem geçmişi ve geri alma mekanizması bulunmalıdır. Modelin ürettiği açıklama, tek başına kararın doğru olduğunun kanıtı değildir.
Çıktı: İzlenebilirlik, kaynak gösterimi ve insan denetimi mekanizması.
AI kullanımını kalıcı kurumsal yetkinliğe dönüştürün
Başarılı bir AI projesinin amacı yalnızca birkaç iş adımını otomatikleştirmek olmamalıdır.
Asıl hedef; kurumun veri yönetimi, süreç tasarımı, karar alma ve teknoloji kullanma yetkinliğini sürekli geliştirmektir.
Her yeni proje önceki projelerden öğrenilen deneyimi kullanmalı; tekrar kullanılabilir API’ler, ortak veri modelleri, güvenlik politikaları ve değerlendirme standartları üzerine kurulmalıdır.
Çıktı: Kurumsal AI yol haritası ve sürekli yatırım değerlendirme modeli.
Veri Temeli: ERP, CRM ve SQL Server ile AI Entegrasyonu
Özellikle ERP ağırlıklı çalışan KOBİ’lerde yapay zekâ projelerinin en değerli veri kaynağı mevcut operasyonel sistemlerdir. Satış, stok, satın alma, finans ve müşteri ilişkileri sistemleri işletmenin gerçek iş bilgisini barındırır.
Burada kritik konu, LLM’e doğrudan veritabanı erişimi vermek değildir. Uygulama katmanı üzerinden kontrollü ve sınırlandırılmış veri servisleri tasarlamaktır.
SQL Server erişiminde önerilen yaklaşım
-- AI raporlama servisi için sınırlı veri erişimi
CREATE LOGIN ai_reporting
WITH PASSWORD = 'CHANGE_THIS_STRONG_SECRET';
CREATE USER ai_reporting
FOR LOGIN ai_reporting;
GRANT SELECT ON OBJECT::dbo.vw_AI_SalesSummary
TO ai_reporting;
GRANT SELECT ON OBJECT::dbo.vw_AI_StockSummary
TO ai_reporting;
-- Üretim ortamında:
-- Ayrı raporlama veritabanı tercih edin.
-- Tablolar yerine kontrollü VIEW kullanın.
-- Yazma yetkisi vermeyin.
-- Erişimleri düzenli denetleyin.Bu örnek temel bir yetkilendirme yaklaşımını gösterir. Gerçek ortamda parola yönetimi, veritabanı rol tasarımı, network segmentasyonu ve kimlik doğrulama standartları ayrıca uygulanmalıdır.
LLM’in SQL sorgusu üretmesi güvenli mi?
LLM tabanlı doğal dil-SQL çözümleri dikkatli tasarlanmalıdır. Modelin ürettiği sorgunun doğrudan üretim veritabanında çalıştırılması SQL injection, yetki aşımı, aşırı kaynak tüketimi ve veri sızıntısı riskleri oluşturabilir.
Önerilen kontrol sırası:
- Kullanıcının kimliğini doğrulayın.
- Kullanıcının veri erişim kapsamını belirleyin.
- İzin verilen şema ve VIEW listesini modele aktarın.
- Üretilen SQL’i AST veya uygun bir SQL parser ile kontrol edin.
- Yalnızca SELECT işlemlerine izin verin.
- Tablo, kolon, satır ve zaman aşımı sınırları uygulayın.
- Sorguyu read-only bağlantı üzerinden çalıştırın.
- Sonuçları yetki ve veri sızıntısı kontrollerinden geçirin.
Parametreli sorgular, izin listeleri ve veritabanı yetkileri temel güvenlik kontrolleridir. Sadece system prompt içine “zararlı SQL üretme” yazmak güvenlik kontrolü değildir.
RAG Mimarisi: Şirket Bilgisini LLM ile Buluşturmak
Bir KOBİ’nin prosedürleri, ürün katalogları, teknik dokümanları, sözleşmeleri ve operasyon talimatları farklı sistemlerde bulunabilir. Bu bilgi kaynaklarını bir dil modeliyle kontrollü biçimde birleştirmek için Retrieval-Augmented Generation (RAG) mimarisi kullanılabilir.
RAG yaklaşımında modelin bütün şirket dokümanlarıyla yeniden eğitilmesi gerekmez. İlgili dokümanlar parçalanır, embedding vektörleri oluşturulur ve sorgu sırasında uygun içerikler bulunarak modelin bağlamına eklenir.
ERP / Wiki
Normalization
Metadata
Vector Index
Retrieval
Kaynaklar
RAG tasarımında dikkat edilmesi gereken parametreler
- Chunk size: Dokümanın yapısına göre belirlenmelidir. İlk testlerde 400–800 token aralığı değerlendirilebilir.
- Overlap: İçeriğin bağlamını korumak için örneğin %10–15 başlangıç değeri denenebilir.
- Embedding: Türkçe dil performansı ve alan terminolojisiyle test edilmelidir.
- Retrieval: Metadata filtreleme, keyword search ve vector search birlikte değerlendirilebilir.
- Reranking: İlk bulunan sonuçların sorguya uygunluğu ikinci aşamada yeniden sıralanabilir.
- ACL: Kullanıcı, departman ve doküman yetkileri retrieval öncesinde uygulanmalıdır.
- Freshness: Güncellenen veya silinen dokümanların indekse yansıması izlenmelidir.
RAG, tek başına erişim kontrolü sağlamaz. Bir çalışan yalnızca erişim yetkisi bulunan dokümanlardan sonuç almalıdır. Yetki filtresini modelin yorumuna bırakmak yerine veri erişim katmanında uygulayın. Dokümanların içine gömülü prompt injection talimatlarını da güvenilmeyen içerik olarak ele alın.
AI Security ve Kurumsal Yönetişim
LLM uygulamaları klasik web uygulamalarındaki güvenlik kontrollerine ek olarak modele özgü saldırı yüzeylerine sahiptir.
OWASP’ın LLM uygulamalarına yönelik risk listesinde prompt injection, hassas bilgi ifşası, güvensiz çıktı işleme, aşırı yetkilendirme ve tedarik zinciri riskleri gibi başlıklar yer alır.
Production ortamında minimum güvenlik kontrol listesi
| Kontrol | Uygulama | Öncelik |
|---|---|---|
| Identity & Access | SSO, MFA, RBAC, servis kimlikleri | Kritik |
| Data Protection | Maskeleme, şifreleme, veri minimizasyonu | Kritik |
| Prompt Injection | Güvenilmeyen içerik izolasyonu ve araç yetkisi sınırları | Kritik |
| Output Validation | Şema kontrolü, sanitization ve iş kuralı doğrulaması | Yüksek |
| Rate Limiting | Kullanıcı ve servis bazlı kota | Yüksek |
| Audit Logging | İstek kimliği, kullanıcı, model ve maliyet kaydı | Yüksek |
| Backup / Recovery | İndeks, metadata ve yapılandırma yedekleri | Yüksek |
Örnek API güvenlik katmanı
APP_ENV=production
API_AUTH_REQUIRED=true
RATE_LIMIT_PER_MINUTE=30
REQUEST_TIMEOUT_SECONDS=45
MAX_INPUT_TOKENS=8000
MAX_OUTPUT_TOKENS=1500
PII_FILTER_ENABLED=true
AUDIT_LOG_ENABLED=true
# Gerçek API anahtarını bu dosyada tutmayın.
# Secret Manager / Vault kullanın.Bu değerler örnek başlangıç parametreleridir; üretim ortamına doğrudan kopyalanacak evrensel bir konfigürasyon değildir. Gerçek sınırlar kullanıcı sayısı, model kapasitesi, iş yükü ve SLA beklentisine göre belirlenmelidir.
Pilot Proje ve ROI: Yatırımın Geri Dönüşünü Hesaplamak
Yönetim kurulu veya şirket sahibi için AI projesinin değeri, modelin kaç parametreye sahip olduğu değildir. İşletmeye ne kadar somut fayda sağladığıdır.
Örneğin aylık 2.000 destek talebinin sınıflandırıldığı bir işletmeyi ele alalım.
| Parametre | Mevcut durum | Pilot hedefi |
|---|---|---|
| Aylık talep | 2.000 | 2.000 |
| Talep başına işlem süresi | 5 dakika | 2 dakika |
| Aylık toplam süre | 166,7 saat | 66,7 saat |
| Potansiyel tasarruf | – | 100 saat / ay |
Bu senaryoda yaklaşık 100 saatlik aylık zaman tasarrufu hedeflenmektedir. Bu değer varsayımsaldır; gerçek pilotta doğruluk, insan müdahalesi ve yeniden işlem süreleri hesaba katılmalıdır.
ROI hesaplama modeli
ROI (%) = [(Yıllık Net Fayda − Yıllık Toplam Maliyet) / Yıllık Toplam Maliyet] × 100
Net fayda hesaplanırken tasarruf edilen iş gücü, önlenen hata maliyeti ve ölçülebilir ek gelir katkısı dikkate alınmalıdır. Aynı faydayı iki kez saymamaya dikkat edilmelidir.
Toplam sahip olma maliyetine (TCO) aşağıdaki kalemleri ekleyin:
- Model API veya yerel donanım maliyeti.
- GPU, sunucu, depolama ve ağ giderleri.
- Entegrasyon ve yazılım geliştirme.
- Güvenlik, yedekleme ve izleme.
- Bakım, model değerlendirme ve operasyon personeli.
- Eğitim ve değişim yönetimi.
Bulut API, Yerel LLM ve Hibrit Mimari Karşılaştırması
KOBİ’lerde yapay zeka hazırlığı aşamasında sık karşılaştığım kararlardan biri modelin nerede çalıştırılacağıdır. Bulut mu, yerel sunucu mu? Tek bir doğru cevap yoktur. Karar veri hassasiyeti, kullanıcı hacmi, gecikme, donanım kapasitesi ve toplam sahip olma maliyeti üzerinden verilmelidir.
| Kriter | Bulut API | Yerel LLM | Hibrit |
|---|---|---|---|
| İlk yatırım | Düşük | Orta / Yüksek | Orta |
| Ölçeklenebilirlik | Yüksek | Donanıma bağlı | Yüksek |
| Veri kontrolü | Sağlayıcı ve sözleşmeye bağlı | Yüksek kontrol | Politikaya bağlı |
| Operasyon yükü | Düşük / Orta | Yüksek | Orta / Yüksek |
| Donanım ihtiyacı | Yerel GPU gerekmez | GPU / RAM gerekir | İş yüküne bağlı |
| Model kontrolü | Sağlayıcıya bağlı | Yüksek | Yüksek esneklik |
| Uygun senaryo | Hızlı başlangıç | Özel veri ve kontrollü iş yükü | Çoklu güvenlik ve maliyet gereksinimi |
Yerel LLM için donanım değerlendirmesi
Yerel model çalıştırma kararı alınırken yalnızca GPU VRAM miktarına bakmak yeterli değildir. Model ağırlıkları, quantization seviyesi, context length, KV cache, eşzamanlı kullanıcı sayısı ve inference motorunun belleği yönetimi birlikte değerlendirilmelidir.
Örneğin 7B–8B sınıfında quantized modeller, uygun bellek kapasitesiyle birçok kurumsal yardımcı uygulama için test edilebilir. Ancak modelin 4-bit quantized olması, bütün iş yüklerinin GPU belleğine sorunsuz sığacağı anlamına gelmez.
GPU seçiminde aşağıdaki bileşenleri birlikte değerlendirin:
- VRAM kapasitesi ve bellek bant genişliği.
- Model ağırlıklarının quantization seviyesi.
- KV cache için ayrılacak bellek.
- Context window uzunluğu.
- GPU kullanım oranı ve eşzamanlı istek kapasitesi.
- CPU, RAM ve depolama performansı.
Ollama ile örnek yerel model çalıştırma
# Mevcut modelleri listele
ollama list
# Model indir
ollama pull qwen2.5:7b
# Modeli çalıştır
ollama run qwen2.5:7b
# API sağlık kontrolü
curl http://localhost:11434/api/tagsModel etiketi örnek amaçlı verilmiştir. Kullanılacak sürümün güncelliği, lisans koşulları, Türkçe başarımı ve donanım uyumluluğu ayrıca test edilmelidir. Üretim ortamında Ollama API’sini kontrolsüz şekilde internete açmayın; ters proxy, kimlik doğrulama ve ağ izolasyonu uygulayın.
KOBİ’ler İçin 90 Günlük AI Uygulama Planı
Yol haritasını uygulamaya dönüştürmek için üç aşamalı bir program öneriyorum. Süreler şirketin mevcut veri kalitesine, ekip kapasitesine ve entegrasyon karmaşıklığına göre değişebilir.
| Dönem | Çalışma alanı | Beklenen çıktı |
|---|---|---|
| 1–30. gün | Fırsat analizi, veri envanteri, güvenlik ve yönetişim | AI stratejisi ve pilot kapsamı |
| 31–60. gün | API, veri entegrasyonu, model seçimi, pilot geliştirme | Çalışan prototip ve test raporu |
| 61–90. gün | Güvenlik testleri, kullanıcı kabulü, performans ve maliyet ölçümü | Production kararı ve ölçekleme planı |
İlk 30 gün: Keşif ve tasarım
- Departmanlarla iş problemi görüşmeleri yapın.
- ERP, CRM, dosya sunucusu ve veritabanı envanterini çıkarın.
- Veri sahiplerini ve hassas veri sınıflarını belirleyin.
- Pilot için başarı kriterlerini tanımlayın.
- Bulut, yerel veya hibrit model seçeneklerini karşılaştırın.
31–60 gün: Geliştirme ve doğrulama
- API Gateway ve uygulama katmanını kurun.
- İlk veri entegrasyonlarını geliştirin.
- RAG veya uygun AI yöntemini uygulayın.
- Test veri seti ve değerlendirme senaryoları hazırlayın.
- Yetki ve güvenlik kontrollerini uygulayın.
61–90 gün: Pilot ve karar
- Sınırlı kullanıcı grubuyla pilotu çalıştırın.
- Doğruluk, gecikme ve maliyet ölçümlerini alın.
- İş birimlerinden kullanıcı geri bildirimi toplayın.
- İnsan denetimi ve hata senaryolarını test edin.
- Yatırımın devamı için yönetim değerlendirmesi yapın.
AI Operasyonlarında Takip Edilmesi Gereken KPI’lar
AI sistemleri canlıya alındıktan sonra klasik BT operasyon metrikleri tek başına yeterli değildir. Model kalitesi ve iş etkisi birlikte izlenmelidir.
| Metrik | Açıklama | İzleme amacı |
|---|---|---|
| Task Success Rate | Başarıyla tamamlanan görev oranı | İş başarısı |
| Groundedness | Yanıtın kaynaklarla desteklenme seviyesi | Güvenilirlik |
| p95 Latency | İsteklerin %95’inin tamamlanma süresi | Performans |
| Cost / Request | İstek başına toplam maliyet | FinOps |
| Human Override Rate | İnsan müdahalesi gereken çıktı oranı | Operasyonel kalite |
| Adoption Rate | Hedef kullanıcıların aktif kullanım oranı | Benimseme |
| Incident Rate | AI kaynaklı güvenlik ve operasyon olayları | Risk yönetimi |
Özellikle maliyet takibinde toplam token tüketimi yerine departman, kullanıcı, model ve iş senaryosu bazlı maliyet analizi yapılmalıdır. Böylece yüksek maliyet oluşturan ancak düşük iş değeri sağlayan kullanım senaryoları tespit edilebilir.
Sonuç: Yapay Zekâ Yatırımı Değil, Kurumsal Yetkinlik İnşa Edin
KOBİ’lerde yapay zeka hazırlığı, bir modelin nasıl çalıştırılacağını öğrenmekten çok daha kapsamlı bir konudur. Başarılı bir dönüşüm için işletmenin veri mimarisi, entegrasyon kabiliyeti, güvenlik politikaları, insan kaynağı ve yönetim yaklaşımı birlikte gelişmelidir.
13 adımlı yol haritasının en önemli mesajı da budur: Önce fırsatı ve veriyi tanımlayın, ardından doğru AI yaklaşımını seçin. Pilot uygulamayı ölçün, güvenlik ve yönetişim kontrollerini oluşturun. Ancak bu koşullar sağlandığında ölçeklemeye geçin.
Bir BT yöneticisi için başarı kriteri, şirkette kaç kişinin yapay zekâ aracı kullandığı değildir. Başarı; operasyonel maliyetlerin düşmesi, karar kalitesinin artması, veriye erişimin iyileşmesi ve işletmenin teknoloji yatırımlarından sürdürülebilir değer üretmesidir.
Benim yaklaşımım net: Önce veri mimarisi, sonra entegrasyon, ardından yapay zekâ. Bu sıralamayı tersine çevirmek, teknoloji yatırımını kısa sürede yeni bir bakım ve maliyet problemine dönüştürebilir.
Bugün şirketinizdeki yapay zekâ uygulamalarından biri devre dışı kaldığında hangi iş süresi durur, hangi veriye erişim kaybolur ve bu durumun operasyonel etkisini ölçebiliyor musunuz?
Bu soruya net yanıt veremiyorsanız, henüz yalnızca AI araçları kullanıyorsunuz demektir. Kurumsal AI mimarinizi oluşturma aşamasına geçmeniz gerekiyor.
Teknik Referanslar ve İleri Okuma
- NIST – AI Risk Management Framework: AI risk yönetimi, Govern, Map, Measure ve Manage yaklaşımı.
- OWASP – Top 10 for Large Language Model Applications: LLM uygulamalarına yönelik güvenlik riskleri.
- European Commission – EU AI Act Implementation Timeline: Avrupa Birliği AI düzenlemesinin uygulama takvimi.
- NIST Information Technology Laboratory: Bilgi teknolojileri ve güvenlik standartları.
Bu kaynaklar teknik tasarım ve yönetişim değerlendirmesi için başlangıç noktalarıdır. Hukuki uyum kararları için güncel mevzuat ve uzman görüşü ayrıca değerlendirilmelidir.
Sıkça Sorulan Sorular
KOBİ’ler yapay zekâya nereden başlamalı?
Öncelikle iş süreçlerinde tekrar eden, yüksek hacimli ve ölçülebilir problemleri belirlemelidir. Ardından veri kalitesi, entegrasyon ve güvenlik değerlendirmesi yapılarak sınırlı kapsamlı bir pilot proje seçilmelidir. İlk aşamada büyük bir AI platformu kurmak yerine, küçük fakat ölçülebilir bir kullanım senaryosuyla başlamak daha sağlıklıdır.
Yapay zekâ kullanmak için şirket içinde GPU sunucusu gerekli mi?
Hayır. Bulut tabanlı API servisleriyle yerel GPU yatırımı yapmadan başlanabilir. Yerel model altyapısı; veri kontrolü, sürekli kullanım maliyeti, gecikme ve bağımsız çalışma gereksinimleri değerlendirilerek tercih edilmelidir. Hibrit mimari de güçlü bir alternatiftir.
KOBİ’lerde yapay zekâ projelerinin başarısı nasıl ölçülür?
İşlem süresi, hata oranı, kullanıcı benimsemesi, işlem başına maliyet, yanıt kalitesi ve yatırım getirisi birlikte ölçülmelidir. Sadece model doğruluğuna veya token tüketimine bakmak yeterli değildir.
Şirket verileri ChatGPT veya başka bir genel AI modeline gönderilebilir mi?
Bu karar kullanılan servisin veri işleme koşullarına, sözleşmelere, veri türüne ve kurumun güvenlik politikalarına bağlıdır. Kişisel veya ticari açıdan hassas bilgiler kontrolsüz biçimde paylaşılmamalıdır. Veri minimizasyonu, maskeleme, erişim kontrolü ve uygun hukuki değerlendirme gereklidir.
RAG mimarisi KOBİ’ler için neden önemlidir?
RAG, şirket dokümanlarını ve yetkili veri kaynaklarını dil modeliyle birleştirerek kaynak temelli yanıtlar üretilmesini sağlar. Özellikle prosedür, ürün kataloğu, teknik doküman ve şirket içi bilgi asistanlarında kullanışlıdır. Bununla birlikte erişim kontrolü ve kaynak güncelliği ayrıca yönetilmelidir.
Bir KOBİ’nin ilk AI projesi ne kadar sürede tamamlanabilir?
Veri kaynakları ve entegrasyonlar hazırsa basit bir pilot birkaç hafta içinde geliştirilebilir. Bu makaledeki örnek programda 4–8 haftalık ilk pilot ve 90 günlük değerlendirme yaklaşımı önerilmektedir. Kurumsal ölçekleme ise güvenlik, operasyon ve kullanıcı kapsamına göre daha uzun sürebilir.
LLM’in ERP veritabanına doğrudan bağlanması doğru mu?
Genel olarak önerilmez. ERP verileri kontrollü servisler ve salt okunur raporlama katmanı üzerinden sunulmalıdır. Kullanıcı yetkileri, sorgu doğrulama, satır sınırları, zaman aşımı ve loglama uygulama katmanında kontrol edilmelidir.
AI projelerinde en büyük teknik risk nedir?
Tek bir riskten söz etmek doğru olmaz. Hassas bilgi ifşası, prompt injection, yetkisiz araç kullanımı, hatalı model çıktısı, tedarikçi bağımlılığı ve kontrolsüz maliyet önemli riskler arasındadır. Bu riskler tasarım aşamasından itibaren yönetilmelidir.

