<

Büyük Dil Modelleri İşletmenize Ne Katar? Abartısız Bir Değerlendirme

Geçen hafta bir müşteri toplantısında yönetim kurulu üyesi bana dönüp sordu: "Yakup Bey, bu yapay zeka işi bizi de vuracak mı, yoksa boş balon mu?" Aynı masada oturan iki kişiden biri "her şey değişecek" kampındaydı, diğeri "hepsi pazarlama" diyordu. İkisi de haklı değil — ve bunu tahminen değil, ölçerek söylüyorum. Son iki ayda üç farklı müşterimizle büyük dil modeli tabanlı pilot çalışmalar yürüttük. Bu yazı, o pilotların abartısız dökümü.

Sipariş e-postalarından başlayan hikâye

İlk pilotumuz bir dağıtım firmasıyla oldu. Sorunları klasik: bayilerden günde yüzlerce sipariş e-postası geliyor, her biri farklı formatta — kimi tablo yapıştırıyor, kimi düz metin yazıyor, kimi telefonda söylediğini e-postayla "teyit ediyor". İki personel tam mesaisini bu e-postaları sisteme elle girmekle geçiriyordu.

Modele her e-postayı verip yapılandırılmış veri çıkarmasını istedik: ürün, adet, teslimat adresi, tarih. Çıkan veriyi personel ekranda kontrol edip onaylıyor, düzeltilmesi gereken varsa düzeltiyor. Sonuç: veri giriş süresi kabaca yarıya indi. Personeli işten çıkarmadılar (bunu özellikle yazıyorum, çünkü konu hep oraya çekiliyor); aynı iki kişi artık sipariş takibi ve bayi iletişimiyle ilgileniyor.

Buradaki kritik detay şu: model son kararı vermiyor. Model öneriyor, insan onaylıyor. Bu mimari kurulmadan yapılan her otomasyon denemesi, bizim gördüğümüz kadarıyla, er ya da geç patlıyor.

Ölçtüğümüz kazançlar ve ölçemediklerimiz

Üç pilotun ortak paydası: metin yoğun, tekrarlı, hata toleransı olan süreçlerde zaman kazancı yüzde 30 ile 50 arasında. Sipariş e-postası ayrıştırma, sözleşme taslaklarını karşılaştırma, çağrı merkezi notlarını özetleme — hepsi bu banda oturdu.

İkinci pilot bir iç bilgi erişim denemesiydi: şirket prosedürlerine doğal dille soru sorabilen basit bir asistan. "Yıllık izin devri nasıl işliyor?" diye yazıyorsunuz, ilgili prosedürden cevap geliyor. Kurulumu şaşırtıcı derecede basitti ve kullanıcı memnuniyeti yüksek çıktı. İtiraf edeyim, bu pilotun bu kadar sevilmesini beklemiyordum; insanların 80 sayfalık prosedür PDF'inde arama yapmaktan ne kadar nefret ettiğini hafife almışız.

Üçüncü alan kendi mutfağımız: yazılım ekibinde test verisi üretimi, dokümantasyon ve kod açıklama işlerinde modelleri kullanıyoruz. En net gözlemimiz junior arkadaşlar üzerinde — yeni katılan bir geliştiricinin "bu kod ne yapıyor?" sorularının çoğunu artık model cevaplıyor ve öğrenme eğrisi gözle görülür kısaldı. (Senior'ların işine yaramıyor demiyorum; ama fark junior tarafında çok daha dramatik.)

Ölçemediğimiz şeyler de var: uzun vadede bakım maliyeti, model davranışının sürüm değişikliklerinde kayması, personelin araca aşırı güvenmeye başlaması. Bunlar için altı ay daha veri gerekiyor.

Maliyet sorusu da masaya geliyor haliyle. API kullanımı işlenen metin miktarına göre ücretlendiriliyor ve rakamlar ilk bakışta korkutucu değil: sipariş e-postası pilotunda belge başına maliyet, bir personelin aynı işi elle yapmasının küçük bir kesri. Ama dikkat — hacim büyüyünce fatura da büyüyor ve "her şeyi modele soralım" rahatlığı üç ayda ciddi bir kaleme dönüşebiliyor. Pilotta belge başına maliyeti baştan ölçüp bütçeye yazmak, sonradan sürpriz yaşamamanın tek yolu.

Paranızı gömmemeniz gereken yerler

Şimdi madalyonun öbür yüzü. Kesin doğruluk gerektiren işlerde — muhasebe mutabakatı, hukuki değerlendirme, fiyatlama kararları — bu modeller bugün güvenilir değil. Nokta.

Matematiği basit: halüsinasyon oranı yüzde bir bile olsa, ayda on bin işlem yapan bir süreçte yüz hatalı işlem demek. Sipariş e-postasında bu hata bir telefonla düzelir; mali tabloda düzelmez. Bir müşterimiz fatura mutabakatını tamamen modele devretmek istedi; kırıcı olmak pahasına vazgeçirdik. O süreç için klasik yazılım artı insan onayı hâlâ tek doğru mimari — ve muhtemelen bir süre daha öyle kalacak.

Bir de "yapay zeka koyalım da nereye koyduğumuz önemli değil" yaklaşımı var. Yönetim kurulu sunumunda havalı görünsün diye kurulan projelerin akıbetini hepimiz biliyoruz. Teknoloji, çözdüğü sorun kadar değerlidir.

Ve odadaki fil: veri gizliliği. Bu modellerin güçlüleri şu an bulut servisleri; yani verinizi dışarıya, çoğu zaman yurt dışındaki bir sağlayıcıya gönderiyorsunuz. KVKK tarafında bunun ne anlama geldiğini müşterinizin hukuk ekibiyle pilottan önce konuşun, sonra değil. Bizim pilotlarımızda kişisel verileri maskeleme katmanı standart: ad, telefon, adres gibi alanlar modele gitmeden önce etiketle değiştiriliyor, cevap döndükten sonra geri yerleştiriliyor. Ek bir mühendislik maliyeti, evet — ama uykunuzu satın alıyorsunuz.

Kendi sunucunuzda çalışan açık modeller de yavaş yavaş konuşulmaya başlandı; bugünkü olgunlukları kurumsal iş için henüz tartışmalı, ama takip listemizde üst sıradalar.

Dört haftalık pilot nasıl kurulur

Bize sorarsanız reçete şu: tek bir süreç seçin — metin yoğun, tekrarlı, hatası telafi edilebilir bir süreç. Dört ila altı haftalık bir pilot kurun. Başlamadan önce mevcut durumu ölçün (işlem süresi, hata oranı, personel saati), pilot sonunda aynı metrikleri tekrar ölçün. Rakam konuşsun.

Pilotun sahibi konusu da kritik: bu iş ne tek başına IT'ye ne tek başına iş birimine bırakılır. En iyi işleyen kurgu, süreci yaşayan bir iş birimi sorumlusu artı bir geliştirici — toplam iki kişilik çekirdek. Kalabalık komiteler pilotu toplantıya boğuyor; ilk üç haftası "kapsam tartışması" ile geçen pilot, bizim gördüğümüz kadarıyla, hiç başlamamış sayılır.

Pilotu kurarken model kısmını değiştirilebilir tasarlayın. Bu teknoloji ayda bir vites değiştiriyor; bugün kullandığınız modelin yerine altı ay sonra daha iyisi gelecek. Veri akışınız ve onay mekanizmanız doğru tasarlanmışsa model değişimi bir günlük iş; yanlış tasarlanmışsa her yenilik bir yeniden yazım projesi.

Ve küçük başlayın. Gerçekten küçük. İlk pilotun amacı ciro artırmak değil, kurumunuzun bu teknolojiyle çalışma refleksini kazanması.

Bir uyarı daha, insan tarafıyla ilgili: pilotu ekibe "sizi izleyeceğiz" mesajıyla değil, "angaryayı devredeceğiz" mesajıyla götürün. Dağıtım firmasındaki iki personel ilk hafta araca soğuk baktı; ne zaman ki modelin çuvalladığı e-postaları düzeltip sistemi kendilerinin eğittiğini gördüler, sahiplendiler. Otomasyona en çok direnen kişi, doğru kurgulanmış pilotta en iyi kalite kontrolcünüz oluyor.

Balon mu değil mi sorusuna dönersek

Toplantıdaki soruya verdiğim cevabı buraya da yazayım: hisse senedi tarafında balon olabilir, orası bizim uzmanlık alanımız değil. Ama teknolojinin kendisi balon değil — çünkü bugün, elimizdeki haliyle bile, ölçülebilir para kazandırıyor. Yüzde 30-50 zaman kazancı pazarlama cümlesi değil, üç pilottan çıkan ortalama.

Öte yandan "her şeyi değiştirecek" kampına da katılmıyoruz; en azından bu yıl değil. Değişim gelecek ama sindire sindire, süreç süreç gelecek. Kendi işletmenizde hangi süreçten başlanır sorusunu birlikte düşünmek isterseniz iletişim sayfamızdan ulaşın; pilot kurgusu tam da bizim keyif aldığımız türden bir iş.

📅 Yayınlanma:  ·  Yakup Zengin