Bir ürün geliştirirken yapay zekâdan faydalanmak artık bir norm. Bir diğer norm ise yapay zekâ ile otomasyonun bu kadar erişilebilir olduğu bir dönemde yazılım testini de ona emanet etmek. Eğer bu yazıyı okuyorsanız, büyük ihtimalle siz de aynı senaryoyu yaşamışsınızdır ve büyük ihtimalle yapay zekânın kendisinin geliştirdiği ürün, yapay zekânın hazırladığı test setini başarıyla geçmiştir. Peki, her şeyin bu kadar yolunda gittiği o senaryonun sonunda alınan o şikayetler nereden geldi, hiç düşündünüz mü?
Yazılım kalitesi konusunda iddialı bir kuruluş olarak amacımız tabii ki yapay zekâ ile yazılım testini kötülemek değil. Aksine, bu süper teknolojiyi en güvenli şekilde kullanmak için ürün uçtan uca kalite platformumuzu yapay zekâ yetenekleriyle donatıyoruz.
Google mühendislerinin de düşüncemizi destekleyen bir deneyimi var. DORA’nın Mart 2026’da yayımladığı araştırma, Google yazılım mühendislerinin 1110 açık uçlu yanıtını inceliyor. Mühendislerden biri, yapay zekâ sayesinde deneyimi olmayan alanlarda daha hızlı geliştirme yapabildiğini, ancak yeterli bağlama sahip olmadığı için ortaya çıkan işin doğruluğundan emin olamadığını anlatıyor.
Yani yapay zekâya bir işi delege etmek, işin en kolay kısmı. Genel olarak eksik olan ise yapay zekânın yaptığı işte neyin aksadığını veya yanlış olduğunu anlayabilecek bilgiye sahip olmak. Günün sonunda masaya koyduğunuz ürünü bir robot ya da “agent” değil, gerçek müşteri adaylarınız kullanacak. Burada işin içine giren belki de yüzlerce değişkeni ve müşteri beklentisini öngörmek için derin bir sektörel bilgi ve deneyim de gerekiyor.
Yapay zekâ testlerinde hata nerede çıkıyor?
Yapay zekâ, bir test senaryosu yazarken ya da koşarken geliştirdiği kodu doğru kabul edebilir. Kodda yanlış yorumladığı bir kural varsa, testi de aynı yoruma göre hazırlayabilir. En çok karşılaşılan döngü bu: Sonuçta test başarılı olur; üstelik ortada birbirini doğrulayan iki çıktı olduğu için bize oldukça güven verici görünür.
Durumun gerçek dünya örneklerini aradığımızda karşımıza kapsamlı bir araştırma çıktı: Lüksemburg Üniversitesi araştırmacıları, yapay zekânın ürettiği hatalı kodları iki farklı yöntemle test ettirdi. İlkinde yapay zekâdan, hatalı kodun bulunduğu sohbet içinde test yazmasını istediler. İkincisinde yeni bir sohbet açıp kodu göstermeden, yalnızca programın ne yapması gerektiğini anlattılar. Her iki yöntemde de testleri YZ yazdı ve hazırlanan testler aynı hatalı programlar üzerinde çalıştırıldı.
Hatalı kodun bulunduğu sohbette hazırlanan testler, seçilen hataların yaklaşık %14’ünü yakaladı. Kodu görmeden, yalnızca görev açıklamasına dayanarak hazırlanan testlerde oran %25’e çıktı. Yani kodu görmek, yapay zekânın hatayı bulmasını kolaylaştırmak yerine zorlaştırmıştı. Araştırmacılar özellikle zor yakalanan hataları seçtiği için, oranları bütün YZ testlerinin başarı düzeyi olarak okumamak gerekiyor.
İşin inceliklerini yapay zekâya kim anlatacak?
Columbia Üniversitesi DAPLab ekibinin araştırmasında karşılaşılan bir hata, meseleyi oldukça iyi anlatıyor.
Araştırmacılar, beş kodlama ajanıyla 15’ten fazla uygulama geliştirirken ortaya çıkan sorunları inceliyor. Belgeledikleri örneklerden birinde, alışveriş uygulaması belirli tutarın üzerindeki sepetin tamamına uygulaması gereken indirimi, yalnızca o tutarı aşan ürünlere uyguluyor. Yani işin kuralı koda yanlış aktarılmış.
Ocak 2026’da yayımlanan inceleme, Kasım 2025’te araştırmacıların geliştirdiği uygulamalara dayanıyor. Ortada tarif edilmiş bir iş kuralı var. Buna rağmen ajan, o kuralı yanlış uygulayan bir çözüm geliştirmiş.
Burada “İndirim çalışıyor mu?” diye sormakla, indirimin doğru tutara ve doğru koşullarda uygulandığını kontrol etmek arasında önemli bir fark var. İkinci soruyu sorabilmek için de işin nasıl yürümesi gerektiğini bilmek gerekiyor.
Sektör deneyiminin testteki karşılığı bu nedenle önemli. Hangi kurallar birlikte değerlendirilir, hangi istisnalar önemlidir, bir değişiklik başka hangi süreci etkiler? Deneyimli bir QA ekibi, kendisine verilen dokümanı bu sorularla okur.
Elbette yapay zekâya daha iyi bilgi vererek çok daha iyi sonuçlar alabiliriz. Ancak hangi bilginin eksik olduğunu fark etmenin de başlı başına bir uzmanlık gerektirdiğini unutmayalım.
Yapay zekâ ile testte başarılı olan şirketler ne yapıyor?
Yapay zekâyı test sürecine katan iki büyük teknoloji şirketinin yakın tarihli çalışmaları aynı sonuca çıkıyor: yapay zekâ test üretmede gerçekten de çok işe yarıyor, ama güveni sağlayan şey, üretilen testin etrafına kurulan doğrulama düzeni.
Gelin; duruma iki gerçek dünya örneği üzerinden bakalım.
Meta: Geçmek için değil, hata yakalamak için yazılan testler: Meta’nın Catching JiTTests sistemi, bir kod değişikliği gönderildiği anda o değişikliğe özel testler üretiyor. Alışık olduğumuz testlerin tersine, bu testler geçmek için değil, değişiklikte hata varsa başarısız olup onu görünür kılmak için tasarlanıyor. Sistemin asıl zorluğu da test üretmek değil, yanlış alarmları ayıklamak: yanlış alarm veren test, ekibi hızlandırmak yerine yavaşlatıyor.
Meta’nın kendi ölçümlerine göre sistem, 2026’nın ilk yarısında 74 ciddi gizlilik hatasının canlıya çıkmadan yakalanmasında önemli rol oynadı. Aynı dönemde gizlilik kaynaklı ciddi olayların görülme sıklığı da yüzde 20 azaldı.
Ant Group: Önce bağlam, sonra kural tabanlı doğrulama: Ant Group’un FSE 2026’da sunduğu çalışma, YZ’nin ürettiği birim testlerin neden derlenemediğini, yani hiç çalışamadığını inceliyor. Hataların iki ayrı kaynağı var: modele yeterli bağlam verilmediği için doğanlar ve bağlam yeterli olsa bile modelin kendi sınırlarından gelenler. Ekip önce modele projeyle ilgili bağlamı sağlıyor, kalan hataları da statik analizle düzeltiyor.
Yapay zekâ destekli test otomasyonu için heyecan duymamızın sebebi de bu. Doğru kapsam ve doğrulama yöntemleriyle YZ, ekiplerin daha fazla riski daha erken incelemesine yardımcı olabilir. Uzmanlığımızı hangi noktada, nasıl kullanacağımızı bilmemiz gerekiyor.
ErikLabs’ta uçtan uca QA nasıl işliyor?
Bizim için uçtan uca QA, ilk gereksinimden canlıda öğrendiklerimize kadar bütün süreci kapsıyor. Ölçüsü de şu: müşteriniz başladığı işi, farklı sistemler arasında takılmadan tamamlayabiliyor mu? Bu yüzden bir ürünü işinizi anlayarak test etmeye başlıyoruz.
İşinizi dinliyoruz: Müşteriniz ürüne neden geliyor? Hangi adımı yarıda bırakırsa sorun yaşıyorsunuz? Hangi aksaklık operasyonunuzu yoruyor? Cevapları ekibiniz zaten biliyor, test kapsamımız da bu cevaplardan çıkıyor.
Geçmişe bakıyoruz: Mevcut testlere, geçmiş hata kayıtlarına ve sürüm alışkanlıklarına bakıyoruz. Uzun süredir ertelenen bir kontrol, sık bozulan bir otomasyon ya da müşteri hizmetlerinin tekrar tekrar anlattığı bir sorun önceliklerimizi değiştirebiliyor.
Sektör bilgisini sizin bilginizle birleştiriyoruz: Finans, e-ticaret ve telekomdaki deneyimimiz nerede durup soru sormamız gerektiğini gösteriyor. Her işletmenin kendine özgü kuralları ise ürün ve operasyon ekiplerinizle yaptığımız görüşmelerde ortaya çıkıyor.
Beklenen sonucu iş kuralından çıkarıyoruz: Yapay zekâ ile geliştirilen ürünlerde bu adım özellikle kritik. Testin beklediği sonucu, ilgili iş kuralına ve kabul kriterine göre belirliyoruz. Dokümanda boşluk varsa sizinle konuşup netleştiriyoruz: Yanlış bir kabulü yüzlerce otomatik teste yaydıktan sonra düzeltmek, baştan soru sormaktan çok daha pahalıya geliyor.
SmartCase ile test otomasyonunu kurarken de önce senaryonun neyi doğrulayacağını netleştiriyoruz. YZ desteğini test oluşturmayı ve bakımı kolaylaştırmak için kullanıyor, kontrolleri her sürümde tekrar çalıştırılabilecek hâle getiriyoruz. Testin arayüz değişikliklerine uyum sağlaması değerli; iş kuralı değiştiğinde beklenen sonucun yeniden değerlendirilmesi de aynı derecede önemli. Ardından o akışın yoğunluk altında nasıl davrandığına SmartLoad ile yük ve performans testlerinde, kullanıcıların cihazlarında nasıl çalıştığına SmartFarm ile gerçek cihaz testlerinde bakıyoruz. SmartCrowd ile gerçek kullanıcı testleri sayesinde farklı alışkanlıkları ve kullanım koşullarını da değerlendirmeye katıyoruz.
Her sürümde yeniden aynı yere dönmeyelim
Hepimizin istediği, şüphesiz yeni özellikleri kullanıcılarla daha hızlı buluşturmak. Test sürecinin de o hıza ayak uydurmasını beklemek son derece doğal. Fakat bir sürümü yayına hazırlarken, ekibin neyi kontrol ettiğini ve nerede hâlâ soru işaretleri bulunduğunu bilmeye ihtiyacı var.
Bizce iyi bir kalite çalışmasının sonunda elinizde, ürün hakkında karar vermenizi kolaylaştıran bir değerlendirme olmalı. Kritik akışların hangileri doğrulandı, hangi cihaz ve trafik koşulları denendi, hangi sorunlar açık kaldı? Teknik ayrıntıya ihtiyaç duyan ekip tüm bu ayrıntılara ulaşabilmeli; yayına onay verecek yönetici de bulguların iş açısından ne anlama geldiğini anlayabilmeli.
Başarılı test sayısı tek başına yeterli değil. Testlerin büyük çoğunluğunun geçmesi kâğıt üstünde iyi haber gibi görünüyor olabilir, ama testi geçemeyen tek bir senaryo müşterinizin en sık yaptığı işlemi durduruyorsa durup bir düşünmek gerekiyor. Bu yüzden test sayısının yanına bulgunun etkisini de koyuyoruz: Aynı hata tekrar ediyor mu? Ne kadar yaygın? Açık kalan alanlar neler?
Her sonucun son kullanma tarihi var. Bir testin hangi sürümde ve hangi koşullarda geçtiğini bilmek önemli. Sonrasında ödeme servisi, yetki yapısı ya da bir dış sistem değiştiyse, önceki sonuç artık geçerli olmayabilir. Sık sürüm çıkan ekiplerde bu takibi hafızaya bırakmak zorlaşır. Testlerin hangi gereksinime bağlı olduğunu ve hangi değişiklikten etkilenebileceğini izleyebilmek gerekir. YZ ile hızlı geliştirirken bu düzen, hızın kendisi kadar önemli.
Her bulgu yayını durdurmak zorunda değil. Önemli olan alınan riski bilmek, etkisini değerlendirmek ve takibini kimin yapacağını netleştirmek. Test edilmemiş bir alan varsa onu da açıkça konuşmak gerekir. Ekibin birbirine güvenmesi, sonuçların sınırlarını paylaşabilmesinden geçiyor.
İş yayınla bitmiyor. Kullanıcıdan gelen şikâyet bir sonraki testin de kalite planında olması gerektiğini unutmayın. Canlıda yakalanan her hata, tekrarını fark edecek bir kontrole dönüşmeli. Aksi hâlde her sürümde aynı sorunları yeniden çözer, YZ ile kazandığınız zamanı geri verirsiniz.
ErikLabs’ta kurmak istediğimiz uçtan uca kalite sistemi, ürününüzle birlikte öğrenen ve gelişen bir yapı. Yapay zekâyı bu yapının işe yaradığı her yerinde kullanıyoruz. Sektör deneyimimizi, otomasyon yeteneğimizi ve gerçek kullanım testlerini bir araya getirerek ekibinizin gelişime daha fazla zaman ayırmasını hedefliyoruz.
Geliştirmeyi YZ ile hızlandırdıysanız, sıra kalite ve test süreçlerinde. Ürününüzü, müşterilerinizi ve bugüne kadar canınızı en çok sıkan sorunları konuşarak kalitede hızı ve güvenceyi bir arada elde etmeniz için hazırız. Bizimle iletişime geçin, kısa bir görüşme ile ilk adımı atalım.