Warface Warface
OPERASYON ÇERNOBİL
Test Süreci ve Hata Düzeltmeleri Hakkında
Kategori: Önemli

Test Süreci ve Hata Düzeltmeleri Hakkında

21 MAR 2018 17:30 +03

Değerli Warface Ailesi,

Warface test süreci, bağlantı ve sunucu durumu ile hata düzeltmeleri konusundaki sorularınızı, biraz “perde arkası" havası katarak cevaplamak istiyoruz. Cevaplarımızın mümkün olduğunca detaylı olması için uğraştığımızı belirtmek isteriz, bu nedenle cevaplarımız biraz uzun olabilir. Umarız ki bu cevaplar ilginizi çekecektir!

TEST

Soru: Testlerle ilgilenen çalışanınız bulunuyor mu? Neden oyuncuların hataları tespit edip raporlamak için çaba sarf etmesi gerekiyor?

Cevap: Evet, aslına bakarsanız iki adet kalite kontrol departmanımız bulunuyor (test ile görevlendirilmiş kalite kontrol departmanları). Bir tanesi geliştirici takımda bulunuyor, diğeri ise lokalizasyon departmanıyla koordineli olarak çalışıyor. Her yeni oyun versiyonu ve yeni yamalar, geliştirici takımın testinden geçiyor. Yine de genel test ile departman içinde yapılan testin tamamen birbirinden farklı olduğunun altını çizmek isteriz. Derin bir oyunda, bazı hataların tekrar oluşturulması oldukça zordur ve departman içinde yapılan testlerde bu hatanın asla oluşturulamaması ihtimali oldukça yüksektir. Bazı sorunlar ise sadece yeni oyun versiyonu ana sunucu üzerinde yayınlandıktan sonra ortaya çıkabilmektedir. Bu tür sorunları gerçek oyuncularla ana sunucuda oynamadan ortaya çıkarmak ise çoğunlukla mümkün değildir.

Bunun dışında ne kadar titiz olursak olalım, oyunda bulunan tüm hataları tek tek ortaya çıkarmak ne yazık ki tamamen imkansızdır. Oyunda neredeyse sonsuz sayıda potansiyel hareket ve kombinasyon olduğu düşünüldüğünde, en iyi kalite kontrol çalışanı için bile bu kombinasyonları tek tek denemek aylar sürebilecektir. Yeni versiyonları yayınlamadan önce mümkün olduğunca çok hatadan kurtulduğumuza emin olmak için ise, tüm versiyonlar ilk önce test sunucumuzda test edilmektedir.

S: Hatalar müşteri hizmetlerine raporlandığında nasıl bir süreç izleniyor?

C: Öncelikle belirtmek isteriz ki, hatalarla mücadele etmeyen bir müşteri hizmetleri bizim için düşünülemez. Oyuncularımız tarafından yapılan tüm hata bildirimleri, müşteri hizmetleri tarafınca kayıt alınıp geliştirici takım ile kalite kontrol departmanına iletilmektedir.

Bu tür tüm raporlar, müşteri hizmetleri tarafından incelenmektedir. Sonrasında müşteri hizmetleri, veritabanı üzerinde bilinen hataları inceleyip bu hatanın daha önce raporlanıp raporlanmadığına göz atar ve eğer hata daha önce raporlanmışsa, bu konuda bilgilendirme içeren bir mesaj ile raporu ileten kişilere geri dönüş yapılır. Eğer iletilen rapor daha önceden tespit edilmemiş bir hata ise ve daha fazla bilgi gerektiriyorsa, bu bilgi raporlayan oyuncudan talep edilir. Sonrasında tamamlanan raporlar, kalite kontrol ve geliştirici takımlarının ulaştığı veritabanına incelenmek üzere işlenir.

Gördüğünüz üzere, tüm hata raporları müşteri hizmetleri tarafından geliştiricilerimize mümkün olan en detaylı haliyle iletilmektedir.

HATALAR HAKKINDA GENEL BİLGİLER

S: Neden hatalar oluşuyor?

C: Kodlama ve teknoloji konusunda fikir sahibi olan herkes, şu basit bağlantıyı rahatlıkla anlayabilir: Bir sistem ne kadar karmaşık olursa, sistem değiştiğinde hataların oluşması ihtimali o kadar yüksektir.

Benzer bağlantı oyunlarda da görülmektedir: Warface, yayında olduğu yıllar içinde oldukça kompleks bir yapıyla, her parçanın bir diğeriyle bağlantılı olacağı şekilde gelişti. Böyle olunca da, en az etkili değişiklikler bile, diğer sistemler ve bölümlerde sorunlara neden olabilmektedir. Tüm oyunlarda hatalar kaçınılmazdır. Hataların tespiti ve düzeltilmesi, oyun geliştirmenin vazgeçilmez bir parçasıdır. Ne yazık ki bir oyun değişip geliştikçe, yeni hataların da ortaya çıkacağını kabul etmemiz gerekmektedir.

S: Bu hataların çözüm hızını etkileyen faktörler nelerdir?

C: Bu konudaki ilk ve en önemli faktör, hatanın ne kadar kritik olduğudur. Tüm hatalar üç kategoriye ayrılabilir: Kritik; oyunun ana öğelerini etkileyen hatalar (oyunu oynamayı imkansız hale getirenler) – Ciddi; oldukça geniş bir kitleyi etkileyen, ancak önceden bahsettiğimiz ana öğeleri etkilemeyen hatalar – Düşük öncelikli; oyunu çok fazla etkilemeyen hatalar.

Örneğin, silahı tamir etmenizi engelleyen bir hata kritiktir: Bu güncelleme kesinlikle ana sunucuya yüklenmeyecektir; hata test aşamalarında ortaya çıkmasa bile, diğer güncelleme aşamalarından önce mutlaka ilk olarak bu hata düzeltilecektir.

Yakın zamanda yaşanmış olan bomba taşıma sorunu kritik olarak belirlenmiştir: Bu hata “Sabotaj" modunu oynanmaz hale getirmiştir ve mümkün olan en kısa sürede yeni bir güncelleme ile bu sorun düzeltilmiştir.

Ciddi veya genel hatalara örnek olarak yükleme hataları ele alınabilir. Bu hatalar 20 oyuncudan 1'ine olan hatalar şeklinde tanımlanabilir, yakın zamandaki silah sesi hatası buna bir örnektir. Bu hatalar ya oyuncuların büyük çoğunluğunu etkilemez ya da daha ciddi sorunlara neden olmaz, yani oyunun oynanabilirliğini etkilemez. Bu tür hatalar, planlanan aylık güncellemeler ile çözülmektedir. Bu kategori çözülmesi zor birçok hatadan oluşur, çünkü bu hatalar çoğunlukla oyunun diğer bölümlere bağlıdır. Bazen bir sorunun kaynağının çözülmesi için art arda birçok düzenleme yapılması gerekebilir, bu da sorunun çözümünü aylarca uzatabilecek bir süreçtir.

Düşük öncelikli hatalar, oyun içi süreci fazla etkilemeyen hatalı animasyonlar, belirli bir doku veya görsel hatalarla bağlantılı olarak gelişir: görsel ve benzeri sorunlar için kullanılan bir kategoridir. Çoğunlukla tamamen kozmetik veya estetikle ilgilidir ve oyunun herhangi bir ana öğesini etkilemez. Bu tür hatalara sık sık rastlanır ve çoğunlukla en kolay düzeltilebilen hatalar olarak görülürler. Hemen her güncelleme notunda, düzeltilen hatalar bölümünde bu hatalardan bulunmaktadır.

Bu kategorilerin yanında, tüm sorunların kendine has özellikleri olduğunu ve bazı sorunların diğerlerine kıyasla daha zor çözüldüğünü hatırlamamızda fayda var. Bir sorunu çözmek için atılan ilk adım, tüm muhtemel nedenler ve kod üzerinde hangi bölümlerin etkilendiği kısmı ile birlikte sorunun tespitidir. Bu durumda, eğer kalite kontrol test takımı tarafından bu hata tekrar oluşturulamazsa, oyuncularımızdan daha fazla bilgi elde etmemiz gerekeceği için, bu süreç bir miktar daha zorlaşır. Genel “Hasar vermiyorum", “Işınlanıyorum" veya “Oyuna katılamıyorum" tanımları, geliştirici ekip için yeterli değildir, çünkü hata tespiti için daha kesin ve/veya teknik bilgilerin paylaşımı gereklidir: video kaydı, ekran görüntüleri ve log dosyaları gibi. Bu bilgiler elde edildikten sonra dikkatlice incelenmelidir. Bu nedenle de müşteri hizmetlerine hataları raporlamak önemlidir, çünkü bu şekilde hata düzeltme aşamasında istenen bilgilere erişilebilir.

Hatanın kaynağı tespit edildikten sonra ise, hatanın düzeltilme aşamasına geçilir. Geliştiricilerin aynı anda birçok sorunla baş ettiğini göz önünde bulundurursak, bu süreç de biraz zaman alabilmektedir ve hatalar aynı anda birçok bölümü etkileyebileceği için dikkatli olunması gerekmektedir.

S: Bazı hatalar neden test sunucusunda ortaya çıkmıyor, ancak ana sunucuda ortaya çıkıyor?

C: Test sunucusu, güncelleme yayınlanmadan önceki son test aşamasıdır. Bu aşama, eğer geliştirme esnasında ortaya çıkmamış herhangi kritik bir hata varsa, bunun tespitinde önem taşımaktadır. Her test sunucusu güncellemesi sıkı bir plana bağlıdır ve herhangi bir gecikme, diğer güncellemeleri de ertelemektedir. Bir güncelleme test sunucusunda ne kadar uzun süre kalırsa, güncellemenin zamanında yetişme şansı azalacaktır. Aksi halde, yeni güncellemelerde gelecek içeriklerin kısılması söz konusu olabilir ki bu durum, hiçbir oyuncumuzu mutlu etmeyeceği için tercih etmek istemediğimiz bir seçenektir. Güncelleme içeriği ne kadar doluysa, oyuncularımız o kadar mutlu olmaktadır. Bunun farkındayız ve bu nedenle de test sunucusunda tespit ettiğimiz tüm hataları ayrı ayrı ve dikkatlice incelemekteyiz.

Eğer hata kritik değilse veya oyuncuların büyük çoğunluğunu etkilemiyorsa, güncellemenin ana sunucuya eklenmesine karar verilir ve bulunan tüm hatalar, bir sonraki güncellemede giderilecek şekilde listelenir. Ancak bu konuda bazı istisnalar da mevcuttur: Bazı hatalar daha az etkilidir ancak oldukça rahatsız edicidir. Eğer bu tür bir hatanın hemen giderilmesi mümkünse, güncelleme ana sunucuya yüklenmeden önce bu hata çok büyük ihtimalle düzeltilir.

S: Neden bazı hatalar test sunucusunda hiç oluşmuyor?

C: Bu oldukça zor bir sorudur ve ne yazık ki tek bir cevabı yoktur. Öncelikle test sunucusunun birçok açıdan farklı olduğunu belirtmek isteriz, en basitinden sunucu yoğunluğu oyunda birçok soruna neden olabilmektedir. İkinci olarak ise, eğer hata sabit değilse – bunun anlamı, hatanın sadece belirli koşullar altında gerçekleşmesi ve oyuncuların çoğunluğunda görülmemesidir – test sunucusuna herkesin giriş yapmadığı düşünüldüğünde, bu hatayı tespit etmek oldukça zordur. Üçüncü olarak, hata çok sık incelenmeyen oyun modlarında olabilir. En iyi örnek silah değişimidir. Güncellemelerde genellikle birkaç yeni silah gelir ve diğer silahlarda birkaç değişiklik yapılır. Bu da kalite kontrol takımı üyelerinin yeni silahları denemesine – bu silahların eskilere oranla daha çok test edilmesi gerekmektedir - ve eski silahlara yeniler kadar göz atmamasına yol açar. Bu da eski silahlarla ilgili bir hatanın göze batmamasını sağlar.

Bu da bizi daha basit bir sonuca götürür: Test sunucusu, güncellemeler öncesinde kritik önem taşır. Ancak her zaman, gerçek oyuncuların ana sunucuda oyunu oynayarak test etmesi, oyun daha çok kişiye ulaştığı için daha çok potansiyel ve dolayısıyla daha çok hata tespitini sağlamaktadır. Bu nedenle de bir hatayla karşılaştığınızda, hatanın bir an önce çözülebilmesi için bu hatayı bize raporlamanızın ne kadar önemli olduğunu bir kez daha vurgulamak isteriz.

BİLİNEN BAZI HATALARLA İLGİLİ

S: Sis bombası ile ilgili, sis efektinin görünmemesi sorunu ne zaman çözülecek?

C: Bu sorun NVIDIA yazılımı ile ilgili olması nedeniyle oldukça karmaşıktır ve ne yazık ki NVIDIA ile iletişime geçerek ortak çalışma sonucu düzeltilebilmektedir. Geliştiricilerimiz NVIDIA ile ortak çalışarak birçok sorunu çözmüşlerdir. Yine de bazı geçici sorunlar veya çok ciddi sorunlar (ayarların sıfırlanması gibi) ortaya çıkabilmektedir. Bu sorunla ilgili çalışmalarımız sürmektedir ve her güncelleme bize yeni çözümler sunmaktadır. Bir sonraki büyük hata düzeltmesini sizlerle Nisan ayı içerisinde paylaşmayı umuyoruz.

S: Sesin takılı kalması sorununu düzeltmek niye bu kadar uzun sürüyor?

C: Şu anda bu sorun ilk önce çözülecek sorunlar arasında bulunuyor. Genel oynanışı etkilemese de, oldukça rahatsız edici bir sorun. Ne yazık ki sorunun kaynağı tahmin ettiğimizden daha derin: ateş etme seslerini, karakter seslerini ve birçok diğer sesi etkiliyor. Geçmiş güncellemelerde sorun sadece kısmi olarak düzeltildi, ancak gelecek güncellemede bu sorunu kökünden çözmeyi planlıyoruz.

S: Işınlanma sorunları hakkında ne gibi bir çalışmanız var?

C: “Işınlanma" kendi başına bir sorun değildir, daha çok aynı anda çalışan birçok sistemin üst üste binmesiyle oluşmaktadır ve bu sistemlerden hiçbir oyundan kaldırılabilecek sistemler değildir. Bu problemin oyuncu tarafında ping sorunu, sistem performansı/kapasitesi ile derin bir ilgisi bulunduğu gibi, oyunla ilgili bazı sistem ayarlarıyla da ilgisi bulunabilmektedir. Ne yazık ki, “şunu sil, bunu ekle ve ışınlanmadan kurtul" şeklinde kolay bir çözüm bulunmamaktadır, ancak bu üzerinde çalışmadığımız anlamına gelmemektedir.

Şu anda sorunu çözmesi için oyuna yavaş yavaş yeni elementler ve sistemler eklenmektedir. Yine de bu oyun için oldukça büyük çapta bir değişikliktir. Yeni haritalar ekleme ile karşılaştırılamasa bile, bunlar oyuna eklenirken oldukça dikkatli olunmalıdır. Yeni sistem dikkatlice test edilmektedir ve sadece az bir oyuncu kitlesini etkilemesi planlanmaktadır. Bu değişikliklerle ilgili loglar incelendikten sonra bir sonraki adımda hangi yeni elementlerin ekleneceği veya diğerleri üzerinde çalışılıp çalışılmayacağı belirlenecektir. Buna ek olarak Warface Mart Güncellemesi ile Tickrate konusunda geliştirmeler yapılmış, daha iyi bir performans sağlamak için Tickrate iki kat arttırılmış durumdadır.

OYUNA DAİR EKSİK BİLGİLER

S: Warface'te neden kırmızı bar alıyorum, bu pingimin yüksek olduğu anlamına mı geliyor?

C: Warface'te en çok bilgi eksikliği yaşanan konulardan biri oyunda kırmızı bar alan oyuncularımızın konu ile ilgili olarak sunucuların yetersizliğinden ve kendi bölgelerine uzak olduğundan bahsetmesi. Burada açıklamak istediğimiz konu Warface'te oyun içindeki bağlantıyı gösteren barların, diğer FPS oyunlarının aksine sabit bir ping değerini ifade etmediği, bulunulan oda içinde yer alan diğer oyuncularının bağlantılarına göre dinamik bir gösterim sunduğudur. Bu konuyu örnek vererek açıklamak gerekirse aynı odada bulunan Anıl Warface'i 10 Ping ile, Halit 30 Ping ile Utku ise 50 Ping ile oynamaktadır. Warface'teki bağlantı barı bu orana göre Anıl'da 5 yeşil bar, Utku'da 1 kırmızı bar, Halit'te ise en düşük ve en yüksek pingli iki oyuncunun tam arasında yer alan bir ping değeri aldığı için 3 bar ile gösterilecektir. Bunun yanında Warface'te ping limiti olduğundan 150 ping üzeri alan oyuncular sunucularımıza bağlanamamakta veya bağlandıktan sonra sunucularımızdan yüksek ping değerleri aldıklarından dolayı odadan atılmaktalardır.

İşte hepsi bu kadar! Bu yazı kesinlikle test aşamasının nasıl ilerlediğini tüm detayıyla anlatmamaktadır ve gelecekte farklı sorunlarla güncellenebilir. Ancak bu tür bir yazıyı faydalı gördüyseniz, lütfen bizimle sorunlarınızı paylaşın, bize sorun ve biz de geri dönüşleriniz üzerinde çalışalım.

prefetch prefetch prefetch prefetch prefetch