Bilimsel Makalelerde Yapılan “Asılsız Atıflar” Nasıl Anlaşılır?

Yazan: Richard Van Noorden

Çeviren: Mert Günçiner                      

Düzenleyen: Esranur Maral       

Özet: Yeni geliştirilen algoritma, makalelerde yer alan olağan dışı atıflardan yola çıkarak üzerinde oynanmış kaynak gösterimlerini saptama konusunda bilim insanlarına yardımcı olacak.

Bazı bilim insanları, çalışmaları adına başkalarının çalışmalarında çok fazla atıf alır. “Gerek öncesinde yapılan düzenlemelerle gerekse hakem denetimi sırasında ek kaynaklar istendiğinde yapılan atıflar, arkalarında belirgin ipuçları bırakıyor olabilir.” diyen iki araştırmacı “asılsız atıf” yapma (citation hacking) da denilen bu sorunu ortadan kaldırmak için bir yol geliştirdi.

Elsevier Şirketi, Üzerinde Yapılan Oynamaları Saptamak Adına Yüzlerce Makaleyi İnceliyor

Oklahoma Tıbbi Araştırma Vakfından biyoenformatikçi Jonathan Wren, “Eğer birileri makalelerinin üzerinde oynayacaksa bu izleri bırakmak zorundalar.” diyor. Yine aynı kurumdan Constantin Georgescu ile yaptıkları çalışmada 20 bin yazarın makalesinden çıkardıkları atıf biçimlerinin çözümlemesini paylaştılar. Bu örnekler bioRxiv ön baskı (pre-print) sunucusuna verildi ve yaklaşık 80 bilim insanının “kronik, tekrarlanan” bir şekilde atıf yaptığını buldular. Aynı zamanda bu çalışmada makalelerini kullandıkları yazarların ortalama %16’sının da “verdikleri kaynak listelerinin üzerinde bir seviyeye kadar oynamış olabileceklerini” söyledi.

Bu çalışmada yer almamış iki bibliyometri uzmanı şöyle diyor: “Çalışma daha hakem değerlendirmesine tabi tutulmamasına rağmen teknik olarak işe yarıyor gibi gözüküyor.”

Atıflar Üzerinde Oynama Yapmak

Araştırmacılara göre hakemler bazen yazarlardan gereksiz kaynak göstermelerini istiyor. Bu olay aynı zamanda “zoraki atıf” olarak da bilinir. Yapılan araştırmalara göre bilim insanlarının beşte biri -belki de daha fazlası- bu olayla karşı karşıya gelmiş durumda. Bu çalışmayı yayımlayan Elsevier, geçen yıl hakem değerlendirilmesine girmiş çalışmaları inceledikten sonra yaptığı açıklamada daha fazla atıf sayısına sahip olabilmek için bazı bilim insanlarının hakem değerlendirme sürecine kasten hile karıştırdığından bahsetti. Hatta bazen karşılıklı olarak atıf sayılarını artırmak isteyen bilim insanları, kendi aralarında anlaşarak birbirlerine atıf yapabiliyor.

Wren bu tuhaf olayı duyduktan sonra konuyu araştırmaya başladı. Amerika Birleşik Devletleri’nde kendisine hayli yüksek sayıda atıflar alan bir biyofizikçi, bu fazla atıf sayısı için birçok hakem değerlendirme sürecine hile karıştırmıştı. Bu sene Nature dergisinin de açıkladığı gibi bu isim Kuo-Chen Chou’ydu. Bu isim aynı zamanda Wren’in de yardımcı editörlüğünü yaptığı Bioinformatics dergisiyle birlikte Database dergisindeki hakemlik görevlerinden, Journal of Theoretical Biology’nin yayın kurulundaki üyeliğinden çıkarıldı ve yasaklı kişi ilan edildi. Nature dergisine söylediği kadarıyla Chou, herhangi bir “zoraki atıf” yapmamıştı.

Kendisine Aşırı Sayıda Atıf Yaptıran Yüzlerce Bilim İnsanı Yeni Veri Tabanında İfşa Oldu

Chou’nun davranışı ortaya çıktıktan sonra birçok bilim insanı, asılsız atıf yaptığından şüphelendikleri isimleri Wren’e mesajla bildirip onları da kontrol etmesini istedi. Fakat çoğu hakem değerlendirme süreci gizli tutulduğundan Wren ancak atıf kayıtlarını inceleyerek bu gibi olayları açığa çıkarmayı umuyor. Kendisine aşırı sayıda yapılan atıfları tespit etmek kolay olmasına rağmen hangi atıf biçimlerinin “olağan dışı” sayılabileceğine karar vermek çok daha zor.

Wren ve Georgscu, “tehlike çanı” sayılabilecek birçok göstergeyi inceledi. Bunlardan bazıları başkalarının çalışmalarında aynı yazarın makalelerine atıfları ardışık sırada görmek veya tek makale üzerine bir sürü atıf yapmaktı. Yaptıkları incelemeler sonucundaysa birçok “tehlike çanının” esasında atıfların dağılımında bir çarpıklık veya eşitsizlik görüntüsü yarattığını buldular. Öyle ki bazı araştırmacılara sadece birkaç makalesi üzerine alışılmadık sayıda atıf yapıldı.

Araştırmacıların tüm bilim insanlarının çalışmalarını içeren bir veri tabanına erişimi olmadığından bilimsel makaleler için bir arama motoru olan PubMed’in halka açık kayıtlarını çözümlediler. Aynı isim ve soyadında birçok araştırmacı olabileceğinden yanlış yapılan tanımlamaları azaltmak adına ikinci isme sahip araştırmacılar kullanıldı. Böylelikle araştırmayı biraz daraltmış olmalarına rağmen yaklaşık 20 bin bilim insanının atıf biçimleri hakkında bir fikir edinilmiş oldu. Chou dâhil bunların yaklaşık 80 kadarıysa diğer “tehlike çanlarıyla” birlikte aşırı derecede çarpık ve göze batan atıf biçimlerine sahipti. Bir diğer bulguysa, tuhaf atıf biçimlerine sahip araştırmacılar aynı zamanda yoğun şekilde kendilerine atıf yapmaya meyilliydi.

Nature dergisi tarafından bu çalışmaya bir yorum yapması istenildiğinde Chou, “Bu anlamsız çünkü atıf sayısı önemli bir şey değil.” dedi.

Wren, hukuki sebeplerden dolayı çalışmadaki isimleri açıklamıyor ama birkaç kişisel atıf kaydını detaylı olarak inceleyip istek üzerine tüm sayıları açıklayabileceğini belirtiyor. Wren’in Nature dergisiyle paylaştığı verilerde bir bilim insanı göze çarpıyor: Yunanistan’daki Ioannina Üniversitesinde 2009 ve 2014 yılları arasında onkoloji araştırmacısı olan Dimitrios Roukos. Surgical Endoscopy dergisindeki 71 makaleden neredeyse 2 bin alıntı çıkarmayı başaran Roukos, bunlardan her birini iş arkadaşlarına veya akıl hocalarına yazdırmış ve her bir çalışmayı kendi makalelerinde yaklaşık 20-30 kere alıntılamış. Roukos ise bu konu hakkında bir yorum yapmak istemedi.

Beklenmedik Çarpıklık

Bu çalışma olağan dışı atıf biçimlerini buluyor fakat araştırmacıların bu düzenlemeleri fazladan atıf sayısı için yapıp yapmadığına karar veremiyor. Wren’e göre bu tuhaf dağılımların bazı masum açıklamaları olabilir. Mesela bir alandaki önemli araştırmacılara yoğun bir şekilde atıfta bulunan inceleme (review) makaleleri tarafından bu sonuçlar çarpıtılmış olabilir. O yüzden Wren’e göre çarpık görüntüye sahip makaleler daha detaylı incelenmeli.

Bilim insanlarının atıf kayıtlarındaki çarpıklığın küresel dağılımının simetrik bir eğri olması gerektiğini belirten Wren, aslında öyle olmadığı söylüyor. Bu bağlamda bireysel kayıtların yapmacık olduğunu söylemek mümkün olsa bile yazarların yaklaşık %16’sının bir ya da birçok kez kaynak gösterirken üzerinde oynadığı ortaya çıkıyor. Fakat Hollanda’daki Leiden Üniversitesinde bir bibliyometri uzmanı olan Ludo Waltman’a göre bu çözümleme yöntemini sadece “üzerinde oynanmış” ve “üzerinde oynanmamış” olarak ikili bir ayrıma indirgemek doğru olmayabilir çünkü başkalarına atıfta bulunmanın karmaşık birçok sebebi olabilir.

Wren, editörlerin ve hakemlerin hangi atıfların hakem değerlendirme süreci sırasında eklenmiş olduğunu gösterebilecek bir veri tabanı geliştirmelerini istiyor. Waltman ve Montreal Üniversitesinden bibliyometri uzmanı Lariviere’e göre hakem değerlendirme süreci kayıtlarını daha şeffaf hâle getirmek bu sorunu çözebilmek adına yararlı olabilir.

Bilim insanlarının basitçe atıf sayılarıyla ödüllendirilmelerinin bu asılsız atıfların yapılmasına yol açtığını söyleyen Waltman, esasında değişmesi gereken davranışın bu olduğunu söylüyor.