Kademeler Neden Sayısal Değil, Kategoriktir

İlk değerlendirmelerine hazırlanan firmaların Enstitü’ye belli bir düzenlilikle yönelttiği sorulardan biri, Yapay Zekâ Olgunluk Standardı’nın neden sayısal bir puan üretmek yerine adlandırılmış kademeler (AI-Aware, AI-Enabled, AI-Integrated, AI-First, AI-Native) üzerinden belgelendirme yaptığıdır. Soru yerindedir ve yanıtı estetik değil metodolojik gerekçelere dayanır. Enstitü’nün görüşüne göre sayısal bir puan, yerini alacağı kategorik kademeden daha az dürüst bir bilgi sunar, Standart’ın kısmen direnmek için var olduğu teşvikleri yaratır ve belgelendirmenin görünür kılmayı amaçladığı özelliği, yani değerlendirmenin en zayıf boyutun tabanı kuralıyla yönetilen çok boyutluluğunu gizler. Bu not, söz konusu gerekçeyi ortaya koymaktadır.

§ I Puanların Yüzeysel Çekiciliği

Sayısal puan lehine argüman sezgiseldir. Sayılar karşılaştırmaya imkân verir; zaman içinde izlemeye imkân verir; bir bakışta derdini anlatır. AI-Enabled kademesinde belgelendirildiğini öğrenen bir firma, sınırda, yüz puanlık bir ölçekte 67 aldığı söylenen bir firmadan daha az bilgiye sahiptir. Sayı yalnızca bir konumu değil, bir mesafeyi de iletir: 67, 68’e 50’den daha yakındır.

Bu sezgi öncülleri bakımından sağlam, vardığı sonuç bakımından ise hatalıdır. Öncüller, altta yatan niceliğin — bir profesyonel hizmet firmasındaki yapay zekâ olgunluğunun — konumların doğrusal olarak sıralanabildiği tek boyutlu bir süreklilik olduğunu ve değerlendirme aracının, sayının ima ettiği incelikte konumları ayırt edecek ölçüde kalibre edildiğini varsayar. Standart’ın değerlendirmek üzere kurulduğu konu bakımından bu öncüllerin hiçbiri geçerli değildir. Yapay zekâ olgunluğu, her biri diğerlerinden bağımsız olarak ilerleyebilen ya da gerileyebilen ve operasyonel sonuçları toplamlarına değil ortak dağılımlarına bağlı olan yedi boyutun birlikte oluşturduğu durumdur. Değerlendirme, kademe sınırlarını değerlendiriciler arası makul bir güvenilirlikle ayırt edecek biçimde kalibre edilmiştir; 67’yi 69’dan ayırt edecek biçimde kalibre edilmemiştir ve alanın sahip olmadığı bir ölçüm donanımı olmaksızın kalibre edilemez de.

Sayısal bir puan, yerini alacağı kategorik kademeden daha az dürüst bir bilgi sunar.

Bu, metodolojik bir zaafın itirafı değildir. Altta yatan niceliğin bir tarifidir. Değerlendiricilerden belgelendirmeleri istenen pek çok şey — bir geminin denize elverişliliği, bir üniversitenin saygınlığı, bir şirketin çalışanlarına ve çevresine karşı sorumluluğu — aynı yapısal özelliği paylaşır: gerçektirler, sonuç doğururlar, disiplinli biçimde değerlendirilebilirler ve tek bir sayıya indirgenmeleri, o sayının sunduğunu iddia edeceği çözünürlükten daha büyük hatalara yol açmadan mümkün değildir.

§ II Sahte Kesinlik ve Bedeli

İki anlamlı basamakla sunulan sayısal bir çıktı, yüzde birlik bir hassasiyetle kalibre edilmiş bir ölçüm aracının varlığını iddia eder. Sıfır ile yüz arasında bir tam sayı olarak sunulan sayısal bir çıktı ise, sosyal ölçümdeki tipik gürültü tabanları dikkate alındığında, kabaca yirmide birlik bir hassasiyetle kalibre edilmiş bir aracın varlığını iddia eder¹. Standart’ın dayandığı değerlendirme bunların hiçbirine göre kalibre edilmemiştir. Yedi boyut boyunca beş kademe durumunu ayırt etmek üzere kalibre edilmiştir; her sınırda belgelenmiş ölçütler ve değerlendiriciler arası güvenilirlik hedefleri vardır ve bu hedefler kademelerin iç kısmına değil, sınırlarına ilişkindir.

73 puan alan bir firma ile 75 puan alan bir firma, güven aralıklarının dürüstçe raporlandığı her durumda birbirinden ayırt edilemez. Enstitü’nün değerlendirme süreci, farklı bir değerlendirici heyetiyle yeniden uygulandığında bu iki puanlık farkı güvenilir biçimde yeniden üretemez. Bu farkı bir bulguymuş gibi raporlamak, alıcıyı ölçüm aracının hassasiyeti konusunda yanıltmaktır. Bu farka dayanarak hareket etmek — örneğin bir müşteriye firmanın yeniden belgelendirmede 73’ten 75’e yükseldiğini beyan etmek — yanıltıcı sayıya taşıyamayacağı bir operasyonel anlam yüklemektir.

Sahte kesinliğin bedelleri vardır. Firmaları, iş gerekçesi puanı aracın saptayabileceğinden daha küçük bir farkla oynatmaya dayanan iç projeler başlatmaya özendirir. Müşterileri ve karşı tarafları, tedarikçi seçimi, panele kabul ve ücret primleri gibi önemli kararları, belgelendirme kuruluşunun kendisinin bile savunamayacağı farklara dayanarak almaya özendirir. Altta yatan aracın yeniden kalibre edilmiş olabileceği yıllar boyunca firmalar arasında karşılaştırma yapılmasını özendirir ve yıldan yıla hareketin araç düzeyindeki bir ayarlamayı değil firma düzeyindeki bir değişimi yansıttığı izlenimini doğurur. Bu bedellerin her biri, kademeler üzerinden raporlama yapıldığında ortadan kalkmasa da azalır. AI-Enabled’dan AI-Integrated’a geçmiş bir firma, değerlendirmenin tespit etmek, metodolojinin de belgelemek üzere kurulduğu bir sınırı aşmıştır. 73’ten 75’e çıkmış bir firma ise, verilerin titiz her okumasında, hiç hareket etmemiştir.

§ III Ölçütü Oyuna Getirmek ve Çok Boyutlu Durum

Sayısal puanın ikinci bedeli teşvikle ilgilidir. Tek bir sayıya indirgenmiş bir ölçüt, özellikle kamuya açık olduğunda, bir hedefe dönüşür. Bu konudaki literatür eldeki konudan epeyce eskidir; gözlem Goodhart ile, Campbell ile ve yönetim pratiğinde nicel bir hedef belirlemiş her düzenleyicinin deneyimiyle ilişkilendirilir (Goodhart, 1975; Campbell, 1979)². Firmalar ölçütü optimize eder. Ölçüt altta yatan durumu izlediğinde, optimizasyon altta yatan durumdaki iyileşmeyi izler. Ölçüt çok boyutlu bir durumun sıkıştırılmış bir izdüşümü olduğunda ise optimizasyon, sistematik olarak, ölçüte katkıda bulunan boyutları, katkıda bulunmayanlar aleyhine izler.

Standart yedi boyutu değerlendirir: Strateji ve Liderlik; Yönetişim, Risk ve Uyum; Veri ve Bilgi Altyapısı; İş Akışlarının Yeniden Tasarımı ve Operasyonlar; Yetenek ve İşletim Modeli; Müşteri Deneyimi; Ölçüm ve Hesap Verebilirlik. Nasıl kurgulanırsa kurgulansın, tek sayılık bir toplam puan ağırlıklar taşıyacaktır. Firmalar, metodolojiyi inceleyerek ya da yayımlanan puanlar üzerinden çapraz doğrulama yaparak bu ağırlıkların ne olduğunu keşfedecektir. Yatırım, ölçüme tabi sistemlerin öngörülebilir işleyişi içinde, ağırlığı yüksek boyutlara akacak ve ağırlığı düşük olanlardan çekilecektir. Toplam puan, altta yatan olgunluk orantılı biçimde ilerlemeden zamanla yukarı doğru kayacak ve belgelendirme, Enstitü’nün korumaya en çok önem verdiği niteliği yitirecektir: belgelendirmeyi okuyan dış bir tarafın ona, firmanın ölçülmeye verdiği tepkinin bir yan ürünü olarak değil, firmanın durumunun bir tarifi olarak güvenebilmesi.

Buna karşılık en zayıf boyutun tabanı kuralı, bu tür bir optimizasyona yapısal olarak dirençlidir. Bir firma en güçlü boyutunu yükselterek daha üst bir kademede belgelendirilemez. Ancak en zayıf boyutunu yükselterek daha üst bir kademede belgelendirilebilir. Dolayısıyla yatırım, telkinle değil kuralın yapısı gereği, firmanın en açık verdiği boyuta yönelir. Enstitü’nün görüşüne göre bu, başarıyı kutlamak için değil olgunluğu belgelendirmek için tasarlanmış bir araç açısından doğru teşvik yönüdür.

Bir firma en güçlü boyutunu yükselterek daha üst bir kademede belgelendirilemez. Ancak en zayıfını yükselterek belgelendirilebilir.

Tek sayılık bir toplam, taban kuralının öne çıkarmak üzere kurulduğu bilgiyi tam da ortalamanın içinde eritecektir. Beş boyutta olağanüstü, ikisinde zayıf olan bir firma toplamda yüksek puan alacak ve toplam puana göre öncü bir firma olarak belgelendirilecektir. Standart ise böyle bir firmayı en zayıf iki boyutunun tabanında, yani yapacak kayda değer işi olan bir firma olarak belgelendirir. Bu iki rapor, aynı durumun farklı özetleri değildir; durumun ne olduğuna ilişkin farklı yargılardır. Enstitü’nün yargısı, örneğin yönetişimi, yapay zekâ araçlarını operasyonel olarak benimseme düzeyinin çok gerisinde kalan bir kuruluşun, diğer boyutları ne kadar güçlü olursa olsun, belgelendirmenin sorumlu biçimde onaylayabileceği hiçbir anlamda öncü bir firma olmadığıdır.

§ IV Standart Belirleme Pratiğinden Paralellikler

Sayısal puan vermek yerine kategorik kademeler üzerinden belgelendirme tercihi, Enstitü’nün metodolojik referans olarak baktığı kurumsal standart kuruluşlarının ve belgelendirme otoritelerinin pratiğiyle uyumludur.

B Lab, kuruluşları ikili bir esasa göre B Corporation olarak belgelendirir: belgelendirilmiş ya da değil³. Altta yatan değerlendirme sayısal bir puan üretir, ancak bu puan yalnızca belgelendirme eşiğinin karşılanıp karşılanmadığını belirlemek için içeride kullanılır; puan belgelendirmenin kendisi değildir ve belgelendirilmiş bir B Corp, eşiğin ne kadar üzerinde olduğuna göre dışarıya karşı ayırt edilmez. B Lab’in dile getirdiği gerekçe, özü itibarıyla, yukarıda ortaya konan gerekçedir: değerlendirme, bir firmanın bir standardı karşılayıp karşılamadığını belirlemek üzere kalibre edilmiştir; standardı karşılayanlar arasında sıralama yapmak üzere değil.

Michelin, yıldızlarını birden üçe uzanan kategorik bir ölçekte verir; ara bir kademelendirme ya da ödüllerin arkasında yayımlanmış bir puanlama düzeneği yoktur. Bir restoranın ya iki yıldızı vardır ya da yoktur ve rehberler, kategorik ödülün yayımlanan değerlendirmenin tamamı olduğunu açıkça belirtir.

Lloyd's Register gemileri klaslara ayırır; klas yapısı, geminin hangi koşullar altında işletilmeye elverişli olduğunu kodlar. Klas kategorik bir beyandır ve klastaki değişiklikler, ister yükselme ister düşme olsun, bir süreklilik üzerindeki hareketler olarak değil, klas değişikliği olarak raporlanır.

Akademik akreditasyon kuruluşları kurumları ve programları akredite ya da koşullu akredite olarak belgelendirir; koşullar somut biçimde belirtilir. Akreditasyon bir sayıya indirgenmez ve kurumun konumu, bir sıralamadaki yer olarak değil, akredite olarak raporlanır.

Bu kurumlar arasındaki örüntü bir zevk tesadüfü değildir. Ortak bir metodolojik yargıyı yansıtır: sınırlarda belgelenmiş ölçütlerle desteklenen kategorik bir değerlendirme, hassasiyetini altta yatan aracın destekleyemediği tek sayılık bir puandan daha doğru bilgi iletir ve daha iyi teşvikler yaratır. Enstitü bu geleneğin içinde yer alır.

§ V İlerleme İtirazı

En sık dile getirilen ve en ciddi karşı görüş, sayısal bir puanın firmalara ilerlemelerini izleme ve gösterme imkânı vereceğidir. İki değerlendirme arasında aynı kademede kalarak kayda değer ölçüde gelişen bir firma, kategorik bir sistemde, hiç değerlendirilmeseydi öğrenemeyeceği hiçbir şey öğrenmez. Bir puan ise, ne kadar kesinlikten yoksun olursa olsun, en azından ona oynatabileceği bir sayı verir.

Bu itiraz özenli bir yanıtı hak etmektedir. Yakından bakıldığında, kategorik kademelere yönelik bir itiraz değildir. Firmaya iletilen tek bilginin kademe etiketi olduğu, belirli ve yoksul bir kategorik raporlama biçimine yönelik bir itirazdır. Standart’ın kullandığı biçim bu değildir.

Standart kapsamında belgelendirilen bir firma, kademesinin yanı sıra, yedi boyutun her birini anlatı biçiminde — değerlendiricinin bulguları, bunları destekleyen kanıtlar ve boyutun kademesini belirleyen sınır koşullarıyla birlikte — raporlayan bir değerlendirme raporu alır. Yeniden belgelendirmede firma, önceki rapora kıyasla boyut düzeyinde, yine anlatı biçiminde bir değişim raporu alır. İki değerlendirme arasında Yönetişim, Risk ve Uyum konusunda esaslı çalışma yapmış bir firma, bu çalışmanın ikinci değerlendirme raporunda birincisine kıyasla, belirli ilerlemeler adıyla anılarak yansıtıldığını görecektir. Çalışma boyutu bir kademe sınırının ötesine taşımaya yetmemişse, rapor bunu açıkça söyleyecek ve bir sonraki sınırın hangi ek kanıtları gerektireceğini belirtecektir.

Enstitü’nün tutumu, bu ilerleme raporlaması biçiminin, pratik açıdan, firmalar için tek bir sayıdan daha yararlı olduğudur. Yüz puanlık bir ölçekte iki puanlık bir fark, firmaya bir şeyin hareket ettiğini söyler; ama neyin hareket ettiğini, nedenini ve daha ileri taşımak için neyin gerektiğini söylemez. Boyut düzeyinde anlatı biçimindeki bir değişim raporu ise firmaya tam olarak hangi kanıtların iyileştiğini, neyin hesaba katıldığını ve o boyutta bir sonraki kademe için neyin gerektiğini söyler. İkinci raporu birincisiyle karşılaştırarak okuyan bir yönetici ortak, firmanın bir sonraki dönemdeki çalışmalarını yönlendirmek için gereken bilgiye sahiptir.

İlerleme itirazına ikinci bir yanıt, daha ihtiyatlı bir dille verilmelidir. Belgelendirme, Enstitü’nün bir firmanın yapay zekâ olgunluk programının başlıca iç izleme aracı olarak hizmet etmeye uygun gördüğü bir araç değildir. İç izleme, esasen firmanın kendi ölçüm düzeneğinin işlevidir; bu düzenek belgelendirmeden daha ayrıntılı, daha sık ve firmanın kendine özgü işletim modeline göre uyarlanmış olmalıdır. Belgelendirme, dış okuyucuların (müşteriler, düzenleyiciler, karşı taraflar, sigortacılar) güvenmesi amaçlanan harici bir tasdiktir ve tasarım öncelikleri harici bir tasdikin öncelikleridir. Bu öncelikler arasında, raporlananın bütünlüğü, raporlamanın ayrıntı düzeyinden önce gelir. Kendi ilerlemesini daha ince bir ayrıntıda izlemek isteyen bir firmanın, bunu mümkün kılacak ölçüm donanımını kurmak için her türlü nedeni vardır ve Enstitü’nün değerlendirdiği firmaların birçoğu tam olarak bunu yapmaktadır. Enstitü’nün belgelendirmesi bu iş için doğru araç değildir ve bu amaçla tasarlanmamıştır.

§ VI Enstitü’nün Tutumu

Sayısal bir puan vermek yerine kategorik kademeler üzerinden belgelendirme kararı bilinçli ve metodolojiktir. Değerlendirilen durumun çok boyutlu olduğu, değerlendirme aracının kademelerin iç konumlarını değil sınırlarını ayırt etmek üzere kalibre edildiği ve tek sayılık bir toplamın, Standart’ın teşvik yapısının dayandığı en zayıf boyutun tabanı kuralını ortalamanın içinde eriteceği yargısını yansıtır. Bunun ötesinde, tek sayılık puanların altta yatan durumun iyileştirilmesini değil ölçüte göre optimizasyonu davet ettiğinin ve bunun, kurumsal bir belgelendirme kuruluşunun hoş görmek değil öngörmek zorunda olduğu bir başarısızlık biçimi olduğunun kabulünü yansıtır. Son olarak, Enstitü’nün içinde yer almaktan memnuniyet duyduğu bir geleneği yansıtır: kategorik durumlar üzerinden belgelendirme yapan, sınırlarda belgelenmiş ölçütler kullanan ve kategoriler içindeki ve arasındaki ilerlemeyi anlatı biçiminde raporlayan standart kuruluşlarının geleneği.

Kategorik kademeler, bu anlamda, sahte kesinliğin bilinçli bir reddidir. Bu ret, aracın yapamadıklarına dair bir taviz değildir. Kurumsal bir standardın ne için var olduğunun ifadesidir.