Yönetim Kokpiti #6: Yapay Zeka Halüsinasyonları

Düşünün ki 40.000 feet yüksekliktesiniz, her şey yolunda giderken önünüzdeki hız göstergesi 800 km yerine bir anda 0 gösterirse ne yaparsınız? Uçağın durduğunu sanıp tam gaz mı verirsiniz, yoksa göstergenin size yalan söylediğini mi anlarsınız? Havacılıkta buna "Unreliable Airspeed" (Güvenilmez Hız Verisi) denir. Sistem, önünüze fiziksel olarak imkansız olan bir veri sunuyor.

Yapay zeka dünyasında biz buna çok daha popüler bir isim verdik: Halüsinasyon. Yapay zeka bazen kendinden o kadar emin bir şekilde yalan söylüyor ki, bizim kontrol mekanizmalarımız bu yalanın peşinden sürüklenmememizi zorlaştırıyor. Bugün, yapay zekanın bu "yalan söylediği" durumları nasıl fark edeceğimizi ve arıza senaryolarını nasıl yöneteceğimizi konuşacağız.

✈️ Çapraz Kontrol: Tek Göstergeye Güvenme

Yapay zeka bir olasılık makinesi gibidir. Dolayısıyla bazen olma ihtimali çok düşük olan bir olasılığı gerçekmiş gibi sunabiliyor. Yani kafasından bazı şeyleri uydurabiliyor. Peki havacılıkta pilotlar böyle bir durumda ne yapıyorlar? Bir gösterge arıza yaptığında pilotlar tek bir göstergeye bakarak karar vermedikleri için hemen "Cross-check" (Çapraz Kontrol) dedikleri yöntemi uyguluyorlar. Hız göstergesi sıfır mı diyor? O zaman motor devrine, uçağın açısına bak, rüzgarın sesini dinle. Diğer göstergeler uçağın uçtuğunu gösteriyorsa, hız göstergesinin bir veri hatası verdiğinden emin olursun.

Şirketlerdeki karar vericilerin de kesinlikle çapraz kontrol listeleri olması lazım. Yapay zekadan aldığınız herhangi bir çıktı, örneğin size "bu pazardan çıkman lazım" diyor. Eğer karar verici bu veriyi diğer enstrümanlarla çapraz kontrol yapmadan hemen inanıp yapay zekaya güvenirse, yanlış bir karar almış olabilir.

📦 Kara Kutu Analizi: Qantas 72 Kazası

Bu haftanın kara kutu analizinde 2008 yılında yaşanan Qantas 72 kazası var. Uçağın veri bilgisayarlarından bir tanesi arıza yapıyor ve karmaşık, zıt veriler vermeye başlıyor. Pilotların inanılmaz derecede kafaları karışıyor ve hemen bunun kaynağını bulmaya çalışıyorlar. Bilgisayarın verdiği verilerden bir tanesi aşırı hız, bir tanesi de çok düşük hız. Pilotlar bu sinyalleri çözmeye çalışırken, uçak otopilotta olduğu için bir anda burnunu aşağıya kırıyor. O ani dalışın etkisiyle, o anda uçakta kemeri bağlı olmayan kabin ekibi ve yolcular G kuvvetinin etkisiyle maalesef tavanla çarpıyor. Pilotlar sistemin saçmaladığını fark edip otopilotu devreden çıkartıyorlar ve manuel bir şekilde uçağı sağ salim en yakın havalimanına indiriyorlar. Fakat tabii ki birçok insan yaralanmış oluyor.

Burada eğer ki uçaktaki otopilotu devreden çıkarmasaydı ve yanlış veri sinyaline güvenmiş olsaydı, bunu hiçbir şekilde sorgulamamış olsaydı, maalesef o uçak büyük ihtimalle yere çakılmış olacaktı. Risk yönetimi, sistemin hata yapabileceğini kabul etmemizle başlıyor.

📡 Sinyal vs. Gürültü: RAG ve Human-in-the-Loop

Peki bu haftanın gürültü mü, sinyal mi kısmında, hype radarımızda neler var?

• Gürültü: En sık duyduğum gürültülerden bir tanesi şu anda: "Yeni modelimizde halüsinasyon oranları şöyle düştü, böyle düştü, özellikle sıfıra indi." diyenlere bence hiçbir şekilde inanmayın. Sonsuz bir yapay zeka savunucusu olarak, yapay zekanın şu anda halüsinasyon görmesinin riskinin sıfır olduğuna asla inanmıyorum. Bu yüzden bu vaatlere kanıp da kontrol mekanizmalarınızı gevşetmeyin.
• Sinyal: Sinyal olarak görmemiz gereken RAG (Retrieval Augmented Generation) dediğimiz sistemler ya da Human-in-the-Loop (İnsan Odaklı Kontrol) yaklaşımları. Yapay zekayı bu sistemlerde kendi başına bırakmak yerine, onu gerçek verilerle besleyen ya da son kararı insana bırakan sistemler kurmak çok sağlıklı gözüküyor.

En akıllı yapay zekaya sahip olanın değil, yapay zekanın hatalarını en iyi yakalayabilenin başarılı olacağını bir önceki videoda da bahsetmiştim. Neden? Çünkü bir sistemin gücü sadece doğru çalıştığı zaman değil, hata yaptığında güvenli durabildiği ile ölçülüyor. Bu çapraz kontrol listelerimizi gözden geçirebiliriz. Vereceğimiz kritik kararlarda yapay zekanın verdiği veriyi nasıl sorgulayabiliriz? Hangi farklı kaynaklarla bu çıktılarını doğrulayabiliriz? Bunu takip edebiliriz. Dolayısıyla bizim temelde riskleri azaltan stratejileri araştırmamız şart.

Sonraki Uçuş: Steril Kokpit

Bir sonraki videomuzda kokpitin en disiplinli anına geçiyoruz: Steril Kokpit Kuralı ve Gürültü Yönetimi üzerine konuşuyor olacağız.

Bu bülten, "Yönetim Kokpiti" YouTube serisinin altıncı bölümünden uyarlanmıştır. Videoyu izlemek için buraya tıklayabilirsiniz.