Neden Blackbox otomasyonu inşa etmiyoruz

Düzenli olarak ilk görüşmelerde oturuyorum ve yöneticiler bana yıllar önce başka bir hizmet sağlayıcı tarafından inşa edilmiş bir otomatik süreci gösteriyor ve neredeyse her zaman aynı cümle çıkıyor: Sistemin bu noktada neden bu kararı aldığını kimse artık bilmiyor. Hizmet sağlayıcı gitti, dokümantasyon hiç yazılmadı ve istisnai durumlar için bir eskalasyon yolu basitçe yok. Tam olarak buna Blackbox otomasyonu diyorum ve tam olarak bunu NordFlux'ta inşa etmiyoruz.

Blackbox otomasyonu tam olarak nedir?

Blackbox otomasyonu, karar verme mantığı sonradan artık izlenemez olan, istisnai durumlar için tanımlanmış eskalasyon yollarını bilmeyen ve kuralları hiçbir yerde belgelenmemiş olan otomatik bir süreçtir. Üç özelliğin de aynı anda ortaya çıkması gerekmez, ancak pratikte neredeyse her zaman birlikte ortaya çıkarlar, çünkü aynı kaynaktan gelirler: Bir sistem hızlı bir Go-Live için inşa edildi, bundan sonraki işletim için değil.

Bu niş bir sorun değildir. Almanya'daki işletmelerin yüzde 38'i, yapay zeka (YZ) sonuçlarının yetersiz izlenebilirliğini yapay zekanın kullanılmasında en büyük engellerin biri olarak adlandırıyor, buna göre Bitkom'un 'Yapay Zeka 2025' araştırması. Yani bir kişi daha önce açıklanmayan iş akışının tekil bir durum olduğunu düşündüyse: değildir.

Neden Blackbox'lar ortaya çıkıyor?

Blackbox'lar nadiren kötü niyetten, daha çok zaman baskısından ve yanlış teşviklerden ortaya çıkar. Bir Konsept Kanıtı, daha ileri refactoring olmadan üretim ortamına geçer, bir yapay zeka aracı dar bir hedef için eğitilir, bununla birlikte kimse nasıl kararlar aldığını protokol etmez ve dokümantasyon, bir proje geç kaldığında kaybolan ilk şeydir. Sonunda, ne zaman birisi neden sorgulamadığı sürece işlev gören bir sistem ortaya çıkar.

Uluslararası alanda bu tür sistemlere karşı ihtiyat uzun süredir çoğunluk görüşüdür, istisna değildir: Dünya çapında insanların yüzde 61'i, KPMG'nin 'Yapay Zekaya Güven' araştırması, yapay zeka sistemlerine güvenmekte çekingen, bu değer izlenebilirliğin eksikliğiyle yakından ilgilidir. Sağlayıcı olarak bu güvensizliğe şeffaflıkla yanıt vermeyenler, bunu sadece güçlendirirler.

NordFlux'ta bunun yerine nasıl çalışıyoruz?

Biz her bir otomasyonu öyle inşa ederiz ki, biz olmadan devam eder. Somut olarak söylemek gerekirse: Her iş akışı müşterinin altyapısında çalışır, ister kendi n8n örneği, kendi Microsoft kiracısı veya kendi UiPath ortamı olsun, müşteriye ait olan ve bize ait olmayan erişimlerle. Bizimle işbirliğini sona erdiren kişi, kendi süreçlerine tam erişim saklı tutar.

Her proje bir Süreç Tasarımı Belgesine sahiptir, bu belge karar verme mantığını, kullanılan veri kaynaklarını ve sistemin sınırlarını normal dilde açıklar, yalnızca İş Akışı Diyagramında değil. Kamu idaresinden bir müşteri için, tam olarak bu belge, yazılı olarak sunulan her süreç dalı ve gerekçesiyle, İT güvenliği tarafından yapılan iç denetimi karşıladı, sözlü olarak açıklanması yerine.

Eskalasyon modeli tam olarak ne demektir?

Bir eskalasyon modeli, bir otomasyonun veya yapay zeka aracının hangi noktadan itibaren bir kararı tek başına almaması, bunun yerine bir insana iletmesi gerektiğini önceden belirler. Örneğin, bir fatura kontrolü söz konusu olduğunda: Tanımlanmış bir eşik değerinin altında tutarlar net bir atama ile otomatik olarak geçer, diğer her şey, belirsiz atama, alışılmadık yüksek tutar, yeni bir tedarikçi, gerekçesiyle bir muhasebe görevlisine gider. Bu model olmadan, sistem şüphe halinde bir şekilde bir karar verir ve kimse bunu fark etmez, çok geç olana kadar.

Bu beklenti giderek yasal olarak da temellendirilmektedir: EU AI Act, Yüksek riskli yapay zeka sistemleri için Madde 13 açıkça, işletiminin, operatörlerin sonuçları sınıflandırabilmeleri ve uygun şekilde kullanabilmeleri için yeterince şeffaf bir şekilde tasarlanması gerektiğini talep ediyor, izlenebilir yetenekler ve sınırların belgelenmesi de dahil olmak üzere. Bugün böyle inşa edenler yarın yükseltme yapmak zorunda değildir.

Şeffaflık daha fazla zaman malı mı?

Dürüst olmak gerekirse: evet, biraz, başlangıçta. Bir Süreç Tasarımı Belgesi yazmak ve bir eskalasyon modeli tanımlamak, basitçe başlamaktan daha uzun sürer. Bu ilave çalışma, bir çalışan değiştiğinde, bir yeminli mali müşavir sorguladığında veya bir sürecin genişletilmesi gerektiğinde geri öder, çünkü o zaman sıfırdan başlamak yerine üzerine inşa edilebilecek bir temel mevcuttur. Kontrol böylece bir pazarlama vaadi değildir, bunun yerine proje süresine bakıldığında basitçe daha ucuzdur.

Yapay zeka aracılarımız ile çalışma yöntemiyle daha fazla bilgi için hizmetimizde Yapay Zeka Aracıları, eşlik eden Yönetişim Danışmanlığı için hizmetimizde Yapay Zeka Danışmanlığı.

Sık Sorulan Sorular

Bir NordFlux otomasyonu Blackbox'tan ne farkı var?

Bir NordFlux otomasyonu belgelenmiş, müşterinin altyapısında çalışır ve sınırındaki durumları önceden belirlenmiş bir eskalasyon modeline göre bir insana iletir. Bir Blackbox bu üç kriterden hiçbirini karşılamaz.

Proje bittikten sonra iş akışlarına ve erişime kim sahip?

Müşteri. Müşterinin kendi n8n, Microsoft veya UiPath ortamında inşa ederiz, kendi ortamımızda değil, böylece işbirliği herhangi bir zamanda bizden bağımsız olarak sona erebilir.

Bir yapay zeka aracı bir karar hakkında belirsiz olduğunda ne olur?

Kendi başına kararı almaz. Önceden tanımlanmış eskalasyon modeli, belirsiz veya sınırındaki durumları gerekçesiyle sorumlu bir kişiye iletir, bir varsayımı sonuç olarak çıkarmak yerine.

Daha fazla şeffaflık otomatik olarak daha fazla para malı mı?

İnşa sırasında biraz daha çaba gereklidir, evet, çünkü dokümantasyon ve eskalasyon modeli beraber planlanır. Proje süresi boyunca, bu her personel değişikliğinde veya her denetimde yeniden açıklanması gereken bir Blackbox'tan daha ucuzdur.