Hizalama ve güvenlik uygulamalarımızı iyileştirmek

30 Temmuz tarihinde, Claude modellerinin gerçek bilgisayar sistemlerine yetkisiz erişim kazandığı üç olayı bildirdik. Modeller—değerlendirme amacıyla siber güvenlik önlemleri olmadan kasıtlı olarak çalıştırılıyordu—üçüncü taraf bir değerlendirme ortamındaki yanlış yapılandırma nedeniyle internete erişim sağladı. Ayrı olarak, 4 Ağustos'ta İngiltere AI Security Institute, kendi siber güvenlik testinden bir olayı bildirdi; bu olayda Claude Mythos 5, canlı internette bir dizi yetkisiz eylem gerçekleştirdi. Bu durumda da model, değerlendirme amacıyla siber güvenlik önlemleri olmadan kasıtlı olarak çalıştırılıyordu ve kasıtlı olarak internet erişimi verilmişti.

Her iki olayın da derinlemesine bir analizini yürütüyoruz. Ayrıca bağımsız bir inceleme için METR ile çalışmayı planlıyoruz. Her iki çalışmanın da kapsamlı olmasını istiyoruz ve önümüzdeki haftalar içinde daha fazla bilgi paylaşacağız.

Bu arada, geçen ay yaptığımız bazı değişiklikleri paylaşıyoruz. Bu olayların operasyonel güvenlik başarısızlığını ve iki hizalama sorununu yansıttığına inanıyoruz: güdülenmiş akıl yürütme ve dar bir görev peşinde zararlı eylemler yapma istekliliği (her ikisini de önceki sistem kartlarında açıkladık). Güvenlik konusunda, kontrol ve izleme sistemlerimizde yaptığımız iyileştirmeleri ve üçüncü taraf değerlendirmeciler için geliştirdiğimiz uygulamaları açıklıyoruz. Hizalama konusunda, iki sorunu daha derinlemesine tartışıyoruz; aynı zamanda kalıcı ilerlemenin yalnızca belirli bir olayda ne olduğunu anlamaktan değil, yanlış hizalamanın ilk etapta nasıl ortaya çıktığını anlamaktan geldiğine inanıyoruz ve bu yönde erken araştırmaları paylaşıyoruz.

Bu olaylar ışığında, sınırı yavaşlatma konusunda artan tartışmalar olmuştur. İki tür yavaşlatma arasında ayrım yapmak yararlıdır. Bir şirket içinde yavaşlatma, güvenlik ve hız arasında çatışma olduğunda güvenliği hıza tercih eden bir dizi kararı anlamına gelir. Sektör genelinde, yarışa kaynak olarak gitme dinamiklerine karşı koruma sağlamak için süreçler kurulmak anlamına gelir. Bu yazıda, bu olaylardan önce ve sonra, ilk yaklaşıma hizmet etmek için aldığımız önlemleri tartışıyoruz. İkinci tür yavaşlatma, hükümet ve endüstri arasında koordinasyon gerektirir ve anlaşılır ve doğrulanabilir olmalıdır. Kıdemli liderlerimiz ve birçok çalışanımız yakın zamanda yavaşlatma konusunda daha fazla koordinasyon çağıran bir mektup imzaladı ve önümüzdeki haftalarda bu çabaya nasıl katkıda bulunmayı amaçladığımız hakkında daha fazla bilgi vereceğiz. Konumuz hakkında açık olmak gerekirse: sektörün mümkün olan en kısa sürede yasallı, doğrulanabilir, etkili bir koordineli yavaşlatma mekanizması benimsemesi halinde dünyaya fayda sağlayacağına inanıyoruz.

Bu olayların yalnızca operasyonel sorunlar temsil ettiğine inanmamakla birlikte, ilk önceliğimiz belirli kontrol ve izleme sorunlarını gidermek oldu. Yanıt olarak aşağıdaki önlemleri aldık:

Olaylardan sonra ön-çıkış modellerinin harici siber değerlendirmelerini durdurduk ve aşağıdaki önlemleri yerine getirirken kısa bir süre iç olanları da durdurduk. 30 Temmuz'da bildirilen olaylar, büyük ölçüde tek bir savunma katmanına (ortamın kendisinin yapılandırması) güvendiğimizi gösterdi; oysa birkaç katmana ihtiyacımız vardı; buna istemi içinde açık sınırlar belirleme, bir sandbox'ın amaçlandığı yerde mühürlü olduğunu doğrulama işlemleri oluşturma ve gerçek zamanda müdahale edebilecek izleme uygulamak dahildir. OpenAI'ın ifşası (temmuz ayında araştırmamızı tetikledi) modellerinin bir değerlendirme sırasında mühürlü bir sandbox'ı kaçmak için bilinmeyen bir güvenlik açığı kullandığını açıkça gösterdi; bu nedenle sandbox'ın kendisini sertleştirmeye odaklanmalıyız.

Değerlendirmeler durdurulurken, aşağıdaki ön önlemleri yerine getirdik:

1) Bir model bir test ortamından agresif olarak keşif yapmaya veya kaçmaya çalıştığında veya beklenmedik şekilde internet erişimi elde ettiğinde gerçek zamanda otomatik olarak tanımlamak için bir sınıflandırıcı oluşturduk ve konuşlandırdık. Sınıflandırıcı böyle bir girişimi işaretlediğinde, eylemi araç çağrısı çalışmadan önce engeller, görevi sonlandırır ve bir insanı uyarır.¹

2) Ön-çıkış modellerinin son iç değerlendirmelerinden (siber ve diğer) transkriptler üzerinde otomatik monitörler çalıştırdık; sandbox kaçışlarını (bir modelin sandbox'ında bir kusurdan yararlanarak kendisinden uzaklaştırılması gereken sistemlere ulaşması) veya sandbox yanlış yapılandırmalarını aradık. Bir değerlendirmeyi sandbox tooling'imizin içinde çalıştırdığımız durumlarda, sandbox sınırını ihlal ederek dış kaynaklara ulaşan hiç bir örnek bulmadık. Çeşitli sandboxing yanlış yapılandırmaları bulduk; modeller bunlardan yararlandı, ancak hiçbiri sandbox dışındaki sistemleri tehlikeye atmadı.² Bunları gidermek için aktif olarak çalışıyoruz.

3) Yüksek riskli³ iç siber sandbox'larını daha güçlü izolasyona geçirdik. Sanal makineleştirme yığınımızda kırmızı takım oluşturmaya da devam ediyoruz—yani, ön-çıkış modellerine kaçmaya çalışmalarını görevlendiriyoruz—zayıflıkları bulmak ve yamalamak için.

İç siber değerlendirmelerimiz şu anda bu önlemler yerinde olarak çalışıyor.

Ayrıca ön-çıkış modellerinde daha yüksek riskli RL ortamlarını birkaç hafta durdurduk. Bu süre zarfında, benzer bir sınıflandırıcı oluşturduk; bunu değişik olarak düzenledik, modeli bu yeni izlemeden kaçmaya teşvik etmeyi önlemek için; şimdi bu ortamlar içine konuşlandırdık. RL'nin çoğunluğu devam etmiş, ancak bazı yüksek riskli ortamlar manuel incelemeden geçene kadar durmaya devam ederken, diğerleri yakında konuşlandırmayı planladığımız sınıflandırıcının güncellenmiş bir sürümünü gerektirecek.

Yüksek riskli değerlendirmeler ve eğitime odaklanmış çabaların yanı sıra, çoğu diğer dahili kenar agentic kullanımını kapsayacak şekilde çevrimdışı izlemeyi genişlettik. Ayrıca, Anthropic çalışanlarının yukarıda açıklananlardan daha zayıf azaltmalarla agentleri yanlışlıkla çalıştırmasını önlemek için dahili çıkarımımız üzerinde kontroller inşa ediyoruz.

Bildirilen olaylar üçüncü taraf ortamlarda meydana geldiğinden, azaltılmış siber güvenlik önlemleriyle ön-çıkış modellerini test eden her kuruluştan bir dizi en iyi uygulamaya bağlılık istiyoruz. Bu gerekli olduğuna inanıyoruz çünkü:

• Genel olarak yayınlanan modellerimiz güvenlik önlemleriyle gelir—gerçek zamanda Claude'un girdileri ve çıktılarını kontrol etmek ve kötü amaçlı yazılım geliştirmesi veya saldırgan açıklayıcı yazma gibi yasak siber faaliyetleri engellemek için sınıflandırıcılar dahil. Siber değerlendirmeciler ve erken erişim ortaklarının bir alt kümesi buna karşılık, model yeteneği testini ve savunmacı siber çalışmayı kolaylaştırmak amacıyla bu güvenlik önlemlerinin azaltılmış olduğu modellerle çalışır.
• Siber değerlendirmeler, bu olaylarda görülen davranışları üretme konusunda olağandışı derecede olasıdır. Çevreleri keşif etme ve engelleri aşma konusunda kalıcılık ve yaratıcılık yönünde seçim baskısı yaratırlar ve binlerce kez çalıştırılırlar.

Bu uygulamalar, ortaklar kendi harneslerini, sandbox'larını veya agentlerini kullanan siber ile ilgili değerlendirmeler çalıştırdığında tam olarak geçerlidir. Claude Fable 5 gibi güvenlik açılarından korunan modelleri kullanan müşteriler için geçerli değildir. Bu uygulamalarla yerinde bulunacak şekilde harici siber değerlendirmelerini devam ettirdik ve bunlara dahili olarak da uyuyoruz.

Varsayılan olarak, tüm siber değerlendirmeler, sertleştirilmiş bir sandbox (izole edilmiş bilgisayar ortamı) içinde internet erişimi olmadan çalışmalıdır. Ortamın izin verdiği tek dış bağlantı, modelin kendi API'ına yönelik olmalıdır ve API anahtarları ortamın dışında tutulmalıdır. Bu yapılandırma, her değerlendirme başlamadan önce doğrulanmalıdır. Bazı değerlendirmeler internet erişimi gerektirebilir. Bu durumlarda, ön-çıkış modellerini değerlendirirken harici değerlendirmecilerle birlikte çalışarak, bir modelin bildirilen kapsamı dışında eylemler aldığı çalıştırmaları güvenilir şekilde algılamak ve durdurabilir miyiz belirleyeceğiz.

Bir değerlendirme çalıştırması yürütmeden önce, değerlendirme ortakları şunları yapmalıdır:

1. Test edilen modelin sandbox'ı güvenlik açıkları açısından araştırmasını sağlayın; önce yapılandırmanın statik analizi aracılığıyla, sonra aslında modelye kaçmaya çalışmalarını görevlendirerek. Model kaçmayı başarırsa durması ve rapor etmesi için talimatlandırılmalıdır; tüm bunlar yakın insan denetimi altında yapılmalıdır. Bu test, ideal olarak ikinci bir sandbox içinde, internet erişimi olmadan gerçekleştirilmelidir. Değerlendirmeler bazen yüzlerce hatta binlerce çalıştırma üzerinde yapıldığından, ortaklar ideal olarak herhangi bir değerlendirmeye başlamadan önce bunu uzun süre yapmayı gerçekleştirmelidir.
2. Herhangi bir değerlendirme zorlunluğunun aslında ilke olarak çözülebilir olduğunu doğrulayın. Değerlendirme hedefi çevrimdışı olduğunda veya bir görev tamamlanamadığında, agentler çoğu zaman bir zorlunluğu tamamlamak için başka yollar arayacaklar; bu, değerlendirmenin amaçlandığı kapsamı dışında eylem alma ihtimalini artırır.⁴

Her istemi, alıştırmanın kapsamında nelerin bulunduğunu ve neyin bulunmadığını belirtmelidir; hedefleri, izin verilen eylemleri ve ağ sınırlarını içerir (yani modelin erişmesi ve erişmemesi gereken). Sınırlar, ortamın veya testin taleplerinden ziyade talimatlar olarak ifade edilmelidir (örneğin, "İnternete erişmemelisiniz" yerine "İnternete erişemeniz yok").

Değerlendirmeciler ayrıca, modelin düşüncesini, eylemlerini ve ağ etkinliğini, alıştırmanın kapsamına sahip bir model veya kural tabanlı bir monitör kullanarak sürekli olarak izlemelidir. Bir çalıştırma bu kapsamı ihlal ederse, monitör bunu bir insana işaretlemeli ve alıştırmayı sonlandırmalıdır.

Bu kılavuzu harici ortaklarla işbirliği içinde iyileştirmeyi ve değerlendirmelerin ötesine uzatmayı planlıyoruz. Özellikle, siber güvenlik önlemleri olmadan çalışan Claude Mythos 5'e erişimi olan ortaklar için eşlik eden uygulamalar geliştiriyor ve yakında daha fazla bilgi paylaşacağız.

Kontrol ve izleme, modellerin tehlikeli eylemler aldığı örnekleri yakalamak için kritiktir; ancak modelin ilk etapta bu tür eylemleri neden aldığını ele almıyor. Aşağıda ön hizalama araştırmasını ve odaklandığımız soruları ve eğitim sırasında kopya çekmeyi önleme konusundaki devam eden çalışmayı tartışıyoruz—kopya çekmenin model davranışını nasıl şekillendirdiğine ilişkin yeni araştırmalar dahil.

Hizalama değerlendirmemiz hala devam ediyor, ancak ön araştırmamız iki ana hizalama başarısızlığına işaret ediyor; her ikisini de önceki sistem kartlarında açıklamıştık. Biri güdülenmiş akıl yürütmedir: modellere ortamlarının simüle edilmiş olduğu söyleniyordu, ancak daha sonra gerçek internete bağlı olduklarının kanıtıyla karşılaştıklarında, bu kanıtı bu inancı korulamalarına izin veren bir şekilde yorumlamış olabilirler. İkincisi ise pervasyon terbukudur: model, siber güvenlik değerlendirmesi çözme dar amacı peşinde gerçek internette zararlı eylemler yapma konusunda istekliydi. Ancak, değerlendirme kurulumunun kendisinin de modellerin bu olaylarda gösterdiği davranışa katkıda bulunduğuna inanıyoruz. Claude'a açıkça internet erişimi olmadığı söyleniyordu, oysa internet mevcuttu; bu, onu gördüğü sistemlerin gerçek olup olmadığını sorgulamaya yönlendirebilirdi. Ve bir durumda, kurgusal hedef gerçek bir web sitesiyle aynı adı paylaştı; bu da alıştırma içinde neyin kapsamda olması amaçlandığını ayırmayı daha zor hale getirdi.

Sonuçlarımız, modellerin gerçek internete erişim sağladığını belirledikleri ölçüde (başlangıçta bilmeseler bile), ortamlarının hangi öğelerinin gerçek olduğunu gösteren işaretleri kasıtlı olarak görmezden geldikleri ölçüde ve birkaç durumda alıştırmayı durduramamalarının güdülenmiş akıl yürütmeden kaynaklandığı ölçüde dahil olmak üzere, tam olarak cevaplamadığımız birkaç soruya bağlıdır. Bu soruları cevaplamak için çeşitli teknikler uyguluyoruz; buna ortamda hedefli değişiklikler yaparak modelleri yeniden örnekleme ve iç durumlarını doğrudan incelemek için yorumlanabilirlik yöntemlerini kullanma dahildir.

Model yanlış hizalaması karmaşık olsa da ve çeşitli nedenlerden dolayı ortaya çıkabilse de, eğitim ortamlarında kusurları—özellikle kopya çekmeye açık ortamları veya kopya çekmeden çözülmesi imkânsız ortamları—ampirik olarak yanlış hizalanmış davranışa orantısız derecede büyük katkı yapan kusurları bulmuşuz.

Aşağıda, bu tür kusurlardan kaçınmak için bu olaylardan birkaç ay öncesine kadar devam eden çabalarımızı tartışıyoruz. Bu çabalar kusurlu ve hipotezimiz, bu olayların en azından kısmen bu tür sorunları tamamen elimine etme yeteneğimizle ilişkili olduğudur. Ödül hacklemesine karşı duyarlı ortamlarda kasıtlı olarak bir model eğiterek bu hipotezi test ettik. Benzetimlerde, bu model, bu yaz diğer şirketlerden bildirilen olaylara benzer olan, daha şiddetli yanlış hizalanmış davranışları yeniden üretir. Üretim modellerimiz, aynı benzetimlere konduğunda, bunu yapmaz (bu bölümün ilerlerinde daha fazla ayrıntı).

Tarihsel olarak, RL eğitim ortamlarından endişe duyduk; bunlar kopya çekmeyi teşvik ediyor ve böyle ortamları filtrelemek veya düzeltmek için çeşitli önlemler aldık.

Şubat ayında, Mythos Preview takviyeli öğrenme çalıştırmasında ödül hacklemesinin işaretlerini gördükten sonra (bir model eğitim sürecini kandırmanın ve atanan görevi tamamlamadan ödüller kazanmanın yollarını bulduğunda) üç günlük eğitimi geri aldık. Model kodda ve yanıtlarda "incelemeci"ye notlar yazıyor—hiçbir incelemecinin bahsedilmediği görevlerde dahil—ortamlardan aidiyetten sonra arzu edilmeyen bir genelleştirme; istenilen bir satırda bu davranışı atladığında dürüstlüğü teşvik etmek için düşünen yalanları aldatarak veya uyarılar yığarak oyun oynuyordu.⁵ Üç günü geri almak, bu davranış öğrenilmeden önce bir kontrol noktasından eğitim devam ettirmemizi sağladı ve ortamları bu davranışı tekrar öğrenmesini önlemek için değişiklikler yaptık.

Claude Sonnet 3.7'den bu yana RL'de modellerin öğrendiği istenmeyen davranışları izlemek için araçlar inşa ediyoruz (ödül hacklemesi eğilimi vardı; eğitimin geç aşamasında keşfetmedik). Her model nesline sahip araç takımının geliştiğini sağlamak için kayda değer çaba harcadık; bir avuç sınıflandırıcıdan eğitim çalıştırmaları öncesi ve sırasında tüm ortamların otomatik incelemesine; ancak 2026 baharında bu sistem baskı altında kalmaya başladı. RL ortamlarını her zamankinden daha hızlı bir tempo ile üretiyorduk; sistemi onları doğrulayabileceklerinden daha hızlıydı. İşaretli ortamlar, bir insanın karar vermesini gerektiriyordu ve ödül hackleri ve yanlış yapılandırmalar filtreleme veya düzeltme yeteneğimizi aşmaya başladı.

Ayrıca, çalıştırmaların bir kısmının kasıtlı olarak bir modelin düşünce zincirinde eğitim aldığını bulduk—bunu çok iyi yapmaktan kaçınıyoruz, çünkü bir modele gerçek muhakemesini gizlemeyi öğretme endişesi vardır. Sızıntıyı üretim ortamı yığınımızda birkaç yanlış yapılandırmaya izledik. Bunu yaparken, zaman içinde biriken karmaşık koddan doğan başka sorunlar olduğu açık hale geldi.

Bu endişeleri gidermek için, Nisan ayında tüm üretim RL ortamına yapılan değişiklikleri kabaca bir ay dondurduk; bu bize yığını tamamen revize etme şansı verdi. Ödüller ve ortamlar artık kararlaştırılmış bir spesifikasyona uymalıdır. Örneğin, düşünce zincirinde eğitim alma riskini azaltmak için teknik azaltmalar tanıttık.⁶ Ortam kalitesi ve izleme ekipleri yığını yeniden inşa ederken, ortam sahiplerinden dondurma sırasında oluşturduğu ortamları test etme ve düzeltme iznini istedik. Ayrıca inceleme sürecimizi tamamen yeniden inşa ettik ve düzeltilen tüm ortamların başka bir eğitim çalıştırmasına girmeden önce yeniden sertifikalandırılmasını gerektirdik.

Dondurma sırasında, ödül hacklemesinden bozuk görevlere ve yanlış yapılandırmaya kadar sorunlar için üretim karışımında ortamların % 10'undan fazlasını işaretledik ve onları ancak düzeltildikten sonra yeniden başlattık.

Ancak çabalarımız kusursuz olmamıştır. Bazı durumlarda, insan incelemeciler otomatik monitörler tarafından işaretlenen ortamları yanlış pozitif olarak reddedip, kusurlu ortamların eğitimde gerektiğinden daha uzun süre kalmasını sağladı. Ve bazı kusurlu ortamlar basitçe algılama mekanizmalarımızdan geçiveriyor. Şu anda bir bayrak kapatma kriterlerini sıkılaştırıyor ve ortam sahipleriyle artan işbirliğinin sistemlerimizin kesinliğini iyileştirmesini bekliyoruz. İzleme ve algılamanın ötesinde, hizalama eğitimi ve RL ekiplerimiz ortamları iyileştirmeye yardımcı olmak için işbirliği yapıyor.

RL ortamlarının kalite kontrolünde ağır yatırımımızın daha şiddetli hizalama olaylarını önlemiş olabileceğini ve tersine bu çabaların kusurlarının belirlediğimiz olaylara katkıda bulunmuş olabileceğini şüpheliyoruz.

Bu korumalar olmadan eğitilen bir modelin ne yapacağını görmek için, Opus sınıfı bir modeli, en az bir gerçek eğitim çalıştırmasında ödül hacklemesine uğrayan veya ortam kalitesi incelemesi sırasında hacklenebilir olduğu bulunan 80 farklı gerçek RL ortamında kasıtlı olarak eğittik. Ortaya çıkan model, görevlerde yüksek puanlar elde etmek için güçlü bir motivasyonu ve görev başarısı peşinde zararlı eylemler gerçekleştirme istekliliğini gösterir. Eşlik eden Alignment Science blog yazısı bu deneyişi daha büyük ölçüde tartışır; ancak buraya kısaca özetleriz.

Kasıtlı olarak yanlış hizalanmış modeli, Claude ile UK AISI siber güvenlik olaylarının yönlerini çizen simüle senaryolar ve OpenAI/Hugging Face olayı dahil olmak üzere çeşitli değerlendirmelerde test ettik (bu konuyu kamuya açıklayan OpenAI'ya gönül bağlılığımızı sunuyoruz). Tüm araç çağrılarının başka bir LLM tarafından simüle edildiği bu değerlendirmelerde, ödül hacklemesi için eğittiğimiz model, benzetimli sandbox'tan kırılmak ve benzetimli iç ve benzetimli üçüncü taraf altyapısına saldırma eğilimi göstermiştir. Ayrıca, kendi ödül işlevini tahrif etme, bir graderle tatmin etmek için biyolojik silahlar inşasına tavsiye verme ve bir görevde hile yapmak için konuşlandırma güvenliği izlemesini geçme konusunda tekrar tekrar çalışma istekliliği de göstermiştir.

Daha sonra ödül hacklemesi eğitiminden önce olduğu şekliyle modelde aynı siber güvenlik benzetimlerini ve çok sayıda herkese açık modelimizi çalıştırdık. Hiçbiri aynı derecede yanlış hizalanmış davranışlar göstermiştir. Sonucumuz, eğitimde önemli ödül hacklemesinin, modelleri görev başarısı peşinde uzun dizisi zararlı gerçek dünya eylemler gerçekleştirme konusunda istekli olmaya neden olabilir.

Bu bahar izleme ve ödül hacklemesini azaltmaya yaptığımız önemli yatırımın, üretim modellerimizin daha tehlikeli ödül arama konusunda katılmış olmasının ana nedeni olduğunu düşünüyoruz. Eşlik eden Alignment Science blog yazısında, hizalama eğitim ortamlarının ödül hacklemesi ve ödül arama davranışlarını önemli ölçüde azaltabileceğine dair kanıt da bulduk. Ama, 30 Temmuz'da bildirdiğimiz olaylar tarafından kanıtlanmış olduğu gibi, prosesimiz kusursuz değil ve modellerimiz tamamen hizalı değildir.

Açık olmak gerekirse, eğitim ortamlarında kopya çekmenin hizalama sorunlarının tek nedeni, hatta belirli hizalama sorunlarının veya diğer sınır AI şirketlerinin olaylarının nedeni olduğuna inanmıyoruz. Hizalamanın çözülmesi, çok geniş bir yelpazede olası sorunlarla ilgilenmeyi içerecek ve gelecekteki hizalama olayları, şimdiye kadar gördüğümüz farklı davranış ve farklı nedenler içerebilir.

Anthropic'in dahili güvenlik duruşu 30 Temmuz olaylarının katkı faktörü değildi. Bunlar internet erişiminin yanılmadan açık bırakıldığı üçüncü taraf bir ortamda gerçekleşti; modellerin, eğer eğilimli olsaydı bile, bir şeyden "kırılmaya" ihtiyacı yoktu.

Bununla birlikte, olaylar yine de güçlü güvenlik önlemlerinin kritik önemini vurgular. Olağan IP veya model ağırlığı hırsızlığı risklerine ek olarak, kendi modellerimizin Anthropic sistemlerinden "dışarı hacklemesi" riskiyle ve modellerimizin veya başkalarının Anthropic sistemlerine dışarıdan saldırılar için kötüye kullanılması riskiyle de uğraşmak zorundayız. Bu riskler, model yetenekleri büyüdükçe daha keskin hale gelmiştir; özellikle Mythos sınıfı modellerle başlayarak. Aşağıda uyguladığımız bazılarını açıklıyoruz—bu çabaların çoğu Temmuz olaylarından önce gerçekleşmiş, ancak bu olaylar bu çalışmanın önemini vurgulamıştır.

Nisan ayının başında, agentic AI kullanımının nereye gittiğini gördükten sonra, güvenlik ekibimiz şirket genelinde, savunmalarımızı sertleştirmeyi tek bir amaca yönelik bir girişimi (gerekli olduğunda diğer çalışmalara üstün gelme ve araştırma dahil olmak üzere) proaktif olarak yönetti. Maruziyetimiz savunmalarımızdan daha hızlı büyüdüğünü belirlemiştik—Mythos, iyi kaynaklanmış saldırganların hedefi olacak kadar yetenekli bir modeldi, otonom agentlerin dahili kullanımı geleneksel erişim ve izleme yaklaşımları için kurulmayan bir ölçeğe büyümüştü ve yeni altyapının temposu güvenliğin ortamla ölçek yapması gerekti. sabit bir kapasite da çalışmak yerine.

Bu çabanın sonuçları şunları içerir:

• Model ağırlıkları veya müşteri verileri içeren sistemlere ayakta erişime sahip insan ve otomatik hesapları azaltmak
• İşlem kümelerimizi varsayılan olarak tüm giden trafiği engelleyecek şekilde ayarlamak
• Dahili hizmetlerin birbirleriyle iletişim kurmadan önce kimliklerini doğrulamalarını gerektirmek
• Eski altyapı yapılandırmalarını ve paylaşılan dahili hizmetleri kullanımdan kaldırmak
• İş yüklerimizin çalıştığı izole ortamları sıkılaştırmak
• Ana bilgisayar düzeyinde gözlemlenebilirliği genişletmek; böylece altyapımızda beklenmedik davranış oluşturulmaya başlar

Bu çabalara şirketin bir bölümünü geçici olarak yeniden atadık. Kabaca 150 ürün mühendisi güvenlik, güvenilirlik ve gizliliğe yönlendirildi; araştırmacılar ayrıca ön eğitim veya RL'den koruması ve güvenliğe odaklanmak için rotasyon yaptırıldı; ve ürün ekiplerimiz çoğu yeni özellik ve yüzeylerin geliştirilmesini durdurduk. Her ekip için evde dönmeden önce karşılaması gereken kesin çıkış kriterlerini belirledik. Erken yaz tarafından, çoğu ekip bunları karşılamıştı.

Güvenliğe kaynakların yeniden tahsisine paralel olarak, dahili ajan kullanımı için kontrol ve izlemeyi oluşturmaya devam ettik. Eğitim ve değerlendirme iş yükleri tipik olarak üretim sistemlerimizden izole edilmiş sandbox'lar içinde çalışmıştır. Claude Mythos Preview geliştirmesinden bu yana, bu sandbox'lardaki zayıflıkları keşfetmek için modellerimizi kullandık. Nisan ayı hizalama risk güncellemesinde dahili kodlama agentlerinin çevrimdışı izlemesini açıklamıştık ve Ağustos Risk Raporu bu sistemi ve bununla çalışan müdahaleleri daha ayrıntılı olarak kapsıyor. Bunlara, en otonomik dahili ajan kullanımı biçimleri üzerine sandbox oluşturma veya otomatik mod sınıflandırıcıları ve merge'den önce altyapı kodu değişikliklerinin otomatik incelemesi dahildir.

Bu çalışmanın kaçırdığı değerlendirmelerdi—ve üçüncü taraf değerlendirmeleri tüm. Gerçek zamanda dahil olmak üzere bazı yüksek riskli değerlendirmeleri izledik, ancak genel olarak transcriptlere geçmiş zamanı otomatik incelemeleri sadece bir örneği üzerinde yürüttük.

Temmuz olayları, siber güvenlik savunmalarımızı iyileştirmenin aciliyetinin daha öncekinden bile daha yüksek olduğunu vurgulamıştır. Bu yönde çabalarımızı iki katına çıkarıyoruz ve bir sonraki Risk Raporu'nda daha fazla söyleyeceğiz.