Gönderiyi okuyorsunuz: LogAI’yi tanıyın: log analitiği ve zekası için tasarlanmış açık kaynaklı bir kütüphane
LogAI, çeşitli günlük analizi ve istihbarat görevlerini destekleyen, günlük analizi ve zekasına yönelik ücretsiz bir kütüphanedir. Birden fazla günlük formatını destekler ve etkileşimli bir grafik kullanıcı arayüzüne sahiptir. LogAI, popüler istatistik, zaman serisi ve derin öğrenme modelleri için birleşik bir model arayüzü sunarak log anormallik tespiti için derin öğrenme algoritmalarını karşılaştırmayı kolaylaştırır.
Bilgisayar sistemleri tarafından oluşturulan günlükler, geliştiricilerin sistem davranışını anlamalarına ve sorunları tanımlamalarına yardımcı olan temel bilgileri içerir. Geleneksel olarak günlük analizi manuel olarak yapılıyordu ancak yapay zeka tabanlı günlük analizi, günlük analizi, özetleme, kümeleme ve anormallik tespiti gibi görevleri otomatikleştirerek süreci daha verimli hale getiriyor. Akademik ve endüstrideki farklı rollerin günlük analizi için farklı gereksinimleri vardır. Örneğin, makine öğrenimi araştırmacıları, yeni günlük analizi algoritmaları geliştirmek için deneyleri hızlı bir şekilde genel günlük veri kümeleriyle karşılaştırmalı ve diğer araştırma gruplarından elde edilen sonuçları çoğaltmalıdır. Endüstriyel veri bilimcilerinin, günlük verileri üzerinde mevcut günlük analiz algoritmalarını çalıştırmaları ve günlük analiz çözümü olarak en iyi algoritma ve konfigürasyon kombinasyonunu seçmeleri gerekir. Ne yazık ki mevcut hiçbir açık kaynak kütüphanesi bu gereksinimlerin tamamını karşılayamaz. Bu nedenle LogAI, bu ihtiyaçları karşılamak ve çeşitli akademik ve endüstriyel kullanım durumları için log analizini daha iyi gerçekleştirmek amacıyla tanıtıldı.
Günlük yönetimi platformlarında kapsamlı yapay zeka tabanlı günlük analizinin bulunmaması, birleşik bir günlük veri modeline, ön işleme yedekliliğine ve bir iş akışı yönetim mekanizmasına duyulan ihtiyaç nedeniyle birleşik analiz için zorluklar yaratır. Deneysel sonuçların yeniden üretilmesi zordur ve farklı kayıt formatları ve şemaları için özel analiz araçları gerektirir. Farklı log analizi algoritmaları ayrı işlem hatlarında uygulanarak deney yönetimi ve kıyaslama işleminin karmaşıklığı artırılır.
LogAI, LogAI çekirdek kütüphanesi ve LogAI GUI olmak üzere iki ana bileşenden oluşur. LogAI’nin GUI modülü, kullanıcıların çekirdek kitaplıktaki günlük analizi uygulamalarına bağlanmasına ve analiz sonuçlarını grafiksel bir kullanıcı arayüzü aracılığıyla etkileşimli olarak görüntülemesine olanak tanır. Öte yandan ana LogAI kütüphanesi dört farklı katmandan oluşuyor:
O Veri katmanı LogAI, veri yükleyicilerden ve OpenTelemetry tarafından tanımlanan birleşik bir günlük veri modelinden oluşur. Ayrıca ham günlük verilerini standart bir formatta LogRecordObjects’e dönüştürmek için çeşitli veri yükleyiciler sunar.
O Ön işleme katmanı LogAI, ön işlemcileri ve bölümleyicileri kullanarak günlükleri temizler ve bölümlere ayırır. Ön işlemciler varlıkları ayıklayıp kayıtları yapılandırılmamış kayıt satırlarına ve yapılandırılmış kayıt niteliklerine ayırırken, bölümleyiciler kayıtları makine öğrenimi modelleri için olaylar halinde gruplandırır. Belirli açık günlük veri kümeleri için özel ön işlemciler ve bölümleyiciler mevcuttur ve diğer günlük formatlarını destekleyecek şekilde genişletilebilir.
O Bilgi çıkarma katmanı LogAI, günlükleri makine öğrenimi için vektörlere dönüştürür. Dört bileşeni vardır: günlük ayrıştırıcı, günlük vektörleştirici, kategorik kodlayıcı ve özellik çıkarıcı.
O Analiz katmanı birden fazla algoritma için birleşik bir arayüzle analiz görevlerini gerçekleştirmek için modüller içerir.
LogAI, günlük anormallik tespiti için CNN, LSTM ve Transformer gibi derin öğrenme modellerini kullanır ve bunları popüler günlük veri kümeleriyle karşılaştırabilir. Sonuçlar, en iyi performansı sağlayan denetimli çift yönlü LSTM modeliyle, derin loglizörle eşit veya daha iyi performans gösterdiğini gösteriyor.
