一、產品概述
AI 日志審計大模型是一款自主研發、擁有完全自主知識產權的專業日志安全審計產品。該產品依托先進的 AI 技術架構,旨在為各類組織提供高效、精準的日志安全審計服務。
系統采用分層架構設計,自下而上依次為采集層、存儲層、分析層和可視化層。采集層運用智能數據采集算法,實現對網絡環境中安全事件、用戶行為、系統運行、系統狀態、操作系統以及信息系統操作等各類日志信息的全面采集。存儲層借助高性能的數據存儲技術,對采集到的日志數據進行統一的過濾、篩選、格式化和歸一化處理,確保數據的規范性和可用性。分析層運用深度學習和機器學習算法,結合統計分析與關聯分析技術,對日志數據進行深度挖掘,精準識別潛在的安全威脅。可視化層則通過直觀、易懂的可視化界面,將審計結果以圖表、報表等形式呈現給用戶,助力用戶快速做出決策。

二、產品功能
1. 日志采集
AI日志審計系統支持 syslog、snmp、jdbc 等多種數據采集協議,具備高度靈活的解析規則配置能力。基于自然語言處理技術,用戶可通過簡單的文本描述自定義日志解析規則,無需復雜的編程操作。同時,產品提供的日志代理軟件,利用智能適配算法,能夠自動識別并采集常見的 Windows、Linux 系統日志數據,實現多源日志的高效匯聚。
2.日志存儲
AI日志審計系統具備強大的數據存儲能力,可提供超過 TB 級的基礎存儲容量,最大支持擴展至 PB 級。采用自研的高性能全文檢索引擎,結合分布式存儲技術,實現億級數據的秒級查詢響應。該引擎利用向量索引和語義理解技術,能夠快速定位用戶所需的日志數據。產品支持 6 個月以上的數據存儲周期,充分滿足各類組織的合規性存儲要求。
3. 日志檢索
AI日志審計系統以 Elasticsearch 為基礎平臺,結合智能檢索算法,提供多條件組合檢索功能。用戶可通過名稱、時間、級別、IP、內容、來源等多種條件靈活組合進行日志檢索。在億級數據規模下,檢索時間不超過 3 秒。檢索過程中,利用語義理解技術對用戶輸入的檢索條件進行智能解析和優化,提高檢索的準確性和效率。
4. 日志分析
AI日志審計系統利用 Elasticsearch 插件,結合 AI 驅動的數據分析算法,對日志數據進行多維度統計分析。涵蓋事件分析、事件級別分析、事件分類分析、事件 IP 訪問關系分析以及運行狀態分析等多個方面。通過關聯分析引擎,運用深度學習模型進行深度關聯分析,包括聚類分析、規則分析和事件序列化分析,挖掘日志數據中的潛在關聯和異常模式。
5. 安全報表
AI日志審計系統內置豐富的安全報表模板,支持 html、pdf 格式報表生成。借助 AI 生成內容技術,報表能夠自動整合關鍵審計信息,滿足用戶的審計合規需求。產品支持一鍵郵件外發報表功能,并可通過定時任務設置,實現報表的自動生成和發送。
6. 工單系統
AI日志審計系統內置智能工單子系統,實現安全運維工作的流程化管理。用戶可通過工單系統創建、處理、跟蹤和完結各類安全運維任務,包括待處理工單、已處理工單、已完結工單、創建的工單、未完結工單等。工單系統利用工作流自動化技術,優化運維流程,提高工作效率。
7. 異常監控及告警
AI日志審計系統內置異常監控及告警系統,通過實時分析和關聯分析模型,對日志數據進行持續監測。一旦發現異常事件,系統將迅速觸發多種預警方式,包括 WEB 彈窗、郵件、短信、syslog 等,確保用戶能夠及時知曉并處理潛在的安全威脅。
8. 系統管理
AI日志審計系統提供全面的系統管理功能,包括用戶管理、安全性設置和系統運行狀態查看。用戶管理模塊運用身份認證和訪問控制技術,為不同用戶設置精細化的權限,確保用戶在系統中的操作符合其角色和職責。安全性設置涵蓋 IP 訪問限制、密碼策略、登錄鎖定等功能,保障系統的安全性。系統運行狀態模塊實時展示系統的運行狀況和管理員操作記錄,便于系統運維和管理。
三、產品價值
1. 日志集中存儲及管理
AI日志審計產品將大數據技術與 AI 技術深度融合,在本地構建高性能的大數據分析平臺。用戶可將網絡環境下的全量網絡、應用、安全日志等信息集中存儲到本地平臺進行統一管理。提供超過 TB 級最大 PB 的數據存儲能力,支持超過 6 個月的數據存儲周期,滿足用戶長期的數據存儲和管理需求。
2. 快速日志檢索
AI日志審計系統借助高性能的檢索引擎和智能檢索算法,產品能夠在海量日志數據中實現快速檢索。當數據量達到億級規模時,檢索時間不超過 3 秒,為用戶提供高效的數據查詢服務,便于用戶快速定位和分析關鍵日志信息。
3. 異常分析及告警
AI日志審計通過統計分析與關聯分析相結合的方式,利用深度學習模型對所有日志數據進行深度挖掘。采用實時分析與歷史分析雙軌機制,精準識別可疑攻擊、違規行為和安全風險。一旦發現異常,及時向用戶發出告警,幫助用戶快速響應和處理安全事件。
4. 安全運維工作落地
AI日志審計產品通過工單系統將安全運維工作流程化,實現對安全事件的全生命周期管理,包括監控、分析、處置和報告等環節。幫助企業建立完善的安全管理閉環,提高安全運維工作的效率和質量,確保企業信息系統的安全穩定運行。
四、關鍵技術
1. 多源異構日志采集
AI日志審計系統基于 Flume 思想進行創新設計,構建靈活的解析規則模式。運用自然語言處理和機器學習技術,實現對不同數據源、不同格式日志的自動識別和集中采集。采集模塊的核心 agent 支持單級、多級部署方式,具備扇入、扇出功能,可實現高效的數據采集和分發,無需二次開發,降低用戶使用門檻。
2. 基于搜索引擎技術的檢索與存儲
AI日志審計系統以 ElasticSearch 搜索引擎為基礎,進行深度定制化開發。優化搜索引擎的索引算法和查詢性能,引入向量檢索和語義理解技術,實現對日志數據的快速檢索和精準分析。結合分布式存儲技術,確保數據的高可用性和擴展性。
3. 統計分析與關聯分析相結合
AI日志審計系統融合統計分析模型和關聯分析模型,通過對日志數據的多維度統計和深度關聯挖掘,精準定位異常事件。利用機器學習算法對統計和關聯分析結果進行智能分析和預測,提高異常檢測的準確性和及時性。
4. 實時分析與歷史分析相結合
AI日志審計系統支持實時分析和歷史分析兩種模式,通過建立實時數據處理流和歷史數據倉庫,對日志數據進行全方位監測和分析。實時分析用于及時發現當前的安全威脅,歷史分析則用于挖掘長期的安全趨勢和潛在風險,兩者結合,實現對安全問題的全面把控。