ARL-Next

mcp
Guvenlik Denetimi
Uyari
Health Uyari
  • No license — Repository has no license file
  • Description — Repository has a description
  • Active repo — Last push 0 days ago
  • Community trust — 260 GitHub stars
Code Gecti
  • Code scan — Scanned 12 files during light audit, no dangerous patterns found
Permissions Gecti
  • Permissions — No dangerous permissions requested

Bu listing icin henuz AI raporu yok.

SUMMARY

🚀 自动化资产侦察与漏洞监控平台 (ARL-Next)。重构自经典 ARL,全面升级 Puppeteer + Nuclei 引擎,打通「天眼查/ICP ➔ 资产发现 ➔ 漏洞扫描 ➔ 威胁情报追踪」安全闭环。支持 Docker 极简部署,AI 二开友好。

README.md

ARL-Next

AI 原生自动化资产侦察与漏洞监控平台

Docker Python Node.js Vue MCP



💡 什么是 ARL-Next?

ARL-Next 是 ARL (资产侦察灯塔) 的现代化重构版本,现已全面进化为 AI 原生自动化资产侦察与漏洞监控平台。核心亮点包括:

  • 🤖 AI 原生架构 (新!):原生集成 MCP,赋能 AI Agent 直接接管调度与检索,开启“对话式安全运营”。(👉 探索 MCP 玩法与配置指南
  • 🚀 引擎与架构微服务化:淘汰 PhantomJS,全面升级 Chromium 与 Nuclei 引擎;剥离 OSINT 与无头浏览器微服务,指纹识别支持内存缓存,大幅提升扫描性能。
  • 🌐 多维资产闭环:深度集成 ICP 与天眼查,全自动深挖企业网站、APP、小程序等多维度资产。
  • 🛡️ 持续威胁监控:内置 GitHub 最新 CVE 漏洞追踪与代码泄露实时监控,实现威胁情报前置。
  • ⚡ 极致部署运维:支持一键式部署、容器自愈、平滑热更新与 Basic Auth 强制防御;开发环境支持极速热重载。

📸 界面预览

  • 全局仪表盘:实时展示系统资源消耗、后台任务状态、多维风险统计及最新日志流。

    仪表盘

  • OSINT 资产侦察:支持 ICP 与天眼查等情报关联检索,一键同步企业多维资产并无缝下发任务。

    资产侦察

  • 任务与指纹管理:支持任务全生命周期追踪、多维过滤导出、自定义 PoC 组合及全局指纹检索。

    任务新建


    任务管理

  • 威胁情报雷达:支持最新 CVE 漏洞追踪与 GitHub 代码泄露实时监控。

    威胁情报雷达

  • 系统设置:集成 API 热配置、字典云管理、队列并发热扩缩容,及六大告警通道一键测试。

    系统设置


🏗️ 架构设计

ARL-Next 采用前后端解耦的微服务架构,核心模块如下:

  1. 🖥️ 展示层 (Frontend):基于 Vue 3.5 + Vite 5.4 构建,生产环境由 Nginx 托管,提供 HTTPS 安全网关与 Basic Auth 前置防御
  2. ⚙️ 业务 API 层 (Backend):基于 Python 3.8+Flask,处理核心业务逻辑与 JWT 鉴权。
  3. 🤖 AI 扩展层 (MCP Server)(新!) 独立集成 Model Context Protocol 服务,赋能外部 AI 大模型/Agent 直接接入并调度底层检索工具。
  4. 消息与执行层 (Broker & Workers):采用 RabbitMQ + Celery 分布式集群,高效解耦调度 Nuclei 扫描与威胁监控等高并发任务。
  5. 🗄️ 数据存储 (Database):基于 MongoDB,承载千万级大宽表资产数据与漏洞结果落地。
  6. 🧩 扩展微服务群 (Microservices)(新!) 包含 Node.js Puppeteer 渲染容器与 OSINT 情报容器,专职无头渲染与异步信息收集,彻底消除主节点任务阻塞。

🚀 部署指南

生产部署 (公网单VPS一键部署) ⭐ 推荐

适用场景:国内云服务器、企业内网。
基准耗时:裸机从零部署约 13 分钟;自带 Docker 环境仅需 2 分钟

核心优势

  • ⚡ 国内满速:直连阿里云公开镜像,无惧 GitHub 网络阻断。
  • 📦 极简轻量:免环境配置、免 docker login,剔除冗余编译链,镜像减重超 700MB。
  • 🛡️ 极致防护:自动签发 SSL 并强制生成 Basic Auth 前置拦截,核心组件全内网隔离。
  • 🔄 平滑热更:支持从 Web 端一键平滑重启升级,彻底免去 SSH 登录。
  • 🩺 智能就绪检测:内置 API 健康轮询机制,确保服务 100% 启动后即可无缝访问,告别 502 报错。

🚀 部署方式选择

请根据网络环境,选择以下部署方式:

方法一:防阻断一键部署(⭐ 推荐,适用于国内服务器)

国内直连。在一台全新的 Ubuntu/Debian (需 root) 上直接执行,自动完成依赖安装与服务拉起:

apt-get update && apt-get install -y docker.io docker-compose-v2 openssl curl && \
mkdir -p ~/ARL-Next && cd ~/ARL-Next && \
docker pull crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \
docker rm -f arl-temp 2>/dev/null || true && \
docker create --name arl-temp crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \
docker cp arl-temp:/code/start-prod.sh ./ && \
docker cp arl-temp:/code/docker-compose.prod.yml ./ && \
docker cp arl-temp:/code/updater ./ && \
docker cp arl-temp:/code/version.txt ./ && \
docker rm arl-temp && \
chmod +x start-prod.sh && \
bash start-prod.sh

方法二:Github 浅克隆部署(适用于海外服务器 / 需保留源码)

⚠️ 注意:该方法极度依赖服务器对 Github 的网络连通性。如果 git clone 速度缓慢或卡住,国内服务器强烈建议优先使用 方法一(提取脚本极速部署),或手动将源码打包上传至服务器解压运行。

若网络允许直连 Github,可直接浅拉取源码运行(需系统已安装 Docker):

git clone --depth 1 https://github.com/owl234/ARL-Next.git && cd ARL-Next
chmod +x start-prod.sh
bash start-prod.sh

访问 https://<你的服务器IP>:5173 即可登录。

🛡️ 安全登录必读

  1. 首层防御弹窗 (Basic Auth):输入账号 admin / 密码 arl_next
  2. 系统登录面板:输入账号 admin / 密码 arlpass
    (首次自签名证书请忽略浏览器不安全提示)

⚙️ 商业证书替换 (可选):将证书重命名为 arl.crtarl.key 放至 ssl-certs/ 目录,重新执行 start-prod.sh 即可。


开发环境部署 (前端本地 + Docker后端)

  • 👥 适用群体:二次开发与安全研究者。
  • 核心优势:前后端彻底解耦,双端热重载极速生效。
  • ⚙️ 前置条件:本地已安装 Docker 与 Node.js (脚本会自动处理 pnpm 依赖)。

🚀 一键启动

git clone https://github.com/owl234/ARL-Next && cd ARL-Next
bash start-dev.sh # 自动在后台拉起后端 Docker,并在前台启动 Vite 前端服务

访问 http://localhost:5173 开始开发(默认凭据:admin / arlpass)。

💡 开发备注

  • 双端热重载:后端修改本地代码即时生效,前端 Vite 实时热更。
  • API与安全:后端接口暴露于 5001 端口;若需 HTTPS,将证书放至 certs/ 目录。

🛠️ 常用命令

# 查看状态 / 实时日志 / 停止开发环境
docker compose -f docker-compose.dev.yml ps
docker compose -f docker-compose.dev.yml logs -f
docker compose -f docker-compose.dev.yml down

🗄️ 数据库直连 (开发环境专用)

生产环境默认切断底层端口映射。开发时可直连排查:

🍃 MongoDB

🐇 RabbitMQ 消息队列

  • AMQP 端口: 5673
  • Web 后台: http://127.0.0.1:15673 (账号/密码:admin / admin)

📜 版本更新历史

v1.1.6 (当前版本)
  • 架构:Puppeteer 从后台 Worker 中彻底分离为独立的 Node.js HTTP 微服务容器,大幅释放后台调度压力。
  • 性能:重构指纹识别引擎,引入 Aho-Corasick 多模式匹配算法与内存缓存,极速提升 Web 资产扫描效率。
  • 爬虫:优化 URL 去重算法,底层哈希池引入 Set 结构替代 List,将检索复杂度从 O(N²) 降至 O(1),消除大规模爬取时的 CPU 瓶颈。
  • 部署:支持 Github 浅拉取 (Shallow clone) 部署兼容;启动脚本新增 API 动态健康检测,彻底消除早期 502 报错。
  • 修复:修复了任务列表 (Task List) 与资产侦察 (Asset Recon) 数据展示异常及状态同步问题。
v1.1.5
  • 架构:重构 icp_query 为独立 osint_service 微服务,引入纯异步调度,降低主节点负载。
  • 调度:实现轻重任务队列分离 (FOFA 等轻查询独立),并在系统设置中支持精细化并发数配置。
  • 部署:自动分配 2G Swap 解决 OOM 崩溃;多阶段构建缩减镜像体积;新增 Autoheal 容器自愈服务,自动监控并重启假死节点。
  • 安全:热更新服务 (updater.py) 增设内网白名单拦截机制,阻断公网调用;修复 Nginx 与 SSE 跨域限制。
  • 功能:任务列表新增“模糊/精确/数值”条件过滤及组合导出;核心任务层增加站点防重复插入机制。
v1.1.4
  • 修复:补齐策略中缺失的 Host 碰撞配置,确保后台任务能正常联动与下发。
  • 修复:修复全局背景样式,解决长页面滚动时底部可能出现的白边与背景闪烁问题。
  • 部署:全方位重构一键部署与热更新底层健壮性。新增并发防冲突锁、配置文件原子级写入、网络断连自动重试机制;自动清理遗留幽灵容器与磁盘废弃镜像;增加平滑停机时间(60秒)以防产生扫描脏数据;并修复了多项可能导致部署瘫痪的边缘隐患。
  • 构建:升级 GitHub Actions 构建依赖版本。
v1.1.3
  • AI原生:首次引入 MCP (Model Context Protocol) Server,赋能外部 AI 大模型无缝接管资产调度与检索。
  • UI重构:前端样式系统全面解耦重构,新增动态主题色与自定义背景,打造极客专属工作台。
  • 安全:生产环境 Nginx 全面启用 Basic Auth 强制前置拦截,容器启动自动生成强密码凭证,实现极致防护。
  • 功能:新增全局资产指纹细粒度检索功能,支持在全系统中穿透式定位目标站点。
v1.1.2
  • 核心:新增系统一键升级机制,支持平滑热更新。
  • 组件:Nuclei 扫描引擎升级至 v3.11.0。
  • 前端:极致性能优化,修复 Auth 拦截器等验证问题。
v1.1.1
  • 资产:资产范围 (Scope) 扩充,全面支持并严格区分 Domain 与 IP 类型的目标校验与调度。
  • 功能:新增自定义 PoC 源码在线读取、编辑与全可视化创建管理,增强了级联删除逻辑。
  • 功能:新增字典配置模块,提供弱口令字典查询、预览及可视化读写管理。
  • 优化:360 搜索引擎采集逻辑新增反爬熔断保护,追加高价值关键字深度挖掘;生产环境 Nginx 开启 Gzip 压缩。
  • 修复:修复前端详情页高级搜索表单及组件数据联动异常。
v1.1.0
  • 新增:全新引入 GitHub 威胁情报雷达(支持 CVE 漏洞雷达、安全武器库及黑客动态监测)。
  • 新增:完善告警生态,支持 Telegram 机器人推送告警。
  • 重构:前端系统设置与 Github 管理页面结构重构,全面启用 HTTP/2 多路复用,大幅降低前端并发加载延迟。
  • 修复:修复 HTTP 存活检测与站点截图组件在 Docker 下的超时和崩溃 Bug,及仪表盘漏洞趋势无数据的 Bug。
v1.0.9
  • 重构:分离后端 ARL 内部漏洞与 Nuclei 引擎扫描结果的统计逻辑。
  • 交互:Dashboard 漏洞统计卡片 UI 极简重构,支持按漏洞类型与危害等级点击下钻(Drill-down)。
  • 交互:资产查询页面支持接收仪表盘的联动请求,实现页面跳转与高级筛选项的自动填充。
v1.0.8
  • 功能:完善 POC 导入机制,支持批量拖拽上传验证脚本,并提供标准 Python POC 模板下载。
  • 架构:引入 Celery 任务并发热扩缩容机制,修改并发数配置后即时生效,无需重启服务。
  • 重构:重构仪表盘底层查询逻辑,统一基于站点表单库进行海量数据的高效查询。
  • 部署:深度分离开发与生产环境启动脚本,增加 POC 独立数据卷挂载。
  • 优化:优化前端站点截图预览样式防变形,并持续迭代系统内置指纹库。

🤝 致谢

本项目站在巨人的肩膀上,特此鸣谢以下项目与团队:

  • 核心架构:基于原版 ARL 灯塔 重构,并参考了 Aabyss-Team/ARLadysec/ARL 等优秀衍生版。
  • 指纹引擎:感谢 威零安全团队 ( 公众号) 提供的万级高质量指纹数据支撑。
  • 功能模块:企业资产查询深度借鉴了 ICP_Query,威胁监控模块汲取了 github-cve-monitor 的设计思路。

ARL-Next 将秉持开源互助的初心,持续为信息安全社区贡献力量!


💖 赞助与支持

本项目的持续开发与维护离不开社区的支持。感谢以下赞助者为开源生态做出的贡献。如果你觉得本项目对你有帮助,欢迎赞助支持。

Buy Me A Coffee

robotfish-001 phpmac

⚠️ 声明与免责

本工具仅面向合法授权的企业安全建设、SRC 漏洞挖掘及学术研究。使用本工具时,请务必遵守当地法律法规(如《中华人民共和国网络安全法》)及目标平台的测试规范。未经授权的探测属非法行为。

使用者因使用本工具造成的任何直接或间接的法律责任,由使用者自行承担,项目作者及贡献者不负任何连带责任。


💬 问题反馈与交流

  • 反馈建议:如遇 Bug 或有功能建议,欢迎提交 GitHub Issues。
  • 技术交流:欢迎添加个人微信或加入 QQ 群,探讨安全开发与红蓝对抗技术。
  • 获取动态:关注微信公众号【owl安全】,不定期获取安全干货与项目更新提醒!
个人微信 微信公众号 (owl安全) QQ交流群
个人微信 微信公众号 owl安全 QQ交流群

🌟 Star History

⭐ 如果本项目为你的安全工作带来了便利,不妨点个 Star 支持一下!

Yorumlar (0)

Sonuc bulunamadi