mirror of
https://github.com/shadow1ng/fscan.git
synced 2026-09-22 03:10:42 +08:00
* feat: v2.1.0 核心重构与功能增强
## 架构重构
- 全局变量消除,迁移至 Config/State 对象
- SMB 插件融合(smb/smb2/smbghost/smbinfo)
- 服务探测重构,实现 Nmap 风格 fallback 机制
- 输出系统重构,TXT 实时刷盘 + 双写机制
- i18n 框架升级至 go-i18n
## 性能优化
- 正则表达式预编译
- 内存优化 map[string]struct{}
- 并发指纹匹配
- SOCKS5 连接复用
- 滑动窗口调度 + 自适应线程池
## 新功能
- Web 管理界面
- 多格式 POC 适配(xray/afrog)
- 增强指纹库(3139条)
- Favicon hash 指纹识别
- 插件选择性编译(Build Tags)
- fscan-lab 靶场环境
- 默认端口扩展(62→133)
## 构建系统
- 添加 no_local tag 支持排除本地插件
- 多版本构建:fscan/fscan-nolocal/fscan-web
- CI 添加 snapshot 模式支持仅测试构建
## Bug 修复
- 修复 120+ 个问题,包括 RDP panic、批量扫描漏报、
JSON 输出格式、Redis 检测、Context 超时等
## 测试增强
- 单元测试覆盖率 74-100%
- 并发安全测试
- 集成测试(Web/端口/服务/SSH/ICMP)
* fix(ci): 移除 PR 对 Project 自动化的触发
* fix: Elasticsearch未授权检测优先于爆破 (#554)
* fix: 修复RDP爆破高误报率问题 (#555)
- 移除 screen.go 中错误的认证结果覆盖逻辑
- 启用 NLA 协议的 ErrorCode 字段检测
- 添加 PubKeyAuth 验证确保认证真正成功
- 修复 io.go 中错误被静默忽略的问题
- 修复 socket.go/io.go 中可能导致 panic 的代码
- 修复 screen.go 中文件句柄泄漏和 log.Panic
* fix: 修复-user/-pwd凭据参数不生效的问题
问题原因:
- Parse()解析凭据后更新globalConfig
- 但BuildConfigFromFlags()创建新Config时使用默认字典
- 导致解析的UserPassPairs等凭据信息被丢弃
修复内容:
1. initialize.go: 将Parse解析的凭据结果应用到新Config
2. credential.go: 单用户密码对时创建UserPassPairs
3. rdp.go: 单凭据测试时跳过指纹识别,减少连接次数
* feat: RDP使用NLA仅验证模式,避免挤掉已登录用户
- 添加ErrNLAAuthSuccess标志用于NLA验证成功信号
- tpkt层支持nlaAuthOnly模式,验证成功后不建立完整会话
- x224层正确传播NLA验证结果
- rdpCrack改用NlaAuth进行凭据验证
* fix: 修复进度条在Windows终端满屏重复输出的问题
- 添加终端宽度检测,动态调整进度条长度
- 使用空格覆盖清除旧内容,避免残留
- 简化进度条格式,确保不超过终端宽度
* feat: 优化日志颜色方案,区分漏洞和普通信息
- 新增 LogVuln 级别(红色),用于漏洞和重要发现
- 密码爆破成功、未授权访问、POC漏洞等改用红色显示
- 普通信息(扫描统计等)改为白色
- Web指纹保持绿色
* refactor: 精简化输出,移除冗余启动信息
- 移除showParseSummary开局配置输出
- 移除LogPluginInfo/LogPluginInfoWithPort插件信息输出
- 移除alive_scanner冗余统计输出
- 移除port_scan_start扫描开始提示
- 移除handleUDPPorts SNMP死代码
- 移除相关i18n条目
* chore: 版本号更新为2.1.1
* fix: 降级依赖版本以保持Go 1.20兼容性
* feat(ldap): 添加NTLM Hash认证支持 (#433)
* chore: 清理无用的 replace 指令
* fix(ping): 修复 TTL expired 导致主机误判为存活的问题
在 ExecCommandPing 中增加错误关键词检测,当 ping 输出包含
TTL expired、Destination unreachable 等错误信息时,不再将
目标主机标记为存活。
Fixes #454
* fix(proxy): 修复透明代理导致输出全端口的问题
在代理初始化时主动探测代理行为,通过连接 RFC 5737 保留的
测试地址来检测是否存在"全回显"问题。如果探测到代理不可靠,
则在端口扫描时跳过所有端口,避免误报。
- 新增 proxyReliable 标志位标记代理可靠性
- 新增 ProbeProxyBehavior 函数探测代理行为
- 端口扫描前检查代理可靠性并输出警告
Fixes #495
* refactor: 移动debug模块到common/debug子包
* fix(web): 修复-u模式下Web插件未执行的问题
* fix: 优化输出格式和颜色显示
- 网段统计格式改为 10.253.0.0/16 网段存活: 26
- WebTitle基础信息改为白色,指纹识别单独绿色输出
- 移除重复的端口数量输出
* fix: URL解析自动补全协议头
-uf 文件中 192.168.1.1:8080 自动转为 http://192.168.1.1:8080
* fix: 修复-u/-uf模式下URLs丢失导致0目标扫描的问题
Parse阶段将URLs设置到全局状态,但Initialize随后创建新状态
并覆盖了全局状态,导致URLs数据丢失。现在在创建新状态前
先保存并迁移Parse阶段设置的URLs和HostPorts数据。
* fix: 智能检测HTTP/HTTPS协议并优化URL显示
- 修复-u/-uf模式URLs丢失导致0目标扫描问题
- detectProtocol改为主动TLS握手检测,不依赖服务名
- WebTitle输出显示完整协议(http/https)
- 隐藏标准端口(80/443)使输出更简洁
* refactor: 精简parsers包,统一配置构建入口
- 删除冗余的中间层(XXXInput、XXXParser类)
- 新增 config_builder.go 统一配置构建
- parsers包从3000+行精简至~540行
- 保留核心函数:ParseIP、ParsePort、文件读取、凭据解析
* test: 扩展parsers单元测试覆盖边缘情况
- 新增内网简写解析测试(192/172/10)
- 新增完整IP范围和无效CIDR测试
- 新增Windows行尾(CRLF)处理测试
- 新增凭据和哈希文件解析测试
- 新增端口解析边缘情况测试
- 测试覆盖率达到94.2%
* refactor: 优化控制台输出格式
- 去掉时间戳,保留[*][+]前缀
- Web输出合并WebTitle和WebFinger为一行
- 有指纹显示绿色[+],无指纹显示白色[*]
- 格式: code:xxx len:xxx title:xxx server:xxx [指纹]
- 服务探测格式: [Product:xxx ||Version:xxx] Banner:(xxx)
- 字段对齐,输出更清爽
* feat: 添加凭据测试未发现弱密码的提示
- credential_tester.go: 失败时设置 Type=ResultTypeCredential
- scanner.go: 根据结果类型在 error 级别输出'未发现弱密码'提示
- 新增 i18n 翻译 brute_no_weak_pass
使用 -log all 或 -log error 可看到此提示
* refactor(logging): 重构日志级别为层级过滤设计
- LogLevel 从 string 改为 int 类型,支持层级比较
- 层级设计:Debug(0) < Base(1) < Info(2) < Success(3) < Vuln(4) < Error(5)
- 设置一个级别后,显示该级别及以上的日志
- Error 级别始终显示,不会被配置过滤掉
- 保留向后兼容别名(LevelAll, LevelInfoSuccess 等)
- 更新测试以匹配新的层级过滤行为
* style(logging): Error级别日志改为黄色显示
* style(findnet): NetInfo输出改为每行一个IP
* refactor(ms17010): 优化错误提示,明确指出SMBv1不支持等情况
* fix(credential): 修复凭据测试结果不一致的问题
问题原因:
1. 未知错误类型不重试,导致服务端限流时跳过正确密码
2. SSH 错误分类不够准确,某些临时错误未被识别
修复内容:
1. 未知错误改为可重试(可能是临时问题)
2. 增加 SSH 特有的网络错误识别(handshake failed, disconnect 等)
* fix(portfinger): 修复SMB2服务指纹识别和NetInfo输出问题
- 添加SMB2ProgNeg探针支持现代Windows的SMB2协议
- 修复Go regexp对高位字节的UTF-8兼容问题,使用Latin-1转换
- 修复探针失败后连接重建逻辑
- 修复vendor_product字段名不匹配问题
- 修复NetInfo多行输出被其他日志打断的问题
* fix(config): 从默认端口移除9100,避免触发打印机打印 (#517)
* feat(proxy): 增强代理端口扫描的深度验证机制
- 新增4阶段深度验证:Banner读取→探测发送→响应等待→最终判定
- 新增SOCKS5错误码和代理错误文本检测
- 优化ProbeProxyBehavior探测逻辑,发送数据验证连接可达性
- 解决透明代理/全回显代理导致的假阳性问题
* fix(proxy): 修复代理深度验证的若干问题
- detector.go: 修复 AutoConfigureProxy 覆盖探测结果的问题
只有未探测过时才设置默认 proxyReliable 值
- port_scan.go: 改进深度验证机制
- 使用带 Host header 的 HTTP GET 请求替代 OPTIONS
- 延长响应等待超时至 2s 以适配慢速服务器
- 正确重置连接 deadline 避免影响后续操作
* refactor: 统一 common 包文件命名风格
Flag.go -> flag.go
* refactor(proxy): 删除自定义 contains() 函数,改用标准库
- 用 strings.Contains() 替代手写的 contains()
- 删除过时的注释
* fix(parsers): 修复带横杠域名被误识别为IP范围的问题
如 111-555.sss.com 这类域名因包含 - 被错误解析为 IP 范围,
添加 looksLikeIPRange() 检查,只有 - 前是有效 IP 才走范围解析
* fix(proxy): 修复代理模式下服务识别错误和端口漏扫问题
- port_scan.go: 验证通过后重建干净连接,避免HTTP GET探测污染服务识别
- port_scan.go: 优化验证策略,用轻量CRLF探测替代HTTP GET,超时从2.2s降至0.6s
- manager.go: 修正ProbeProxyBehavior判断逻辑,超时应视为代理正常转发
* fix(pool): 移除线程池预分配,优化大规模扫描内存占用
WithPreAlloc(true) 会预先创建所有 worker goroutine,
在大规模扫描(如 25域名×65535端口)时可能导致内存问题
* refactor(logging): 统一日志前缀,删除废弃的 LogBase
- 删除 LogBase 函数,所有调用迁移到 LogInfo/LogError
- 新增 PrefixDebug ([.]) 前缀,所有日志级别现在都有前缀
- 修复日志输出缩进不一致的问题
- 删除未使用的 PrefixDefault 常量
* perf(icmp): 实现自适应等待算法优化存活检测性能
- 新增 waitAdaptive 函数,监控响应增量实现智能提前结束
- 算法保守原则:最小等待1s + 连续500ms无新响应才提前结束
- 添加100ms检查间隔避免CPU空转
- 保留原有最大等待时间(3s/6s)作为兜底
- 添加完整单元测试覆盖各种场景
优化效果:
- 全部响应:~100ms (原3s)
- 无响应:~1s (原3s)
- 部分响应后稳定:~1.5s (原3s)
* perf(scan): 实现启发式优化提升扫描体验
1. 端口优先级排序:高价值端口(80,443,22,3389等)优先扫描
- 用户能更快看到有意义的结果
- 不影响端口喷洒策略
2. TCP 补充探测:ICMP 响应率<10%时自动启用
- 对未响应主机用 TCP 80/443/22/445 补充探测
- 解决防火墙过滤 ICMP 导致漏检的问题
* refactor(grdp): 精简RDP库,删除认证检测不需要的代码
- 删除 VNC 协议支持 (protocol/rfb, client/rfb.go)
- 删除完整客户端框架 (client/)
- 删除 RemoteApp 等插件 (plugin/)
- 删除 RLE 图形解压 (core/rle.go)
- 删除绘图指令处理 (pdu/orders.go, pdu/gdi.go)
- 精简 screen.go,移除截图和完整会话功能
- 移除未使用的 RGB 转换函数
grdp 代码从 13,044 行精简至 7,581 行,削减 42%
* refactor(common): 删除死代码,优化代码风格
- 删除未使用的 joinStrings/joinInts 函数
- 删除未使用的 memStats 字段和 getMemoryInfo 方法
- 简化 parsePasswords 中的循环为 append(...) 形式
* refactor(services): 统一数据库插件的DBWrapper
4个数据库插件(MySQL、PostgreSQL、MSSQL、Oracle)都有相同的sql.DB包装代码,
合并为通用的SQLDBWrapper,减少重复。
* refactor(core,grdp): 删除未使用的死代码
- 移除 BaseScanStrategy.LogPluginInfoWithPort 方法(无调用者)
- 移除 mcs.go 中被注释的旧 connect 函数实现
* refactor: 删除 deadcode 检测出的未使用函数
- proxy/detector.go: 删除 IsSOCKS5Standard, IsProxyInitialized
- findnet.go: 删除 NetworkInfo.OneLine, TreeFormat 方法
- port_scan.go: 删除 estimateScanTime 函数
- web_scanner.go: 删除 GetFingerprints 函数
- 清理相关测试代码
* refactor: 删除更多未使用的死代码
- parse.go: 删除 RemoveDuplicate 函数及其测试
- parsers.go: 删除 excludeHosts, removeDuplicates 别名函数
- 更新测试使用真正的函数名
* fix(test): 修复 TestParseIP_InvalidIPRange 测试用例
- 删除不合理的测试用例(无效IP被当作普通主机名处理是设计行为)
- 修复测试逻辑,只在真正通过时输出"正确"
* fix(scan): 移除域名预解析,保留原始域名进行扫描
域名预解析会将域名转换为IP,导致虚拟主机场景下HTTP访问失败
(Host头变成IP而非域名,无法正确路由)
* fix(scan): 修复 -hf 参数无法单独使用的问题
* fix(proxy): 修复透明代理环境下 SOCKS5 代理全端口误报问题
问题:在透明代理(TUN模式)环境下使用 SOCKS5 代理扫描时,
会出现全端口开放的误报,因为代理可靠性检测被透明代理污染。
修复方案(参考 fscanx):
1. 将探针从 CRLF 改为 HTTP GET,更有效检测真实连接状态
2. 删除 "uncertain" 状态,无响应一律判定为端口关闭
3. 调整超时时间以适应代理链路延迟
Fixes #524
* feat(telnet): 新增 telnetd RCE 命令执行验证,修复未授权访问日志级别
* fix: 修复 i18n.Tr vet 报错、Unicode 测试用例,移除过期域名
- 移除 i18n.Tr 中错误的 fmt.Sprintf fallback,消除 go vet 误报
- 修复 match_engine_test Unicode 测试用例与 Latin-1 转换逻辑不匹配
- README 移除过期的 fscan.club 域名
- 添加 .gitattributes 统一换行符为 LF
* refactor: 统一控制台输出风格,使用统一的日志函数
手动合并 PR #558 的改动,适配重构后的代码路径
* fix(ci): 修复版本注入和CI触发配置
- goreleaser ldflags 指向正确的包路径 common.version/commit/date
- version 改为 var 支持 ldflags 注入,banner 显示 commit 和构建日期
- test-build 触发分支增加 dev-* 通配
* fix(ci): 修复 Windows 产物 .exe.exe 双后缀问题
* feat(ci): 扩展构建架构支持 MIPS/ARM/FreeBSD/Solaris
896 lines
24 KiB
Go
896 lines
24 KiB
Go
package lib
|
|
|
|
import (
|
|
"crypto/md5" //nolint:gosec // G501: MD5用于POC规则去重,非加密用途
|
|
"fmt"
|
|
"math/rand" //nolint:gosec // G404: math/rand用于生成测试数据,非加密用途
|
|
"net/http"
|
|
"net/url"
|
|
"regexp"
|
|
"strings"
|
|
"sync"
|
|
"time"
|
|
|
|
"github.com/google/cel-go/cel"
|
|
"github.com/shadow1ng/fscan/common"
|
|
"github.com/shadow1ng/fscan/common/i18n"
|
|
"github.com/shadow1ng/fscan/common/output"
|
|
"github.com/shadow1ng/fscan/webscan/fingerprint"
|
|
exprpb "google.golang.org/genproto/googleapis/api/expr/v1alpha1"
|
|
)
|
|
|
|
// API配置常量
|
|
const (
|
|
ceyeAPI = "a78a1cb49d91fe09e01876078d1868b2" // Ceye平台的API密钥
|
|
ceyeDomain = "7wtusr.ceye.io" // Ceye平台的域名
|
|
)
|
|
|
|
// Task 定义单个POC检测任务的结构体
|
|
type Task struct {
|
|
Req *http.Request // HTTP请求对象
|
|
Poc *Poc // POC检测脚本
|
|
}
|
|
|
|
// VulnResult 漏洞结果结构体
|
|
type VulnResult struct {
|
|
Poc *Poc // POC脚本
|
|
VulName string // 漏洞名称
|
|
Target string // 目标URL
|
|
Details map[string]interface{} // 详细信息
|
|
}
|
|
|
|
// POCContext POC执行上下文配置
|
|
// 显式传递配置
|
|
type POCContext struct {
|
|
DNSLog bool // 是否启用DNSLog检测
|
|
POCFull bool // 是否完整POC扫描
|
|
}
|
|
|
|
// CheckMultiPoc 并发执行多个POC检测
|
|
// 参数说明:
|
|
// - req: HTTP请求对象
|
|
// - pocs: POC检测脚本列表
|
|
// - workers: 并发工作协程数量
|
|
// - pocCtx: POC执行上下文配置
|
|
func CheckMultiPoc(req *http.Request, pocs []*Poc, workers int, pocCtx *POCContext) {
|
|
// 确保至少有一个工作协程
|
|
if workers <= 0 {
|
|
workers = 1
|
|
}
|
|
|
|
// 创建任务通道,缓冲区大小为POC列表长度
|
|
tasks := make(chan Task, len(pocs))
|
|
var wg sync.WaitGroup
|
|
|
|
// 启动指定数量的工作协程池
|
|
for i := 0; i < workers; i++ {
|
|
wg.Add(1)
|
|
go func() {
|
|
defer wg.Done()
|
|
// 从任务通道循环获取任务
|
|
for task := range tasks {
|
|
// 执行POC检测,返回是否存在漏洞、错误信息和漏洞名称
|
|
isVulnerable, vulName, err := executePoc(task.Req, task.Poc, pocCtx)
|
|
|
|
// 处理执行过程中的错误
|
|
if err != nil {
|
|
common.LogError(i18n.Tr("webscan_poc_exec_error", task.Poc.Name, err))
|
|
continue
|
|
}
|
|
|
|
// 仅当通过普通POC规则(非clusterpoc)检测到漏洞时,才创建结果
|
|
// 因为clusterpoc已在内部处理了漏洞输出
|
|
if isVulnerable && vulName != "" {
|
|
// 构造漏洞详细信息
|
|
details := make(map[string]interface{})
|
|
details["vulnerability_type"] = task.Poc.Name
|
|
details["vulnerability_name"] = vulName
|
|
|
|
// 添加作者信息(如果有)
|
|
if task.Poc.Detail.Author != "" {
|
|
details["author"] = task.Poc.Detail.Author
|
|
}
|
|
|
|
// 添加参考链接(如果有)
|
|
if len(task.Poc.Detail.Links) != 0 {
|
|
details["references"] = task.Poc.Detail.Links
|
|
}
|
|
|
|
// 添加漏洞描述(如果有)
|
|
if task.Poc.Detail.Description != "" {
|
|
details["description"] = task.Poc.Detail.Description
|
|
}
|
|
|
|
// 创建并保存扫描结果
|
|
result := &output.ScanResult{
|
|
Time: time.Now(),
|
|
Type: output.TypeVuln,
|
|
Target: task.Req.URL.String(),
|
|
Status: "vulnerable",
|
|
Details: details,
|
|
}
|
|
_ = common.SaveResult(result)
|
|
|
|
// 构造控制台输出的日志信息
|
|
logMsg := fmt.Sprintf("目标: %s\n 漏洞类型: %s\n 漏洞名称: %s\n 详细信息:",
|
|
task.Req.URL,
|
|
task.Poc.Name,
|
|
vulName)
|
|
|
|
// 添加作者信息到日志
|
|
if task.Poc.Detail.Author != "" {
|
|
logMsg += "\n\t作者:" + task.Poc.Detail.Author
|
|
}
|
|
|
|
// 添加参考链接到日志
|
|
if len(task.Poc.Detail.Links) != 0 {
|
|
logMsg += "\n\t参考链接:" + strings.Join(task.Poc.Detail.Links, "\n")
|
|
}
|
|
|
|
// 添加描述信息到日志
|
|
if task.Poc.Detail.Description != "" {
|
|
logMsg += "\n\t描述:" + task.Poc.Detail.Description
|
|
}
|
|
|
|
// 输出成功日志
|
|
common.LogVuln(logMsg)
|
|
}
|
|
}
|
|
}()
|
|
}
|
|
|
|
// 分发所有POC任务到通道
|
|
for _, poc := range pocs {
|
|
tasks <- Task{
|
|
Req: req,
|
|
Poc: poc,
|
|
}
|
|
}
|
|
|
|
// 关闭任务通道
|
|
close(tasks)
|
|
|
|
// 等待所有POC检测任务完成
|
|
wg.Wait()
|
|
}
|
|
|
|
// collectVarDeclarations 收集POC的变量声明
|
|
func collectVarDeclarations(p *Poc) []*exprpb.Decl {
|
|
var decls []*exprpb.Decl
|
|
|
|
// 收集 Set 中的变量声明
|
|
for _, item := range p.Set {
|
|
decls = append(decls, MakeVarDecl(item.Key, item.Value))
|
|
}
|
|
|
|
// 收集 Sets 中的变量声明
|
|
for _, item := range p.Sets {
|
|
value := ""
|
|
if len(item.Value) > 0 {
|
|
value = item.Value[0]
|
|
}
|
|
decls = append(decls, MakeVarDecl(item.Key, value))
|
|
}
|
|
|
|
return decls
|
|
}
|
|
|
|
// executePoc 执行单个POC检测
|
|
func executePoc(oReq *http.Request, p *Poc, pocCtx *POCContext) (bool, string, error) {
|
|
// 收集POC变量声明
|
|
varDecls := collectVarDeclarations(p)
|
|
|
|
// 从基础环境扩展(复用缓存的基础环境,仅添加变量声明)
|
|
env, err := ExtendEnvWithVars(varDecls)
|
|
if err != nil {
|
|
return false, "", fmt.Errorf("执行环境错误 %s: %w", p.Name, err)
|
|
}
|
|
|
|
// 解析请求
|
|
req, err := ParseRequest(oReq)
|
|
if err != nil {
|
|
return false, "", fmt.Errorf("请求解析错误 %s: %w", p.Name, err)
|
|
}
|
|
|
|
// 初始化变量映射
|
|
variableMap := make(map[string]interface{})
|
|
defer func() { variableMap = nil }()
|
|
variableMap["request"] = req
|
|
|
|
// 处理设置项
|
|
for _, item := range p.Set {
|
|
key, expression := item.Key, item.Value
|
|
if expression == "newReverse()" {
|
|
if !pocCtx.DNSLog {
|
|
return false, "", nil
|
|
}
|
|
variableMap[key] = newReverse(pocCtx.DNSLog)
|
|
continue
|
|
}
|
|
if _, err = evalset(env, variableMap, key, expression); err != nil {
|
|
common.LogError(i18n.Tr("webscan_set_exec_error", p.Name, err))
|
|
}
|
|
}
|
|
|
|
// 处理爆破模式
|
|
if len(p.Sets) > 0 {
|
|
success, err := clusterpoc(oReq, p, variableMap, req, env, pocCtx)
|
|
return success, "", err
|
|
}
|
|
|
|
return executeRules(oReq, p, variableMap, req, env)
|
|
}
|
|
|
|
// executeRules 执行POC规则并返回结果
|
|
func executeRules(oReq *http.Request, p *Poc, variableMap map[string]interface{}, req *Request, env *cel.Env) (bool, string, error) {
|
|
// 处理单个规则的函数
|
|
executeRule := func(rule Rules) (bool, error) {
|
|
Headers := cloneMap(rule.Headers)
|
|
|
|
// 替换变量
|
|
for varName, varValue := range variableMap {
|
|
if _, isMap := varValue.(map[string]string); isMap {
|
|
continue
|
|
}
|
|
strValue := fmt.Sprintf("%v", varValue)
|
|
|
|
// 替换Header中的变量
|
|
for headerKey, headerValue := range Headers {
|
|
Headers[headerKey] = strings.ReplaceAll(headerValue, "{{"+varName+"}}", strValue)
|
|
}
|
|
|
|
// 替换Path和Body中的变量
|
|
rule.Path = strings.ReplaceAll(rule.Path, "{{"+varName+"}}", strValue)
|
|
rule.Body = strings.ReplaceAll(rule.Body, "{{"+varName+"}}", strValue)
|
|
}
|
|
|
|
// 构建请求路径
|
|
if oReq.URL.Path != "" && oReq.URL.Path != "/" {
|
|
req.URL.Path = fmt.Sprint(oReq.URL.Path, rule.Path)
|
|
} else {
|
|
req.URL.Path = rule.Path
|
|
}
|
|
req.URL.Path = strings.ReplaceAll(req.URL.Path, " ", "%20")
|
|
|
|
// 创建新请求(传递原始请求的Context以支持超时控制)
|
|
newRequest, err := http.NewRequestWithContext(
|
|
oReq.Context(),
|
|
rule.Method,
|
|
fmt.Sprintf("%s://%s%s", req.URL.Scheme, req.URL.Host, req.URL.Path),
|
|
strings.NewReader(rule.Body),
|
|
)
|
|
if err != nil {
|
|
return false, fmt.Errorf("请求创建错误: %w", err)
|
|
}
|
|
|
|
// 设置请求头
|
|
newRequest.Header = oReq.Header.Clone()
|
|
for k, v := range Headers {
|
|
newRequest.Header.Set(k, v)
|
|
}
|
|
_ = Headers // 清空Headers
|
|
|
|
// 发送请求
|
|
resp, err := DoRequest(newRequest, rule.FollowRedirects)
|
|
newRequest = nil
|
|
if err != nil {
|
|
return false, err
|
|
}
|
|
|
|
variableMap["response"] = resp
|
|
|
|
// 执行搜索规则
|
|
if rule.Search != "" {
|
|
result := doSearch(rule.Search, GetHeader(resp.Headers)+string(resp.Body))
|
|
if len(result) == 0 {
|
|
return false, nil
|
|
}
|
|
for k, v := range result {
|
|
variableMap[k] = v
|
|
}
|
|
}
|
|
|
|
// 执行表达式
|
|
out, err := Evaluate(env, rule.Expression, variableMap)
|
|
if err != nil {
|
|
return false, err
|
|
}
|
|
|
|
if flag, ok := out.Value().(bool); ok {
|
|
return flag, nil
|
|
}
|
|
return false, nil
|
|
}
|
|
|
|
// 处理规则组的函数
|
|
executeRuleSet := func(rules []Rules) bool {
|
|
for _, rule := range rules {
|
|
flag, err := executeRule(rule)
|
|
if err != nil || !flag {
|
|
return false
|
|
}
|
|
}
|
|
return true
|
|
}
|
|
|
|
// 执行检测规则
|
|
success := false
|
|
if len(p.Rules) > 0 {
|
|
success = executeRuleSet(p.Rules)
|
|
return success, "", nil
|
|
}
|
|
for _, item := range p.Groups {
|
|
name, rules := item.Key, item.Value
|
|
if success = executeRuleSet(rules); success {
|
|
return true, name, nil
|
|
}
|
|
}
|
|
|
|
return false, "", nil
|
|
}
|
|
|
|
// doSearch 在响应体中执行正则匹配并提取命名捕获组
|
|
func doSearch(re string, body string) map[string]string {
|
|
// 编译正则表达式
|
|
r, err := regexp.Compile(re)
|
|
// 正则表达式编译
|
|
if err != nil {
|
|
common.LogError(i18n.Tr("webscan_regex_compile_error", err))
|
|
return nil
|
|
}
|
|
|
|
// 执行正则匹配
|
|
result := r.FindStringSubmatch(body)
|
|
names := r.SubexpNames()
|
|
|
|
// 处理匹配结果
|
|
if len(result) > 1 && len(names) > 1 {
|
|
paramsMap := make(map[string]string)
|
|
for i, name := range names {
|
|
if i > 0 && i <= len(result) {
|
|
// 特殊处理Cookie头
|
|
if strings.HasPrefix(re, "Set-Cookie:") && strings.Contains(name, "cookie") {
|
|
paramsMap[name] = optimizeCookies(result[i])
|
|
} else {
|
|
paramsMap[name] = result[i]
|
|
}
|
|
}
|
|
}
|
|
return paramsMap
|
|
}
|
|
return nil
|
|
}
|
|
|
|
// optimizeCookies 优化Cookie字符串,移除不必要的属性
|
|
func optimizeCookies(rawCookie string) string {
|
|
var output strings.Builder
|
|
|
|
// 解析Cookie键值对
|
|
pairs := strings.Split(rawCookie, "; ")
|
|
for _, pair := range pairs {
|
|
nameVal := strings.SplitN(pair, "=", 2)
|
|
if len(nameVal) < 2 {
|
|
continue
|
|
}
|
|
|
|
// 跳过Cookie属性
|
|
switch strings.ToLower(nameVal[0]) {
|
|
case "expires", "max-age", "path", "domain",
|
|
"version", "comment", "secure", "samesite", "httponly":
|
|
continue
|
|
}
|
|
|
|
// 构建Cookie键值对
|
|
if output.Len() > 0 {
|
|
output.WriteString("; ")
|
|
}
|
|
output.WriteString(nameVal[0])
|
|
output.WriteString("=")
|
|
output.WriteString(strings.Join(nameVal[1:], "="))
|
|
}
|
|
|
|
return output.String()
|
|
}
|
|
|
|
// newReverse 创建新的反连检测对象
|
|
// dnsLog参数:显式传入配置
|
|
func newReverse(dnsLog bool) *Reverse {
|
|
// 检查DNS日志功能是否启用
|
|
if !dnsLog {
|
|
return &Reverse{}
|
|
}
|
|
|
|
// 生成随机子域名
|
|
const (
|
|
letters = "1234567890abcdefghijklmnopqrstuvwxyz"
|
|
subdomainLength = 8
|
|
)
|
|
//nolint:gosec,govet // G404: 用于生成测试子域名,非加密用途; shadow: 局部randSource不影响全局
|
|
randSource := rand.New(rand.NewSource(time.Now().UnixNano()))
|
|
subdomain := RandomStr(randSource, letters, subdomainLength)
|
|
|
|
// 构建URL
|
|
urlStr := fmt.Sprintf("http://%s.%s", subdomain, ceyeDomain)
|
|
u, err := url.Parse(urlStr)
|
|
// 解析反连URL
|
|
if err != nil {
|
|
common.LogError(i18n.Tr("webscan_reverse_url_error", err))
|
|
return &Reverse{}
|
|
}
|
|
|
|
// 返回反连检测配置
|
|
return &Reverse{
|
|
URL: urlStr,
|
|
Domain: u.Hostname(),
|
|
Ip: u.Host,
|
|
IsDomainNameServer: false,
|
|
}
|
|
}
|
|
|
|
// clusterpoc 执行集群POC检测,支持批量参数组合测试
|
|
func clusterpoc(oReq *http.Request, p *Poc, variableMap map[string]interface{}, req *Request, env *cel.Env, pocCtx *POCContext) (success bool, err error) {
|
|
var strMap StrMap // 存储成功的参数组合
|
|
var shiroKeyCount int // shiro key测试计数
|
|
|
|
// 遍历POC规则
|
|
for ruleIndex, rule := range p.Rules {
|
|
// 检查是否需要进行参数Fuzz测试
|
|
if !isFuzz(rule, p.Sets) {
|
|
// 不需要Fuzz,直接发送请求
|
|
success, err = clustersend(oReq, variableMap, req, env, rule)
|
|
if err != nil {
|
|
return false, err
|
|
}
|
|
if !success {
|
|
return false, err
|
|
}
|
|
continue
|
|
}
|
|
|
|
// 生成参数组合
|
|
setsMap := Combo(p.Sets)
|
|
ruleHash := make(map[string]struct{}) // 用于去重的规则哈希表
|
|
|
|
// 遍历参数组合
|
|
paramLoop:
|
|
for comboIndex, paramCombo := range setsMap {
|
|
// Shiro Key测试特殊处理:默认只测试10个key
|
|
if p.Name == "poc-yaml-shiro-key" && !pocCtx.POCFull && comboIndex >= 10 {
|
|
if paramCombo[1] == "cbc" {
|
|
continue
|
|
}
|
|
if shiroKeyCount == 0 {
|
|
shiroKeyCount = comboIndex
|
|
}
|
|
if comboIndex-shiroKeyCount >= 10 {
|
|
break
|
|
}
|
|
}
|
|
|
|
// 克隆规则以避免相互影响
|
|
currentRule := cloneRules(rule)
|
|
var hasReplacement bool
|
|
var currentParams StrMap
|
|
payloads := make(map[string]interface{})
|
|
var payloadExpr string
|
|
|
|
// 计算所有参数的实际值
|
|
for i, set := range p.Sets {
|
|
key, expr := set.Key, paramCombo[i]
|
|
if key == "payload" {
|
|
payloadExpr = expr
|
|
}
|
|
output, _ := evalset1(env, variableMap, key, expr)
|
|
payloads[key] = output
|
|
}
|
|
|
|
// 替换规则中的参数(使用提取的函数)
|
|
hasReplacement, currentParams = applyParametersToRule(¤tRule, p.Sets, payloads, variableMap, payloadExpr)
|
|
|
|
// 如果没有参数被替换,跳过当前组合
|
|
if !hasReplacement {
|
|
continue
|
|
}
|
|
|
|
// 规则去重
|
|
ruleMD5 := getRuleHash(¤tRule)
|
|
if _, exists := ruleHash[ruleMD5]; exists {
|
|
continue
|
|
}
|
|
ruleHash[ruleMD5] = struct{}{}
|
|
|
|
// 发送请求并处理结果
|
|
success, err = clustersend(oReq, variableMap, req, env, currentRule)
|
|
if err != nil {
|
|
return false, err
|
|
}
|
|
|
|
if success {
|
|
targetURL := fmt.Sprintf("%s://%s%s", req.URL.Scheme, req.URL.Host, req.URL.Path)
|
|
|
|
// 处理成功情况
|
|
if currentRule.Continue {
|
|
// 使用Continue标志时,记录但继续测试其他参数
|
|
recordVulnerabilityResult(targetURL, p, currentParams, false)
|
|
continue
|
|
}
|
|
|
|
// 记录成功的参数组合
|
|
strMap = append(strMap, currentParams...)
|
|
if ruleIndex == len(p.Rules)-1 {
|
|
// 最终规则成功,记录完整的结果并返回
|
|
recordVulnerabilityResult(targetURL, p, strMap, false)
|
|
return false, nil
|
|
}
|
|
break paramLoop
|
|
}
|
|
}
|
|
|
|
if !success {
|
|
break
|
|
}
|
|
if rule.Continue {
|
|
return false, nil
|
|
}
|
|
}
|
|
|
|
return success, nil
|
|
}
|
|
|
|
// applyParametersToRule 将参数应用到规则中,返回是否有替换发生和替换的参数列表
|
|
// 这是一个纯函数,不修改原始规则,而是修改传入的currentRule指针
|
|
func applyParametersToRule(
|
|
currentRule *Rules,
|
|
sets ListMap,
|
|
payloads map[string]interface{},
|
|
variableMap map[string]interface{},
|
|
payloadExpr string,
|
|
) (hasReplacement bool, replacedParams StrMap) {
|
|
// 遍历所有参数集
|
|
for _, set := range sets {
|
|
paramReplaced := false
|
|
key := set.Key
|
|
value := fmt.Sprintf("%v", payloads[key])
|
|
paramPattern := "{{" + key + "}}"
|
|
|
|
// 替换Header中的参数
|
|
for headerKey, headerVal := range currentRule.Headers {
|
|
if strings.Contains(headerVal, paramPattern) {
|
|
currentRule.Headers[headerKey] = strings.ReplaceAll(headerVal, paramPattern, value)
|
|
paramReplaced = true
|
|
}
|
|
}
|
|
|
|
// 替换Path中的参数
|
|
if strings.Contains(currentRule.Path, paramPattern) {
|
|
currentRule.Path = strings.ReplaceAll(currentRule.Path, paramPattern, value)
|
|
paramReplaced = true
|
|
}
|
|
|
|
// 替换Body中的参数
|
|
if strings.Contains(currentRule.Body, paramPattern) {
|
|
currentRule.Body = strings.ReplaceAll(currentRule.Body, paramPattern, value)
|
|
paramReplaced = true
|
|
}
|
|
|
|
// 记录替换的参数
|
|
if paramReplaced {
|
|
hasReplacement = true
|
|
if key == "payload" {
|
|
// 处理payload的特殊情况:检查payload表达式中是否包含变量
|
|
hasVarInPayload := false
|
|
for varKey, varVal := range variableMap {
|
|
if strings.Contains(payloadExpr, varKey) {
|
|
hasVarInPayload = true
|
|
replacedParams = append(replacedParams, StrItem{varKey, fmt.Sprintf("%v", varVal)})
|
|
}
|
|
}
|
|
if hasVarInPayload {
|
|
continue
|
|
}
|
|
}
|
|
replacedParams = append(replacedParams, StrItem{key, value})
|
|
}
|
|
}
|
|
|
|
return hasReplacement, replacedParams
|
|
}
|
|
|
|
// getRuleHash 计算规则的MD5哈希值用于去重
|
|
func getRuleHash(rule *Rules) string {
|
|
//nolint:gosec // G401: MD5用于规则去重,非加密用途
|
|
ruleDigest := md5.Sum([]byte(fmt.Sprintf("%v", rule)))
|
|
return fmt.Sprintf("%x", ruleDigest)
|
|
}
|
|
|
|
// recordVulnerabilityResult 记录漏洞检测结果
|
|
func recordVulnerabilityResult(targetURL string, pocDef *Poc, params StrMap, skipSave bool) {
|
|
// 构造详细信息
|
|
details := make(map[string]interface{})
|
|
details["vulnerability_type"] = pocDef.Name
|
|
details["vulnerability_name"] = pocDef.Name // 使用POC名称作为漏洞名称
|
|
|
|
// 添加作者信息(如果有)
|
|
if pocDef.Detail.Author != "" {
|
|
details["author"] = pocDef.Detail.Author
|
|
}
|
|
|
|
// 添加参考链接(如果有)
|
|
if len(pocDef.Detail.Links) != 0 {
|
|
details["references"] = pocDef.Detail.Links
|
|
}
|
|
|
|
// 添加漏洞描述(如果有)
|
|
if pocDef.Detail.Description != "" {
|
|
details["description"] = pocDef.Detail.Description
|
|
}
|
|
|
|
// 添加参数信息(如果有)
|
|
if len(params) > 0 {
|
|
paramMap := make(map[string]string)
|
|
for _, item := range params {
|
|
paramMap[item.Key] = item.Value
|
|
}
|
|
details["parameters"] = paramMap
|
|
}
|
|
|
|
// 保存漏洞结果(除非明确指示跳过)
|
|
if !skipSave {
|
|
result := &output.ScanResult{
|
|
Time: time.Now(),
|
|
Type: output.TypeVuln,
|
|
Target: targetURL,
|
|
Status: "vulnerable",
|
|
Details: details,
|
|
}
|
|
_ = common.SaveResult(result)
|
|
}
|
|
|
|
// 生成日志消息
|
|
var logMsg string
|
|
if pocDef.Name == "poc-yaml-backup-file" || pocDef.Name == "poc-yaml-sql-file" {
|
|
logMsg = fmt.Sprintf("检测到漏洞 %s %s", targetURL, pocDef.Name)
|
|
} else {
|
|
logMsg = fmt.Sprintf("检测到漏洞 %s %s 参数:%v", targetURL, pocDef.Name, params)
|
|
}
|
|
|
|
// 输出成功日志
|
|
common.LogVuln(logMsg)
|
|
}
|
|
|
|
// isFuzz 检查规则是否包含需要Fuzz测试的参数
|
|
func isFuzz(rule Rules, Sets ListMap) bool {
|
|
// 遍历所有参数
|
|
for _, param := range Sets {
|
|
key := param.Key
|
|
paramPattern := "{{" + key + "}}"
|
|
|
|
// 检查Headers中是否包含参数
|
|
for _, headerValue := range rule.Headers {
|
|
if strings.Contains(headerValue, paramPattern) {
|
|
return true
|
|
}
|
|
}
|
|
|
|
// 检查Path中是否包含参数
|
|
if strings.Contains(rule.Path, paramPattern) {
|
|
return true
|
|
}
|
|
|
|
// 检查Body中是否包含参数
|
|
if strings.Contains(rule.Body, paramPattern) {
|
|
return true
|
|
}
|
|
}
|
|
return false
|
|
}
|
|
|
|
// Combo 生成参数组合
|
|
func Combo(input ListMap) [][]string {
|
|
if len(input) == 0 {
|
|
return nil
|
|
}
|
|
|
|
// 处理只有一个参数的情况
|
|
if len(input) == 1 {
|
|
output := make([][]string, 0, len(input[0].Value))
|
|
for _, value := range input[0].Value {
|
|
output = append(output, []string{value})
|
|
}
|
|
return output
|
|
}
|
|
|
|
// 递归处理多个参数的情况
|
|
subCombos := Combo(input[1:])
|
|
return MakeData(subCombos, input[0].Value)
|
|
}
|
|
|
|
// MakeData 将新的参数值与已有的组合进行组合
|
|
func MakeData(base [][]string, nextData []string) [][]string {
|
|
// 预分配足够的空间
|
|
output := make([][]string, 0, len(base)*len(nextData))
|
|
|
|
// 遍历已有组合和新参数值
|
|
for _, existingCombo := range base {
|
|
for _, newValue := range nextData {
|
|
// 创建新组合
|
|
newCombo := make([]string, 0, len(existingCombo)+1)
|
|
newCombo = append(newCombo, newValue)
|
|
newCombo = append(newCombo, existingCombo...)
|
|
output = append(output, newCombo)
|
|
}
|
|
}
|
|
|
|
return output
|
|
}
|
|
|
|
// clustersend 执行单个规则的HTTP请求和响应检测
|
|
func clustersend(oReq *http.Request, variableMap map[string]interface{}, req *Request, env *cel.Env, rule Rules) (bool, error) {
|
|
// 替换请求中的变量
|
|
for varName, varValue := range variableMap {
|
|
// 跳过map类型的变量
|
|
if _, isMap := varValue.(map[string]string); isMap {
|
|
continue
|
|
}
|
|
|
|
strValue := fmt.Sprintf("%v", varValue)
|
|
varPattern := "{{" + varName + "}}"
|
|
|
|
// 替换Headers中的变量
|
|
for headerKey, headerValue := range rule.Headers {
|
|
if strings.Contains(headerValue, varPattern) {
|
|
rule.Headers[headerKey] = strings.ReplaceAll(headerValue, varPattern, strValue)
|
|
}
|
|
}
|
|
|
|
// 替换Path和Body中的变量
|
|
rule.Path = strings.ReplaceAll(strings.TrimSpace(rule.Path), varPattern, strValue)
|
|
rule.Body = strings.ReplaceAll(strings.TrimSpace(rule.Body), varPattern, strValue)
|
|
}
|
|
|
|
// 构建完整请求路径
|
|
if oReq.URL.Path != "" && oReq.URL.Path != "/" {
|
|
req.URL.Path = fmt.Sprint(oReq.URL.Path, rule.Path)
|
|
} else {
|
|
req.URL.Path = rule.Path
|
|
}
|
|
|
|
// URL编码处理
|
|
req.URL.Path = strings.ReplaceAll(req.URL.Path, " ", "%20")
|
|
|
|
// 创建新的HTTP请求(传递原始请求的Context以支持超时控制)
|
|
reqURL := fmt.Sprintf("%s://%s%s", req.URL.Scheme, req.URL.Host, req.URL.Path)
|
|
newRequest, err := http.NewRequestWithContext(oReq.Context(), rule.Method, reqURL, strings.NewReader(rule.Body))
|
|
if err != nil {
|
|
return false, fmt.Errorf("HTTP请求错误: %w", err)
|
|
}
|
|
defer func() { newRequest = nil }()
|
|
|
|
// 设置请求头
|
|
newRequest.Header = oReq.Header.Clone()
|
|
for key, value := range rule.Headers {
|
|
newRequest.Header.Set(key, value)
|
|
}
|
|
|
|
// 发送请求
|
|
resp, err := DoRequest(newRequest, rule.FollowRedirects)
|
|
if err != nil {
|
|
return false, fmt.Errorf("请求发送错误: %w", err)
|
|
}
|
|
|
|
// 更新响应到变量映射
|
|
variableMap["response"] = resp
|
|
|
|
// 执行搜索规则
|
|
if rule.Search != "" {
|
|
searchContent := GetHeader(resp.Headers) + string(resp.Body)
|
|
result := doSearch(rule.Search, searchContent)
|
|
|
|
if len(result) > 0 {
|
|
// 将搜索结果添加到变量映射
|
|
for key, value := range result {
|
|
variableMap[key] = value
|
|
}
|
|
} else {
|
|
return false, nil
|
|
}
|
|
}
|
|
|
|
// 执行CEL表达式
|
|
out, err := Evaluate(env, rule.Expression, variableMap)
|
|
if err != nil {
|
|
if strings.Contains(err.Error(), "Syntax error") {
|
|
common.LogError(i18n.Tr("webscan_cel_syntax_error", rule.Expression, err))
|
|
}
|
|
return false, err
|
|
}
|
|
|
|
// 检查表达式执行结果
|
|
if fmt.Sprintf("%v", out) == "false" {
|
|
return false, nil
|
|
}
|
|
|
|
return true, nil
|
|
}
|
|
|
|
// cloneRules 深度复制Rules结构体
|
|
// 参数:
|
|
// - tags: 原始Rules结构体
|
|
// 返回: 复制后的新Rules结构体
|
|
func cloneRules(tags Rules) Rules {
|
|
return Rules{
|
|
Method: tags.Method,
|
|
Path: tags.Path,
|
|
Body: tags.Body,
|
|
Search: tags.Search,
|
|
FollowRedirects: tags.FollowRedirects,
|
|
Expression: tags.Expression,
|
|
Headers: cloneMap(tags.Headers),
|
|
Continue: tags.Continue,
|
|
}
|
|
}
|
|
|
|
// cloneMap 深度复制字符串映射
|
|
func cloneMap(tags map[string]string) map[string]string {
|
|
if tags == nil {
|
|
return nil
|
|
}
|
|
cloneTags := make(map[string]string, len(tags))
|
|
for key, value := range tags {
|
|
cloneTags[key] = value
|
|
}
|
|
return cloneTags
|
|
}
|
|
|
|
// evalset 执行CEL表达式并处理特殊类型结果
|
|
func evalset(env *cel.Env, variableMap map[string]interface{}, k string, expression string) (string, error) {
|
|
out, err := Evaluate(env, expression, variableMap)
|
|
if err != nil {
|
|
variableMap[k] = expression
|
|
return expression, err
|
|
}
|
|
|
|
// 根据不同类型处理输出
|
|
switch value := out.Value().(type) {
|
|
case *UrlType:
|
|
variableMap[k] = URLTypeToString(value)
|
|
case int64:
|
|
variableMap[k] = int(value)
|
|
default:
|
|
variableMap[k] = fmt.Sprintf("%v", out)
|
|
}
|
|
|
|
return fmt.Sprintf("%v", variableMap[k]), nil
|
|
}
|
|
|
|
// evalset1 执行CEL表达式的简化版本
|
|
func evalset1(env *cel.Env, variableMap map[string]interface{}, k string, expression string) (string, error) {
|
|
out, err := Evaluate(env, expression, variableMap)
|
|
if err != nil {
|
|
variableMap[k] = expression
|
|
} else {
|
|
variableMap[k] = fmt.Sprintf("%v", out)
|
|
}
|
|
return fmt.Sprintf("%v", variableMap[k]), err
|
|
}
|
|
|
|
// CheckInfoPoc 检查POC信息并返回别名
|
|
func CheckInfoPoc(infostr string) string {
|
|
for _, poc := range fingerprint.PocDatas {
|
|
if strings.Contains(infostr, poc.Name) {
|
|
return poc.Alias
|
|
}
|
|
}
|
|
return ""
|
|
}
|
|
|
|
// GetHeader 将HTTP头转换为字符串格式
|
|
func GetHeader(header map[string]string) string {
|
|
var builder strings.Builder
|
|
for name, values := range header {
|
|
builder.WriteString(fmt.Sprintf("%s: %s\n", name, values))
|
|
}
|
|
builder.WriteString("\r\n")
|
|
return builder.String()
|
|
}
|