archive/fscan
1
0
Fork 0
mirror of https://github.com/shadow1ng/fscan.git synced 2026-09-22 03:10:42 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
759 Commits 3 Branches 30 Tags
1c6f3b80d0e7bd23966a81b5dcf4b3955fc74289
Commit Graph
759 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
ZacharyZcR 1c6f3b80d0 fix: Cassandra CQL 协议头缺少 flags 字节 + version 方向位错误 
cqlSend 写 8 字节头（缺 flags），实际 CQL v4 需要 9 字节。
version byte 0x84 是 response 方向，request 应为 0x04。

同时扩展集成测试至 17 个协议：新增 Memcached、Elasticsearch、
MSSQL、RabbitMQ、MQTT、LDAP、Cassandra、Neo4j、Kafka、SMTP。
 2026-06-17 12:51:42 +08:00
ZacharyZcR 9b8e4f3f3b fix: MongoDB SCRAM 认证因 BSON 键序随机而失败 
Go map 遍历顺序不确定，导致 buildBSON 输出的命令文档中
saslStart/saslContinue 不一定是第一个键，MongoDB 拒绝执行。

引入有序 []mongoKV 类型，SASL 命令改用 orderedDoc() 构造。
同时新增 6 协议集成测试框架（Docker Compose + go test -tags integration）。
 2026-06-17 12:51:42 +08:00
ZacharyZcR 0612255893 test: 补充单元测试覆盖率 29.9% → 36.6% 
新建 18 个测试文件，追加 30 个已有测试文件，覆盖协议解析、
错误分类、CEL 表达式求值、YAML 反序列化、字节编码等纯函数。
 2026-06-17 12:51:41 +08:00
ZacharyZcR 6eff1d5ccf fix: 外部审查 8 项修复 + 国密 TLS 按需回退
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
- UserAgent 默认值回退 + 注册 -ua flag (#2)
- README 编译命令 main.go → . (#3)
- README 版本号同步 rc.1 (#4)
- Client.go gmtls stdout 劫持删除 (#5)
- ms17010 smb1GetResponse size<32 越界 panic (#6)
- SSH 拨号超时统一 ModuleTimeout (#8)
- AddPorts 死字段删除 (#9)
- 国密 TLS 按需回退：标准 TLS 握手失败时仅在错误为
  cipher/protocol 不兼容时尝试国密，跳过超时/拒绝等连接级错误
 2026-06-15 04:46:25 +08:00
ZacharyZcR 2f7d2d49c6 fix: redis exploit 超时改用配置值 & 清理死代码 
- redis exploit 硬编码 30s deadline 改为 config.ModuleTimeout()，与同文件其他超时一致
- 删除 BaseScanStrategy.LogPluginInfo 残留死代码（全是空操作）
- .gitignore 补充 fscan_cli/fscan_web/embed-agent 构建产物
 2026-06-14 23:58:56 +08:00
ZacharyZcR 35f3cf1960 docs: release notes 移除实测验证章节
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details
2026-06-14 23:01:39 +08:00
ZacharyZcR 065ba6fae7 docs: 更新 v2.2.0-rc.1 release notes，覆盖全部 29 个 commit 的变更 2026-06-14 23:00:26 +08:00
ZacharyZcR 42092d8664 fix: 修复实机测试发现的可靠性问题 (v2.2.0-rc.1) 
- UDP 插件在 -p 指定端口时被跳过
- Redis exploit 无超时保护 / readReply 吞没非超时错误
- service_probe 连接丢失后静默成功
- SNMP 探测成功但终端无输出
- SSH 爆破不稳定 (并发过高 + 自适应超时过短 + 限流误判)
- 进度条 isActive 竞态

新增 Config.ModuleTimeout() 协议级超时下限 (≥3s)
新增 ErrorTypeThrottle 限流错误分类
 2026-06-14 22:14:02 +08:00
ZacharyZcR bc46e90d89 fix: -hash 支持 LM:NT 格式 & -debug 日志文件修复
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
1. -hash 支持标准的 LM:NT 格式 (如 aad3b435b51404ee:31d6cfe0d16ae931b73c59d7e0c089c0)
   之前只接受纯 32 字符 NTLM hash，LM:NT 格式报 invalid hash length

2. -debug 日志文件写入修复（已在上一个 commit 中）
 2026-06-14 09:50:10 +08:00
ZacharyZcR 67f2251da3 fix: -debug 日志文件写入失败，applyLogLevel 重建 Logger 时丢失 DebugLogFile 配置 2026-06-14 09:48:03 +08:00
ZacharyZcR e6c5e5a9a8 fix: -nopoc 禁用POC时不再输出错误日志
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details
2026-06-13 23:09:47 +08:00
ZacharyZcR 0356485595 fix: 让 -gt 全局超时参数真正生效 
-gt 参数之前是死代码：flag 定义了 GlobalTimeout 但从未被使用。
现在在 RunScan 中用它创建带 deadline 的 context，
超时后所有扫描任务（端口扫描、插件执行）被取消。
 2026-06-13 23:04:22 +08:00
ZacharyZcR b085df1878 fix: 修复3个实测输出问题 
1. 静默模式NDJSON banner截断至200字符
   Redis INFO响应~5KB导致JSONL单行过长，截断后加...后缀

2. CSV漏洞Type列补全
   ResultTypeVuln的fillDetail未设type字段，CSV Vulns列为空
   统一设为"vulnerability"

3. ICMP权限不足告警精简
   4行告警(listen失败/连接失败/权限不足/切换ping)合并为1行
 2026-06-13 22:55:02 +08:00
ZacharyZcR 8fb66e8e2f fix: 修复3个实测发现的问题 
1. -pwd 支持逗号分隔多个密码
   之前 -pwd "123,456,root" 被当作单个密码，SSH root:123 无法匹配
   现在逗号分隔为独立密码，空格保留（可能是密码的一部分）

2. -nobr 禁用爆破时仍检测 Redis 未授权访问
   未授权访问是服务探测不是爆破，不应被 -nobr 跳过
   将未授权检测移到 DisableBrute 判断之前

3. 指定端口时跳过 UDP 插件调度
   -p 80 只扫 HTTP 时不需要 SNMP/BACnet/DNS 等 UDP 探测
   仅在默认端口扫描时才分发 UDP 插件
   效果: -p 80 从 9 秒降到 3 秒
 2026-06-13 22:35:48 +08:00
ZacharyZcR 272b0e28c8 fix: 非终端输出时禁用进度条，防止ANSI控制码覆盖扫描结果 2026-06-13 22:21:03 +08:00
ZacharyZcR 28686f845d fix: 彻底解决UDP插件阻塞导致扫描无法结束的问题 
根因分析（通过 goroutine dump 定位）:
1. UDP conn.Write 在 WSL2 上可能永久阻塞（SetDeadline 对 Write 不生效）
2. SNMP community 爆破混入通用密码字典（57个），串行 × 10s超时 = 10分钟

修复:
- 提取 udpProbe() 公共函数，用 context timeout + conn.Close 双保险
  超时后强制关闭连接，中断阻塞的 Write/Read
- BACnet/DNS/IPMI/TFTP 统一使用 udpProbe()
- SNMP probe 使用 goroutine + context select 保护
- SNMP community 列表不再混入通用密码字典（8个专用 community 足够）
- SNMP 后续 community 爆破用 3s 短超时 + 连续失败 3 次快速退出

效果: 同样的扫描从无限卡死 → 9秒完成
 2026-06-13 22:07:03 +08:00
ZacharyZcR 06ba595e32 fix: UDP插件改用 conn.SetDeadline 替代类型断言 2026-06-13 21:52:26 +08:00
ZacharyZcR 1a7770530d fix: 所有UDP插件添加ReadDeadline防止无限阻塞 
SNMP/BACnet/DNS/IPMI/TFTP 的 conn.Read() 在目标不响应时
无限阻塞（goroutine 泄漏），导致整个扫描无法结束。

在 Write 前设置 ReadDeadline 确保超时后返回。
 2026-06-13 21:42:49 +08:00
ZacharyZcR 2a9a3c36e2 fix: 修复6个运行时问题 
1. 抑制 gmtls 库的 handshake error stdout 噪声
   gmtls/conn.go:1304 硬编码了 fmt.Println，在调用时临时重定向 os.Stdout

2. MySQL 3306 服务名误识别为 genetec-5400
   nmap 指纹库将 MySQL 握手包的随机 salt 误匹配，通过 banner 特征校正

3. 管道输出时自动禁用 ANSI 控制码
   检测 stdout 是否为终端，非终端时自动启用 NoColor

4. 进度条完成消息措辞精确化
   去掉冗余冒号，保持信息简洁一致

5. URL 模式跳过不必要的 TLS 探测
   用户已通过 -u 显式指定 http:// 协议时直接使用，不再做 TLS 握手

6. 无网络探测数据时降低默认重试次数
   -np 跳过存活探测后，将默认重试从 3 降到 2，加速不可达主机的超时
 2026-06-13 19:53:28 +08:00
ZacharyZcR 70cce742e1 fix: DetectPocFormat 误判含 transport 的 fscan POC 为 xray 格式 
有 transport 字段但 rules 是数组的 POC（如 apache-httpd-cve-2021-40438）
属于 fscan 格式，不应被 xray 分支兜底。移除错误的 fallback return，
让这类 POC 正确落入 fscan 格式检测分支。

修复前: 388个POC成功380个，失败8个
修复后: 388个POC成功388个，失败0个
 2026-06-13 19:31:16 +08:00
ZacharyZcR 02ad8f5334 refactor: 4项架构优化 — CEL缓存/POC隔离/服务缓存/结果统一 
1. CEL 表达式编译缓存
   - 新增 CelProgCache，同一 POC 的所有规则/参数组合共享编译后的 Program
   - clusterpoc 热路径上消除重复的 Compile+Program 调用

2. POC 全局状态消除
   - allPocs/pocLoaded 全局变量改为 pocStore 按 PocPath 缓存
   - 不同 PocPath 的扫描独立加载，Web API 并发场景不再互相覆盖

3. serviceCache 下沉到 per-session State
   - 服务识别缓存从包级全局 map 迁移到 State.serviceCache (sync.Map)
   - BaseScanStrategy 通过 SetState 注入 session state
   - 消除多个并发扫描之间的服务识别缓存串台

4. POC 结果输出路径统一
   - 提取 buildVulnDetails/buildVulnLogMsg/saveVulnResult 三个公共函数
   - CheckMultiPoc 和 recordVulnerabilityResult 共用统一的结果构造逻辑
   - 消除 details 字段名不一致和日志格式差异
 2026-06-13 19:24:57 +08:00
ZacharyZcR 6a1636112f fix+perf: 修复10个bug & 10项性能优化 
Bug修复:
- clustersend CEL结果判断从字符串比较改为类型断言
- Nuclei DSL matcher安全降级为false避免误报
- clusterpoc发现漏洞后返回true修正语义
- reverseCheck加10s超时防止ceye API阻塞
- doSearch/bmatches正则编译结果缓存到sync.Map
- evalset CEL求值失败时存空字符串而非原始表达式
- CEL wait()函数加nil Reverse指针检查防panic
- MongoDB readMongoMsg应用timeout参数设置读超时
- TXTWriter.Close确保Sync失败后仍调用file.Close

性能优化:
- 指纹regex缓存从RWMutex+map改为sync.Map消除锁竞争
- CaseInsensitive指纹词加载时预小写化避免匹配时分配
- 版本提取FindAllStringSubmatch限制返回数量
- i18n.Tr用strconv.Itoa替代Sprintf减少分配
- POC加载用atomic.Bool+DCLP消除热路径锁
- 结果缓冲map预分配容量减少rehash
- HTTP连接池参数随并发数动态调整
- getRuleHash去除反射+Headers排序保证确定性dedup
- POC并发加载用channel替代Mutex收集结果
 2026-06-13 18:46:14 +08:00
ZacharyZcR 45ebe7040e 优化自适应扫描系统 & 修复 POC 调度问题
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
自适应扫描优化:
- target/ceiling 分离，自适应池可向上探索而非锁死在 target
- assessHealth 阈值按网络环境区分（LAN 收紧 / Internet 放宽）
- RTT 漂移时动态压低 target，配合 AIMD 双重降速
- 去掉 semaphore 双层流控，由 ants pool 统一反压
- 探测端口从 3 个扩充到 8 个，减少 RTT 采样偏差
- computeRetries 按环境调整目标概率和上限

Bug 修复:
- AdaptivePool.Wait() 加 10 分钟超时，防止 goroutine 卡死时永久挂起
- CEL 环境初始化失败后允许重试（sync.Once → sync.Mutex + 标志位）
- CAS 自旋加 runtime.Gosched() 退避，减少高并发下 CPU 空转
- -full 模式下 web 插件跳过 IsMarkedWebService 检查 #588
- 不确定服务补做 HTTP 回退探测，覆盖自定义框架漏网场景
- POC sets 纯字面量值跳过 CEL 编译，消除大量误报错误日志
 2026-06-13 12:39:24 +08:00
ZacharyZcR 15a7670ba2 Harden scan robustness and tests 2026-06-13 07:55:37 +08:00
ZacharyZcR 1595c92aed feat: 统一服务缓存 + 指纹驱动插件匹配
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
将 webServiceCache 扩展为通用 serviceCache，所有指纹识别结果
统一缓存，插件匹配时端口不命中则回退到服务名称匹配。

删除多余的 service_cache.go，复用已有的 ServiceInfo 体系。
补充 nil 防御、Explicit 标记、大量单元/集成/回归测试。
 2026-06-12 19:49:07 +08:00
ZacharyZcR 517133f72f fix: 非标准端口的服务无法匹配对应插件 #588 
端口扫描识别到 8881 上运行 SSH，但 SSH 插件只注册了 [22,2222,2200,22222]，
端口不匹配导致插件不执行。

新增服务名称缓存：端口扫描阶段记录 host:port → serviceName，
插件匹配时端口不命中则回退到服务名称匹配。
 2026-06-12 19:31:56 +08:00
ZacharyZcR 0918eb38a6 fix: 移除误导性的"无可用插件"日志 #588 
扫描开始前的插件预检基于端口列表静态匹配，不代表实际扫描中插件
不会执行。移除"无可用插件"提示，避免用户误以为插件未工作。
 2026-06-12 16:36:27 +08:00
ZacharyZcR 5b7e72e56e Fix credential cleanup and explicit tuning flags 2026-06-12 15:30:44 +08:00
ZacharyZcR 52f872b8d1 fix: webtitle HTTP 请求失败时重试，修复批量扫描 POC 缺失 #587
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
批量扫描（-hf）时并发压力导致 HTTP 请求瞬时失败，getWebTitle
直接返回 error，跳过指纹识别和 POC 触发。

加入指数退避重试（200ms→400ms），最多 3 次，复用 config.MaxRetries。
 2026-06-12 12:23:54 +08:00
ZacharyZcR 66b175d623 ci: 升级 CI Go 版本到 1.25 2026-06-12 11:41:49 +08:00
ZacharyZcR 6b5bc191ca fix: 降级 modernc.org/sqlite 到 v1.39.0 适配 CI 2026-06-12 10:11:34 +08:00
ZacharyZcR f883944b2b feat: 自适应并发调度 — 网络探测 + AIMD + 参数智能推导 
扫描前自动探测网络环境（RTT、丢包率、fd limit），基于探测数据
推导 6 个关键参数，替代硬编码默认值：

- Timeout: median_RTT + 4σ（覆盖 99.9% 正常连接）
- ModuleThreadNum: target_concurrency / 30
- MaxRetries: ceil(log(0.01)/log(loss_rate))（全失败概率 <1%）
- ICMPRate: 环境基准 × fd 系数
- PocNum: 跟随 ModuleThreadNum
- DisablePing: 已有 ICMP 权限降级机制

线程池从单信号（资源耗尽率）升级为 AIMD + 慢启动：
- 慢启动：target/4 起步，500ms 翻倍
- 稳态 AIMD：健康 +5%，拥塞 ×0.5
- 双信号：资源耗尽率 + RTT 趋势（双 EMA）

用户 -t 显式指定时作为 ceiling，探测仍调整其他参数。

测试：单元 + 边界 + 集成 + 真实网络，core 包 580+ 用例全通过。
 2026-06-12 09:46:02 +08:00
ZacharyZcR 683707fcd4 feat: Web 版独立入口 + SQLite 持久化存储
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
- 拆分 main.go 为 main_cli.go 和 main_web.go，Web 版不再包含 CLI 参数解析
- Web 版直接启动 HTTP 服务，通过 -port/-lang 控制，无需 -web flag
- 结果存储从内存 map 替换为 SQLite（modernc.org/sqlite，纯 Go 零 CGO）
- 数据库文件 ~/.fscan/results.db，进程重启后结果不丢失
- 修复结果分布面板跟随 tab 筛选联动的问题
 2026-06-12 05:17:26 +08:00
ZacharyZcR b94e8bc4ca fix: 修复 SSH 扫描 goroutine 泄漏 
ssh.NewClientConn 不接受 context，context 取消后底层 TCP 连接未关闭，
导致 readLoop goroutine 永久阻塞在 conn.Read 上。大规模扫描时泄漏数万
goroutine。

- doSSHAuth 新增 goroutine 监听 context 取消并关闭底层连接
- TestSingleCredential 移除 5 秒超时放弃逻辑，改为持续等待清理
 2026-06-12 03:59:02 +08:00
ZacharyZcR 4198c1abc8 修复默认扫描 POC 结果缺失 #586
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details
2026-06-04 14:41:49 +08:00
ZacharyZcR 68f990d20b 显示 Web 服务识别 URL 2026-06-04 14:26:20 +08:00
ZacharyZcR 08a87b3128 ci: 完善发版流程
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
- release workflow 自动读取 .github/release-notes/<tag>.md 覆盖 body
- 移除手动 prerelease input（goreleaser auto 模式根据 tag 后缀判断）
- 新增 RELEASE.md 发版流程文档
 2026-06-01 08:42:17 +08:00
ZacharyZcR cc1af631f0 fix: CI 测试排除路径 mylib → libs 2026-06-01 08:40:14 +08:00
ZacharyZcR 5078fbc975 fix: 更新 lint 排除路径 mylib → libs 2026-06-01 08:39:49 +08:00
ZacharyZcR 354ad2e24b chore: 移除 fscan-lite (C 版本) 
功能过于单一（仅 TCP 端口扫描），与 fscan 品牌定位不符。
fscan-nolocal 已是精简版的正确方案。

- 删除 fscan-lite 源码和构建脚本
- goreleaser 移除 lite 构建步骤
- CI 不再安装 mingw 交叉编译工具
 2026-06-01 08:37:04 +08:00
ZacharyZcR 942f0fa6c3 fix: web API 版本号改为动态获取，不再硬编码 2026-06-01 08:34:42 +08:00
ZacharyZcR 37b77f9c86 docs: 添加 v2.2.0-rc Release Notes 草稿 
用于发版时 gh release create --notes-file 引用。
 2026-06-01 08:28:59 +08:00
ZacharyZcR a02eed0518 refactor: mylib 重命名为 libs 
更清晰的目录命名，libs/ 存放内嵌的独立协议实现库。
 2026-06-01 08:22:13 +08:00
ZacharyZcR 019d13c9d4 chore: 版本号更新为 2.2.0-rc 
- README/README_EN 版本标记更新
- globals.go version 常量更新
- 移除 Issue 模板中不可用的安全报告链接
 2026-06-01 08:20:01 +08:00
ZacharyZcR c43982f834 chore: 更新 Issue 模板 
- 版本号更新至 2.2.0-rc / 2.1.3 / 2.1.2
- 移除 placeholder 预填充内容，避免用户不删不改直接提交
- 新增 SDK、代理、mips 等选项
- macOS/Ubuntu 版本更新
- 新增安全漏洞报告入口指引
- 模板顶部增加"未填写有效信息会被关闭"提示
 2026-06-01 08:17:00 +08:00
ZacharyZcR d6d323854a refactor: 完成全局状态到 session 的完整迁移 
将 plugins/services、plugins/local、plugins/web、webscan 层的日志输出、
漏洞结果保存和 TCP 计数器从全局 common.Log*/GetGlobalState() 迁移到
session 实例方法，确保 SDK 并发扫描时各实例完全隔离。

- 50 个文件，所有插件日志走 session.Log*
- DoRequest 加入 session 参数，计数器走 session.State
- POC 执行器通过 POCContext.Session 传递
- 仅保留 init() 和 CEL runtime 等无 session 场景的全局回退
 2026-06-01 08:13:23 +08:00
ZacharyZcR 569d21a8bc fix: harden address parsing edge cases 2026-06-01 04:03:46 +08:00
ZacharyZcR 8ec96bfe6d fix: harden scan edge cases 2026-06-01 03:32:13 +08:00
ZacharyZcR 8b558b4f12 fix: align atomic counters on arm 2026-06-01 03:03:40 +08:00
ZacharyZcR 3e4e2db722 feat: stream large host scans 2026-06-01 02:55:28 +08:00