archive/fscan
1
0
Fork 0
mirror of https://github.com/shadow1ng/fscan.git synced 2026-09-22 03:10:42 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
772 Commits 3 Branches 30 Tags
621b2c2f247e15ea42035db39c031dda42ebde84
Commit Graph
181 Commits
Author SHA1 Message Date
ZacharyZcR 61ae87d171 chore: bump dev version to 2.2.1 2026-07-16 01:08:05 +08:00
逸航 9d0010927e fix: 修复高并发下自适应超时过低导致开放端口漏扫 (#598) 
* fix: 修复高并发下自适应超时过低导致开放端口漏扫 (#503)

扫描本机/低 RTT 目标时，AdaptiveTimeout 在 10 次采样后迅速收敛到 100ms 下限。高并发（600+ 线程）下 TCP 握手尾延迟可能超过 100ms，加上超时错误不会重试，导致开放端口被误判为关闭。

- AdaptiveTimeout 下限从 100ms 提升至 max(500ms, maxTimeout/5)
- connectWithRetry 对超时错误用完整超时重试一次
- slidingWindowSchedule 任务丢弃时记录日志，便于排查漏扫

* refactor: 按 review 意见移除无条件超时重试，补充 minTO 下限测试

根据 #598 review 反馈：

1. 移除 connectWithRetry 中 timeout->full maxTO 无条件重试
   - filtered/无响应端口占超时大头，盲目重试只烧时间
   - #503 主场景靠 minTO 抬升已足够覆盖
2. 移除不再使用的 MaxTimeout() 方法和 port_scan_timeout_retry i18n 条目
3. AdaptiveTimeout 收敛测试补充 minTO 下限断言（3s->600ms）
 2026-07-16 01:07:27 +08:00
ZacharyZcR fdf836f003 chore: prepare v2.2.0 release
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details
2026-07-09 20:41:10 +08:00
ZacharyZcR 075bf646dc fix: 全局超时改为动态估算，替代硬编码阈值表
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
根据 hostCount × portCount / threads 计算端口扫描耗时，
结合开放率估算插件扫描耗时，加 20% 余量，上限 2h。
新增 EstimateHostCount 快速统计 CIDR/range/文件中的主机数。
 2026-06-27 16:50:53 +08:00
ZacharyZcR 1980504007 fix: 大规模扫描全局超时过短导致提前终止 (#588) 
4 万 IP 全端口扫描默认 -gt 180s 完全不够用，3 分钟后报
"解析目标失败: context deadline exceeded" 误导用户。

1. 自适应全局超时：用户未显式指定 -gt 时，根据端口数和是否有
   hosts 文件自动调大超时（最高 24h），并输出调整日志
2. 修正超时错误信息：context deadline exceeded 不再包装为
   "解析目标失败"，改为提示用户调大 -gt 或设为 0 禁用
 2026-06-27 16:42:32 +08:00
ZacharyZcR ed45d0ead5 fix: 结果文件中 POC 漏洞只显示 vulnerable 不显示漏洞名称 (Closes #591) 
POC 扫描结果存入 details["vulnerability_name"]，
但 TXT/CSV/NDJSON 三种输出格式只读 details["vulnerability"]，
key 不匹配导致漏洞名丢失，退化为显示 status 字段 "vulnerable"。
三种 writer 统一兼容两种 key。
 2026-06-27 16:23:52 +08:00
ZacharyZcR 4976cb1f6b feat: 添加 -nsp 参数禁用网段预筛 
大规模扫描时 probeSubnets 会自动跳过空 /24 网段，
部分场景下用户需要关闭此优化以扫描全部目标。
新增 -nsp (no subnet probe) 参数控制。
 2026-06-27 16:23:51 +08:00
ZacharyZcR 34638954b8 fix: 消除 state_test.go SA2001 lint 警告
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details
2026-06-17 12:51:43 +08:00
ZacharyZcR 0612255893 test: 补充单元测试覆盖率 29.9% → 36.6% 
新建 18 个测试文件，追加 30 个已有测试文件，覆盖协议解析、
错误分类、CEL 表达式求值、YAML 反序列化、字节编码等纯函数。
 2026-06-17 12:51:41 +08:00
ZacharyZcR 6eff1d5ccf fix: 外部审查 8 项修复 + 国密 TLS 按需回退
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
- UserAgent 默认值回退 + 注册 -ua flag (#2)
- README 编译命令 main.go → . (#3)
- README 版本号同步 rc.1 (#4)
- Client.go gmtls stdout 劫持删除 (#5)
- ms17010 smb1GetResponse size<32 越界 panic (#6)
- SSH 拨号超时统一 ModuleTimeout (#8)
- AddPorts 死字段删除 (#9)
- 国密 TLS 按需回退：标准 TLS 握手失败时仅在错误为
  cipher/protocol 不兼容时尝试国密，跳过超时/拒绝等连接级错误
 2026-06-15 04:46:25 +08:00
ZacharyZcR 42092d8664 fix: 修复实机测试发现的可靠性问题 (v2.2.0-rc.1) 
- UDP 插件在 -p 指定端口时被跳过
- Redis exploit 无超时保护 / readReply 吞没非超时错误
- service_probe 连接丢失后静默成功
- SNMP 探测成功但终端无输出
- SSH 爆破不稳定 (并发过高 + 自适应超时过短 + 限流误判)
- 进度条 isActive 竞态

新增 Config.ModuleTimeout() 协议级超时下限 (≥3s)
新增 ErrorTypeThrottle 限流错误分类
 2026-06-14 22:14:02 +08:00
ZacharyZcR bc46e90d89 fix: -hash 支持 LM:NT 格式 & -debug 日志文件修复
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
1. -hash 支持标准的 LM:NT 格式 (如 aad3b435b51404ee:31d6cfe0d16ae931b73c59d7e0c089c0)
   之前只接受纯 32 字符 NTLM hash，LM:NT 格式报 invalid hash length

2. -debug 日志文件写入修复（已在上一个 commit 中）
 2026-06-14 09:50:10 +08:00
ZacharyZcR 67f2251da3 fix: -debug 日志文件写入失败，applyLogLevel 重建 Logger 时丢失 DebugLogFile 配置 2026-06-14 09:48:03 +08:00
ZacharyZcR 0356485595 fix: 让 -gt 全局超时参数真正生效 
-gt 参数之前是死代码：flag 定义了 GlobalTimeout 但从未被使用。
现在在 RunScan 中用它创建带 deadline 的 context，
超时后所有扫描任务（端口扫描、插件执行）被取消。
 2026-06-13 23:04:22 +08:00
ZacharyZcR b085df1878 fix: 修复3个实测输出问题 
1. 静默模式NDJSON banner截断至200字符
   Redis INFO响应~5KB导致JSONL单行过长，截断后加...后缀

2. CSV漏洞Type列补全
   ResultTypeVuln的fillDetail未设type字段，CSV Vulns列为空
   统一设为"vulnerability"

3. ICMP权限不足告警精简
   4行告警(listen失败/连接失败/权限不足/切换ping)合并为1行
 2026-06-13 22:55:02 +08:00
ZacharyZcR 8fb66e8e2f fix: 修复3个实测发现的问题 
1. -pwd 支持逗号分隔多个密码
   之前 -pwd "123,456,root" 被当作单个密码，SSH root:123 无法匹配
   现在逗号分隔为独立密码，空格保留（可能是密码的一部分）

2. -nobr 禁用爆破时仍检测 Redis 未授权访问
   未授权访问是服务探测不是爆破，不应被 -nobr 跳过
   将未授权检测移到 DisableBrute 判断之前

3. 指定端口时跳过 UDP 插件调度
   -p 80 只扫 HTTP 时不需要 SNMP/BACnet/DNS 等 UDP 探测
   仅在默认端口扫描时才分发 UDP 插件
   效果: -p 80 从 9 秒降到 3 秒
 2026-06-13 22:35:48 +08:00
ZacharyZcR 272b0e28c8 fix: 非终端输出时禁用进度条，防止ANSI控制码覆盖扫描结果 2026-06-13 22:21:03 +08:00
ZacharyZcR 2a9a3c36e2 fix: 修复6个运行时问题 
1. 抑制 gmtls 库的 handshake error stdout 噪声
   gmtls/conn.go:1304 硬编码了 fmt.Println，在调用时临时重定向 os.Stdout

2. MySQL 3306 服务名误识别为 genetec-5400
   nmap 指纹库将 MySQL 握手包的随机 salt 误匹配，通过 banner 特征校正

3. 管道输出时自动禁用 ANSI 控制码
   检测 stdout 是否为终端，非终端时自动启用 NoColor

4. 进度条完成消息措辞精确化
   去掉冗余冒号，保持信息简洁一致

5. URL 模式跳过不必要的 TLS 探测
   用户已通过 -u 显式指定 http:// 协议时直接使用，不再做 TLS 握手

6. 无网络探测数据时降低默认重试次数
   -np 跳过存活探测后，将默认重试从 3 降到 2，加速不可达主机的超时
 2026-06-13 19:53:28 +08:00
ZacharyZcR 02ad8f5334 refactor: 4项架构优化 — CEL缓存/POC隔离/服务缓存/结果统一 
1. CEL 表达式编译缓存
   - 新增 CelProgCache，同一 POC 的所有规则/参数组合共享编译后的 Program
   - clusterpoc 热路径上消除重复的 Compile+Program 调用

2. POC 全局状态消除
   - allPocs/pocLoaded 全局变量改为 pocStore 按 PocPath 缓存
   - 不同 PocPath 的扫描独立加载，Web API 并发场景不再互相覆盖

3. serviceCache 下沉到 per-session State
   - 服务识别缓存从包级全局 map 迁移到 State.serviceCache (sync.Map)
   - BaseScanStrategy 通过 SetState 注入 session state
   - 消除多个并发扫描之间的服务识别缓存串台

4. POC 结果输出路径统一
   - 提取 buildVulnDetails/buildVulnLogMsg/saveVulnResult 三个公共函数
   - CheckMultiPoc 和 recordVulnerabilityResult 共用统一的结果构造逻辑
   - 消除 details 字段名不一致和日志格式差异
 2026-06-13 19:24:57 +08:00
ZacharyZcR 6a1636112f fix+perf: 修复10个bug & 10项性能优化 
Bug修复:
- clustersend CEL结果判断从字符串比较改为类型断言
- Nuclei DSL matcher安全降级为false避免误报
- clusterpoc发现漏洞后返回true修正语义
- reverseCheck加10s超时防止ceye API阻塞
- doSearch/bmatches正则编译结果缓存到sync.Map
- evalset CEL求值失败时存空字符串而非原始表达式
- CEL wait()函数加nil Reverse指针检查防panic
- MongoDB readMongoMsg应用timeout参数设置读超时
- TXTWriter.Close确保Sync失败后仍调用file.Close

性能优化:
- 指纹regex缓存从RWMutex+map改为sync.Map消除锁竞争
- CaseInsensitive指纹词加载时预小写化避免匹配时分配
- 版本提取FindAllStringSubmatch限制返回数量
- i18n.Tr用strconv.Itoa替代Sprintf减少分配
- POC加载用atomic.Bool+DCLP消除热路径锁
- 结果缓冲map预分配容量减少rehash
- HTTP连接池参数随并发数动态调整
- getRuleHash去除反射+Headers排序保证确定性dedup
- POC并发加载用channel替代Mutex收集结果
 2026-06-13 18:46:14 +08:00
ZacharyZcR 45ebe7040e 优化自适应扫描系统 & 修复 POC 调度问题
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
自适应扫描优化:
- target/ceiling 分离，自适应池可向上探索而非锁死在 target
- assessHealth 阈值按网络环境区分（LAN 收紧 / Internet 放宽）
- RTT 漂移时动态压低 target，配合 AIMD 双重降速
- 去掉 semaphore 双层流控，由 ants pool 统一反压
- 探测端口从 3 个扩充到 8 个，减少 RTT 采样偏差
- computeRetries 按环境调整目标概率和上限

Bug 修复:
- AdaptivePool.Wait() 加 10 分钟超时，防止 goroutine 卡死时永久挂起
- CEL 环境初始化失败后允许重试（sync.Once → sync.Mutex + 标志位）
- CAS 自旋加 runtime.Gosched() 退避，减少高并发下 CPU 空转
- -full 模式下 web 插件跳过 IsMarkedWebService 检查 #588
- 不确定服务补做 HTTP 回退探测，覆盖自定义框架漏网场景
- POC sets 纯字面量值跳过 CEL 编译，消除大量误报错误日志
 2026-06-13 12:39:24 +08:00
ZacharyZcR 15a7670ba2 Harden scan robustness and tests 2026-06-13 07:55:37 +08:00
ZacharyZcR 1595c92aed feat: 统一服务缓存 + 指纹驱动插件匹配
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
将 webServiceCache 扩展为通用 serviceCache，所有指纹识别结果
统一缓存，插件匹配时端口不命中则回退到服务名称匹配。

删除多余的 service_cache.go，复用已有的 ServiceInfo 体系。
补充 nil 防御、Explicit 标记、大量单元/集成/回归测试。
 2026-06-12 19:49:07 +08:00
ZacharyZcR 0918eb38a6 fix: 移除误导性的"无可用插件"日志 #588 
扫描开始前的插件预检基于端口列表静态匹配，不代表实际扫描中插件
不会执行。移除"无可用插件"提示，避免用户误以为插件未工作。
 2026-06-12 16:36:27 +08:00
ZacharyZcR 5b7e72e56e Fix credential cleanup and explicit tuning flags 2026-06-12 15:30:44 +08:00
ZacharyZcR f883944b2b feat: 自适应并发调度 — 网络探测 + AIMD + 参数智能推导 
扫描前自动探测网络环境（RTT、丢包率、fd limit），基于探测数据
推导 6 个关键参数，替代硬编码默认值：

- Timeout: median_RTT + 4σ（覆盖 99.9% 正常连接）
- ModuleThreadNum: target_concurrency / 30
- MaxRetries: ceil(log(0.01)/log(loss_rate))（全失败概率 <1%）
- ICMPRate: 环境基准 × fd 系数
- PocNum: 跟随 ModuleThreadNum
- DisablePing: 已有 ICMP 权限降级机制

线程池从单信号（资源耗尽率）升级为 AIMD + 慢启动：
- 慢启动：target/4 起步，500ms 翻倍
- 稳态 AIMD：健康 +5%，拥塞 ×0.5
- 双信号：资源耗尽率 + RTT 趋势（双 EMA）

用户 -t 显式指定时作为 ceiling，探测仍调整其他参数。

测试：单元 + 边界 + 集成 + 真实网络，core 包 580+ 用例全通过。
 2026-06-12 09:46:02 +08:00
ZacharyZcR 683707fcd4 feat: Web 版独立入口 + SQLite 持久化存储
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
- 拆分 main.go 为 main_cli.go 和 main_web.go，Web 版不再包含 CLI 参数解析
- Web 版直接启动 HTTP 服务，通过 -port/-lang 控制，无需 -web flag
- 结果存储从内存 map 替换为 SQLite（modernc.org/sqlite，纯 Go 零 CGO）
- 数据库文件 ~/.fscan/results.db，进程重启后结果不丢失
- 修复结果分布面板跟随 tab 筛选联动的问题
 2026-06-12 05:17:26 +08:00
ZacharyZcR 942f0fa6c3 fix: web API 版本号改为动态获取，不再硬编码 2026-06-01 08:34:42 +08:00
ZacharyZcR a02eed0518 refactor: mylib 重命名为 libs 
更清晰的目录命名，libs/ 存放内嵌的独立协议实现库。
 2026-06-01 08:22:13 +08:00
ZacharyZcR 019d13c9d4 chore: 版本号更新为 2.2.0-rc 
- README/README_EN 版本标记更新
- globals.go version 常量更新
- 移除 Issue 模板中不可用的安全报告链接
 2026-06-01 08:20:01 +08:00
ZacharyZcR 569d21a8bc fix: harden address parsing edge cases 2026-06-01 04:03:46 +08:00
ZacharyZcR 8ec96bfe6d fix: harden scan edge cases 2026-06-01 03:32:13 +08:00
ZacharyZcR 8b558b4f12 fix: align atomic counters on arm 2026-06-01 03:03:40 +08:00
ZacharyZcR 3e4e2db722 feat: stream large host scans 2026-06-01 02:55:28 +08:00
ZacharyZcR ac755a9b4a test: avoid expanding massive CIDRs 2026-06-01 02:33:10 +08:00
ZacharyZcR ea17b5b1bc feat: allow multiple added passwords 
Fixes #584
 2026-06-01 02:06:15 +08:00
ZacharyZcR bfc0e0fb52 fix: support SOCKS5 proxy auth 
Fixes #585
 2026-06-01 01:59:08 +08:00
ZacharyZcR 40b0eee654 Remove SimpleMaxHosts limit to fix large CIDR scanning
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details 
Closes #583
 2026-05-27 16:16:42 +08:00
ZacharyZcR 8d30ee334c Add native protocol service plugins
测试构建 / 代码检查 (push) Has been cancelled
Details
测试构建 / 单元测试和构建 (push) Has been cancelled
Details
测试构建 / 构建验证 (push) Has been cancelled
Details
2026-05-23 15:51:50 +08:00
ZacharyZcR 73cbe803c4 Expand i18n coverage 2026-05-23 15:18:40 +08:00
ZacharyZcR a1588a321f feat: SDK agent integration + UDP plugin framework + SNMP plugin 
SDK enhancements for endpoint agent embedding:
- ScanWithController for pause/resume and live stats
- OnProgress callback for periodic progress reporting
- TaskID injection into every scan result
- ScanController with goroutine-safe pause/resume/stats
- Multi-target stats aggregation (race-free)

UDP plugin infrastructure:
- PluginTypeUDP registry with dedicated dispatch path
- DialUDP on ScanSession with rate limiting and packet counting
- UDP plugins bypass TCP port scan, probe targets directly
- FilterService excludes UDP plugins from TCP port matching

SNMP plugin (first UDP plugin):
- SNMPv2c GetRequest probe for sysDescr detection
- Community string brute force (public/private/community/etc)
- Pure stdlib implementation (encoding/asn1)
- Registered as safe default plugin on port 161/UDP

Tests: 95.7% SDK coverage, race-free, 50+ new test cases
 2026-05-18 23:11:39 +08:00
ZacharyZcR 5942d3bbcb preserve sdk host language state 2026-05-18 17:43:00 +08:00
ZacharyZcR c16aa04e28 isolate session network checks 2026-05-18 17:11:24 +08:00
ZacharyZcR 856eeccd78 respect per-call session dial timeouts 2026-05-18 16:35:58 +08:00
ZacharyZcR adb3ac5b74 add session-aware scan logging 2026-05-18 16:19:34 +08:00
ZacharyZcR 8de7570268 allow concurrent embedded scans 2026-05-18 16:11:41 +08:00
ZacharyZcR 6605c93dd9 improve embedded scanner runtime 2026-05-18 14:53:00 +08:00
ZacharyZcR 6bfa05cb45 add embeddable scanner SDK 2026-05-18 14:41:15 +08:00
ZacharyZcR 639298b7c8 修复全部SA1006: fmt.Errorf(i18n)统一使用"%s"前缀 2026-05-18 05:17:40 +08:00
ZacharyZcR f427f04d35 修复SA1006: fmt.Errorf(i18n.Tr)改用fmt.Errorf("%s", ...) 2026-05-18 05:08:34 +08:00