smicallef/spiderfoot

来源: https://github.com/smicallef/spiderfoot
许可证 (https://raw.githubusercontent.com/smicallef/spiderfoot/master/LICENSE)
Python 版本 (https://www.python.org)
稳定版发布 (https://github.com/smicallef/spiderfoot/releases/tag/v4.0)
CI 状态 (https://github.com/smicallef/spiderfoot/actions?query=workflow%3A“Tests“)
最新提交 (https://github.com/smicallef/spiderfoot/commits/master)
Codecov 覆盖率 (https://codecov.io/github/smicallef/spiderfoot)
Twitter 关注 (https://twitter.com/spiderfoot)
Discord (https://discord.gg/vyvztrG)

SpiderFoot 是一款开源情报（OSINT）自动化工具。它可以集成几乎所有可用的数据源，并利用多种方法进行数据分析，使得数据易于浏览。SpiderFoot 内置了一个 Web 服务器，提供简洁直观的基于 Web 的界面，但也可完全通过命令行使用。它使用 Python 3 编写，采用 MIT 许可证。

功能特性

• 基于 Web 的 UI 或 CLI
• 超过 200 个模块（见下文）
• Python 3.7+
• 支持 YAML 配置的关联规则引擎，内置 37 条预定义规则
• CSV/JSON/GEXF 导出
• API 密钥导入/导出
• 基于 SQLite 的后端，支持自定义查询
• 高度可配置
• 完整的文档
• 可视化
• 集成 TOR 用于暗网搜索
• 提供 Dockerfile 支持 Docker 部署
• 可调用其他工具，如 DNSTwist、Whatweb、Nmap 和 CMSeeK
• 自 2012 年以来持续开发！(https://medium.com/@micallst/lessons-learned-from-my-10-year-open-source-project-4a4c8c2b4f64)

想要更多？

需要从 SpiderFoot 中获得更多功能？请查看 SpiderFoot HX (https://www.spiderfoot.net/hx) 以获得：

• 100% 云端托管，无需自己管理
• 攻击面监控，通过电子邮件、REST 和 Slack 发送变更通知
• 每次扫描支持多个目标
• 多用户协作
• 身份认证及双因素认证
• 调查功能
• 客户支持
• 预装并配置好的第三方工具
• 通过完整的 RESTful API 驱动
• 内置 TOR 集成
• 截图功能
• 携带您自己的 Python SpiderFoot 模块
• 将扫描数据发送到 Splunk、ElasticSearch 和 REST 端点

查看 SpiderFoot HX 与开源版本的完整区别 (https://www.spiderfoot.net/open-source-vs-hx/)。

用途

SpiderFoot 可用于攻击性场景（例如红队演练或渗透测试）中对目标进行侦察，也可用于防御性场景，收集关于您或您的组织可能在互联网上暴露的信息。

在 SpiderFoot 扫描中，您可以针对以下实体：

• IP 地址
• 域名/子域名
• 主机名
• 网络子网（CIDR）
• ASN
• 电子邮件地址
• 电话号码
• 用户名
• 人物姓名
• 比特币地址

SpiderFoot 的 200+ 个模块以发布/订阅模式相互配合，确保最大程度的数据提取，可完成以下任务：

• 主机/子域名/TLD 枚举与提取 (https://asciinema.org/a/295912)
• 电子邮件地址、电话号码和人员姓名提取 (https://asciinema.org/a/295947)
• 比特币和以太坊地址提取 (https://asciinema.org/a/295957)
• 检测子域名劫持的脆弱性 (https://asciinema.org/a/344377)
• DNS 区域传输
• 威胁情报和黑名单查询 (https://asciinema.org/a/295949)
• 与 SHODAN (https://asciinema.org/a/127601)、HaveIBeenPwned (https://asciinema.org/a/128731)、GreyNoise (https://asciinema.org/a/295943)、AlienVault、SecurityTrails 等 API 集成
• 社交媒体账号枚举 (https://asciinema.org/a/295923)
• S3/Azure/Digitalocean 存储桶枚举与抓取 (https://asciinema.org/a/295941)
• IP 地理位置定位
• 网页抓取、网页内容分析
• 图像、文档和二进制文件的元数据分析 (https://asciinema.org/a/296274)
• 暗网搜索
• 端口扫描和 Banner 抓取 (https://asciinema.org/a/295939)
• 数据泄露搜索 (https://asciinema.org/a/296145)
• 更多功能…

安装与运行

要安装并运行 SpiderFoot，您至少需要 Python 3.7 以及一些 Python 库，可以通过 pip 安装这些库。我们建议您安装打包版本，因为 master 分支通常包含尚未完全测试的尖端功能和模块。

稳定版（打包发布）：

wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz
tar zxvf v4.0.tar.gz
cd spiderfoot-4.0
pip3 install -r requirements.txt
python3 ./sf.py -l 127.0.0.1:5001

开发版（克隆 git master 分支）：

git clone https://github.com/smicallef/spiderfoot.git
cd spiderfoot
pip3 install -r requirements.txt
python3 ./sf.py -l 127.0.0.1:5001

查看文档 (https://www.spiderfoot.net/documentation) 和我们的 asciinema 视频 (https://asciinema.org/~spiderfoot) 以获取更多教程。

社区

无论您是贡献者、用户，还是仅仅对 SpiderFoot 和 OSINT 感兴趣，我们都很高兴您加入我们的社区！SpiderFoot 现在有一个 Discord 服务器 (https://discord.gg/vyvztrG)，可以在其中寻求社区帮助、请求功能，或者进行一般的 OSINT 闲聊。

编写关联规则

我们在此处提供了 SpiderFoot 4.0 引入的关联规则集的详细说明和参考。此外，请查看 template.yaml 文件以了解操作方式。现有的 37 条规则 也相当易读，可以作为新增规则的起点。

模块 / 集成

SpiderFoot 拥有超过 200 个模块，其中大部分不需要 API 密钥，而许多需要 API 密钥的模块也包含免费套餐。