65.9K
CodeProject 正在变化。 阅读更多。
Home

数字足迹映射器 - DFMAP

starIconstarIconstarIconstarIcon
emptyStarIcon
starIcon

4.90/5 (3投票s)

2014年8月19日

CPOL

4分钟阅读

viewsIcon

13922

downloadIcon

242

使用 DFMAP 了解您的数字形象 / 网络形象 / 互联网形象

下载次数

概述

数字足迹映射器 (DFMAP) 是一个全自动化的工具,可帮助识别组织在互联网上的足迹。数字足迹包含关键信息,这些信息可能被网络犯罪分子、竞争对手以及组织本身利用,用于跟踪和了解其数字形象。因此,了解组织在互联网上共享/泄露了哪些信息对组织来说至关重要。DFMAP 执行被动和半被动扫描,以识别组织的互联网形象/数字形象。

出于以下原因,数字形象对组织来说也至关重要:

  • 随着对互联网的持续攻击呈指数级增长,组织应充分了解在互联网上披露的信息类型。在互联网上泄露的敏感信息可能被匿名用户用于损害组织的资产,对组织造成声誉损害等。

  • 这将有助于更好地执行域名管理、库存管理以及管理您在互联网上的形象。

  • 这将反映人们的情绪,以及互联网上关于该组织的讨论内容。

  • 执行互联网形象分析无需事先批准,因为它执行被动和半被动的侦察,可用于通过分析竞争对手的数字形象/互联网形象来获得对其的洞察。

功能

以下是 DFMAP 支持的功能:
  1. 搜索引擎抓取(谷歌、雅虎、必应、Ask、Lycos)
  2. Robtex 搜索(搜索引擎抓取中识别的所有域名都将进行 Robtex 搜索。)
  3. 域名到主机/IP 映射
  4. 域名的 Whois 查询
  5. IP 地址的 Whois 查询
  6. 下载文件的元数据提取(pdf、xls、doc 等)(将下载公开可用的文件,然后使用 exiftool 从文档中提取元数据)
  7. 域名指纹识别(以被动方式识别远程操作系统,使用 p0f 工具。如果您选择执行此模块,请确保您的机器上已安装 p0f-3.06b。此模块需要您提供存储 p0f 输出的文件完整路径。例如,在目录 /home/john/tools/p0f-3.06b 下,您通过键入 "./p0f -i eth0 -o sample-capture.txt" 来运行 p0f 工具,那么该模块的输入将是 sample-capture.txt 文件的完整路径,在本例中为 /home/john/tools/p0f-3.06b/sample-capture.txt)
  8. Google Dorking(请在 conf/dorkqueries.txt 中明智地选择您的查询,因为它需要很长时间才能执行所有查询。默认情况下,查询数量为 2500+)
  9. Shodan(除了数据库中的条目外,还可以在 output/shodan-results.txt 下找到详细的 .txt 文件)
  10. 使用 nltk 包进行非结构化数据分析
  11. SSL 证书验证
  12. 技术统计 

依赖项

以下是执行数字足迹程序所需的依赖项。

  1. Python 2.7.5+
  2. MySQL 数据库
  3. Python MySQLdb 包
  4. webarticle2text
  5. nltk
  6. nltk.download()
  7. BeautifulSoup

屏幕截图

1. 下面的截图显示了从公开可用的文档(如 pdf 文件等)中提取的元数据,例如作者姓名。

2. 下面的截图显示了通过从公开可用的文档中提取元数据捕获的条目。
3. 下面的截图显示了从搜索引擎抓取中识别出的唯一域名的域名到 IP 映射。
4. 下面的截图显示了在各种域名上识别出的唯一 URL 列表。

5. 下面的截图显示了已识别的唯一域名的 Whois 信息条目。

6. 下面的截图显示了已识别的唯一域名的 Whois 信息条目。

7. 下面的截图显示了域名指纹识别信息,例如使用的 Web 服务器、使用的操作系统等。

8. 下面的截图显示了已识别的 IP 地址(托管域名的 IP 地址)的 Whois 信息条目。

9. 下面的截图显示了已识别的 IP 地址(托管域名的 IP 地址)的 Whois 信息条目。

10. 下面的截图显示了在各种域名上识别出的 SSL 证书参数条目,例如证书有效期、颁发者、主题等。

11. 下面的截图显示了在各种域名上识别出的 SSL 证书参数条目,例如证书有效期、颁发者、主题等。

12. 下面的截图显示了各种域名上使用的技术。

使用 DFMAP

参考

详细视频可在此处找到。

GitHub 源代码可在此处找到。

//
// Code can be used by typing the following command
#  python profiler.py
© . All rights reserved.