Microsoft Content Management Server 搜索页面

• 下载源文件 - 8.56 Kb

引言

这个抓取结果用户控件为搜索引擎提供一个起始页面，用于抓取 内容管理服务器 (MCMS) 网站。

出于搜索目的，建议当浏览器用户代理被检测为机器人时，隐藏网站的导航菜单。这可以防止导航菜单中的单词出现在用户搜索这些单词时，搜索结果的每个页面中。关闭导航菜单后，搜索爬虫将无法抓取所有页面。此用户控件生成指向频道和帖子的链接，并允许搜索引擎递归地抓取所有页面。

由于用户控件不会一次性生成指向所有频道和帖子的链接，因此它可以扩展到大型站点。应该在使用用户控件的抓取页面中包含 NOINDEX,FOLLOW 的元机器人标签，以便爬虫不会索引频道和帖子列表，但会跟踪它们。

包含 C# 和 VB.NET 两个版本。

安装

1. 将 CrawlResults.ascx 及其代码隐藏文件复制到 MCMS 站点中的用户控件目录。
2. 创建一个 ASPX 页面并插入 CrawlResults.ascx。将 StartChannelPath 属性更改为 MCMS 站点的根目录。例如

   <%@ Register TagPrefix="uc1" TagName="CrawlResults" 
               Src="~/UserControls/CrawlResults.ascx" %>
   . . .
   . . .
   <uc1:CrawlResults id="CrawlResults" 
     StartChannelPath="/Channels/WoodgroveNet" runat="server">
   </uc1:CrawlResults>

3. 将以下元标记添加到 ASPX 页面中的 HTML 标头中

   <meta name="ROBOTS" CONTENT="NOINDEX,FOLLOW">

4. 在搜索引擎中，将内容源的起始页设置为 ASPX 页面的 URL。 例如，http://<服务器名称>/<站点名称>/crawlpage.aspx。

历史

• V1.0 - 2004.09.05 - 基本版。
• V1.1 - 2005.02.12 - 将页面转换为用户控件。 添加了指定起始频道路径的选项。
• V1.2 - 2006.05.14 - 添加了 ASP.NET 2.0 版本。