Cloudflare官宣支持Markdown for Agents：迎接AI时代的内容优化神器

随着互联网的飞速发展，内容和业务的在线发现模式正在迅速变化。过去，访问流量主要来自传统搜索引擎，搜索引擎优化（SEO）是关键。但现在，越来越多的流量来自人工智能（AI）爬虫和代理，这些智能系统需要从一个为人类构建的、常常无序的网络中提取结构化数据。

为什么Markdown对AI代理如此重要？

与其直接将复杂的HTML内容传递给AI，不如采用更简化的方式。使用Markdown格式的文本能够显著降低AI处理的复杂度和成本。例如，一个简单的“## About Us”标题在Markdown中仅需3个token，而其HTML版本至少需要12-15个token。这种简化将显著减少AI代理解析内容时的资源消耗。

然而，现实是当前网络的大部分内容由HTML构成，且页面的实际大小随着时间推移在逐渐增加，让AI系统更加难以高效解析内容。将HTML转换为Markdown虽然是一种解决方案，但这种转换通常伴随额外的计算、成本和复杂度。

Cloudflare的解决方案：实时HTML转Markdown

Cloudflare推出了一个新的工具——Markdown for Agents。这一功能允许AI系统通过Cloudflare的网络实时请求并获取经过Markdown格式化的网页内容。

• 通过开启动态内容转换，开发者可以向网页请求Accept: text/markdown头部信息。
• Cloudflare将在分析请求后自动对HTML内容进行转换，并为AI代理返回更高效、更简洁的Markdown格式数据。

以下是一个使用curl的实例，展示如何通过Accept头部请求Markdown格式的页面：

curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \n  -H "Accept: text/markdown"

更高效的内容消耗与Token计数

Markdown for Agents不仅提供了内容的Markdown版本，还增添了额外的标头信息，包括x-markdown-tokens，显示转换后Markdown文档的Token数量。这对于设定AI系统的上下文窗口大小以及优化分段策略等功能非常有用。

内容信号：确保AI代理的正确使用

使用Markdown格式的同时，内容信号（Content Signals）能够为内容的用途提供更精确的控制。例如，标头Content-Signal: ai-train=yes, search=yes, ai-input=yes可用于指明内容可以被用于AI训练、搜索结果以及代理输入。

如何启用Markdown for Agents功能？

企业现在可以在Cloudflare控制台中激活这一功能：

1. 登录Cloudflare控制台。
2. 选择您的账户和相关的区域（Zone）。
3. 找到“快速操作”（Quick Actions）选项，打开“Markdown for Agents”功能。

此功能目前为测试版，适用于Pro、Business、Enterprise计划用户以及SSL for SaaS客户，且不收取额外费用。

未来展望与更多资源

Cloudflare正在持续更新和优化Markdown for Agents功能，同时提供了多种其他实用工具，如通过Workers AI或REST API进行文档转换。您可以在Cloudflare开发者文档找到更多信息，了解如何利用这些工具来满足特定需求。

此外，为了更好地追踪AI系统对网络内容消费的方式，Cloudflare Radar新增了AI代理和爬虫流量的内容类型洞察功能。此功能显示按MIME类型分类的内容类型分布，为未来AI如何浏览Web提供了宝贵的分析数据。

现在就是步入AI优化时代的机会！开通Markdown for Agents为您的业务创造更多可能，从而在AI时代的数字竞争中保持领先优势。