在当今数字化时代，数据的高效处理与利用成为众多领域关注的焦点，人工智能领域也不例外。近期，Firecrawl 推出了一项创新功能——LLMs.txt 生成器接口（Alpha 版），为影视从业者及相关研究人员提供了一种全新的数据处理解决方案。通过该接口，用户可以将任意网站的内容转化为适合大语言模型（LLM）训练的文本文件，极大地提高了数据的可用性和处理效率。
这项功能的运作方式十分直观。用户仅需输入一个网站的 URL，Firecrawl 就会自动对该网站及其链接页面进行深度抓取，提取出清晰且富有价值的文本信息。最终生成的文本文件分为两种格式：llms.txt 和 llms-full.txt。其中，llms.txt 提供了网站内容的精炼总结，聚焦于关键信息，适合快速浏览和初步分析；而 llms-full.txt 则包含了更为详尽的完整文本内容，为需要深入研究的用户提供了丰富的素材。
在使用该生成器时，用户可以根据自身需求灵活设置关键参数。除了必填的 “url” 参数外，用户还可以通过 “maxUrls” 参数控制爬取的页面数量，范围从1到100页，默认值为10页。此外，用户还可以选择是否生成 llms-full.txt 文件，其默认设置为不生成，这为用户提供了更多的自主性。
值得一提的是，LLMs.txt 生成器的运行方式是异步的，这意味着用户可以在发起请求后实时监测生成状态。系统会实时反馈进度信息，如 “正在进行中” 或 “已完成”，让用户能够随时掌握任务的执行情况，从而更好地安排工作流程。
然而，由于目前该功能仍处于 Alpha 阶段，因此存在一些已知的限制。首先，该生成器仅支持公开可访问的页面，对于登录保护或付费墙内的内容则无法进行处理。其次，在 Alpha 阶段，处理的网站数量上限被设定为5000个 URL。此外，作为一种尚在测试中的特性，其输出格式和处理流程可能会根据用户的反馈进行相应的调整，以更好地满足用户需求。
在计费方面，LLMs.txt 生成器的费用是基于处理的 URL 数量来计算的。基本费用为每处理一个 URL 消耗1个积分。用户可以通过合理设置 maxUrls 参数来有效控制费用支出，从而在满足需求的同时实现成本的优化。
感兴趣的用户可以通过以下链接深入了解并体验这项功能：https://docs.firecrawl.dev/features/alpha/llmstxt
划重点：
🌐 输入网站 URL，即可快速生成适用于 LLM 的文本文件。
📝 提供两种文本格式，满足不同用户的需求。
🔒 仅支持公开页面处理，且在 Alpha 阶段有数量限制。
