如何阻止ChatGPT插件从网站上爬取内容
Chat Generative Pre-trained Transformer（ChatGPT）自2022年11月推出以来，已经成为互联网空间中的常见名词。ChatGPT是由OpenAI创建的语言模型，它使用深度学习技术根据用户输入自然地进行回应。
ChatGPT及其类似的人工智能技术的引入对互联网空间带来了褒贬不一的感受。一方面，有些用户非常赞赏这项技术，并将其用于提高效率和执行不同的任务。另一方面，有一群人担心ChatGPT会夺走他们的工作。
然而，我们的重点不是上述两组人，而是内容创作者/网站所有者。本文将讨论为什么有人可能考虑不允许ChatGPT访问他们的网站，介绍ChatGPT插件，并讨论如何阻止这些插件访问网站。
什么是ChatGPT插件？
当ChatGPT首次推出时，内容创作者迅速制作了大量内容来解释如何使用这项新技术。互联网和社交媒体空间充满了关于如何使用ChatGPT的内容。
另一方面，OpenAI的开发人员和个人也一直不知疲倦地改进这项技术。ChatGPT有多个版本；截至本文撰写时，ChatGPT-4是最新版本。插件支持的引入是最近引入的改进之一。
ChatGPT plugins是可以集成到这个语言模型中以改进其功能和提升体验的工具或自定义模块。这些插件旨在与ChatGPT配合使用，提供更个性化的结果和改善功能。
到目前为止，OpenAI已经创建了两个插件，一个是web browser，另一个是code interpreter。然而，它还允许选择的开发人员根据其文档创建第三方插件。
ChatGPT插件如何影响SEO和网站所有者？
自2022年底引入ChatGPT以来，“公平”使用网站内容一直是一个热门争论话题。这个争论并不新鲜，自互联网问世以来就一直存在。
一些网站所有者认为ChatGPT“扼杀”了他们所有的SEO努力。我们有ChatGPT插件在互联网上收集数据并根据其给出回应。目前的ChatGPT browser plugin uses Bing API用于搜索互联网，总结答案并给出源链接。
如果用户对答案满意，他们可能不会觉得有必要访问您的网站，这意味着有人使用了您的内容，但您无法从阅读量或甚至推广链接的佣金中受益。如果用户需要了解更多，他们始终可以通过提供的链接访问您的网站。
悲哀，对吧？通常情况下，如果另一个网站将您的内容用于研究目的，它应该在其平台上予以说明并链接回您的网站。
如何使用robots.txt停止ChatGPT插件访问网站内容
ChatGPT插件使用ChatGPT-User机器人。除非另有指示，ChatGPT-User机器人将假设有权从您的网站抓取内容。值得注意的是，该机器人并非设计成自动爬取内容。但它被设计成代表ChatGPT用户采取直接行动。
OpenAI’s official documentation指导网站所有者如何阻止ChatGPT插件爬取其内容。您需要做出的唯一更改是在您的robots.txt文件中。
要检查您的网站上是否有robots.txt文件，请将/robots.txt添加到您的域名中。
例如，www.example.com的robots.txt文件可以在www.example.com/robots.txt找到。
如何打开robots.txt文件进行编辑
您将采取的方法将取决于您拥有的网站的性质。我们将探讨如何编辑基于WordPress的网站、自定义托管的网站和Webflow网站的方法；
基于WordPress的网站
您可以使用插件，例如Yoast SEO。按照以下步骤进行操作：
- 登录WordPress站点后，点击左侧菜单中的“Yoast SEO”。
- 在下拉菜单中点击“工具”。
- 点击“文件编辑器”
- 如果您已经有一个robots.txt文件，您将在那里看到它，点击它，然后您可以进行编辑。
自定义托管网站
如果您有一个从头开始创建的网站，您也可以编辑其robots.txt文件。按照以下步骤进行操作：
- 通过FTP、Plesk或cPanel等网页界面访问网站的文件管理器。
- 导航到根目录。
- 创建或打开一个robots.txt文件，为下一步做好准备。
基于Webflow的网站
按照以下步骤进行操作：
- 登录您的Webflow网站
- 进入“设置”
- 点击“SEO”选项卡，然后点击“索引”
- 打开robots.txt文件，为下一步做好准备。
找到这个文件后，您现在可以阻止ChatGPT插件。您可以采取两种方法：
- 阻止整个网站：这指示ChatGPT-User不要爬行您的整个网站。打开robots.txt文件并添加以下两行代码：
User-agent: ChatGPT-User
Disallow: /- 阻止网站的某些部分：如果您的网站上有多个页面，您可以决定只允许ChatGPT插件访问某些部分。您可以按照以下示例实施：
User-agent: ChatGPT-User
Disallow:
Allow: /directory-1/
Allow: /directory-2/在上面的示例中，使用ChatGPT-User的ChatGPT插件可以爬行directory-1和directory-2。但是，您网站的所有其他部分都不会被ChatGPT插件爬行。
注意：当您打开robots.txt时，不要删除内容，而是在末尾添加提供的代码行。
您是否应该阻止ChatGPT插件访问您的网站？
关于抄袭和版权的争论永远不会结束。因此，是否允许OpenAI机器人访问您的网站是个人的选择。当引入新技术时，人们总会有各种不同的反应。
一方面，您可能会觉得聊天插件使您失去了流量，从而导致收入减少。另一方面，OpenAI在其网站上表示，当其插件从第三方网站提取数据时，将引用所有来源。
我使用Microsoft New Bing输入了这个搜索查询“什么是ChatGPT插件”，并得到了如下截图中显示的结果：
正如您所见，结果被概括并给出了五个来源。
常见问题
ChatGPT插件和第三方插件有什么区别？
ChatGPT支持两种类型的插件，它自己的插件和第三方插件。正如名称所示，ChatGPT自己的插件是由OpenAI的工程师创建的。
到目前为止，该团队已经创建了Web浏览器和代码解释器插件。
另一方面，第三方插件是由不同公司的第三方开发人员创建的。这些插件已经经过预先批准，并且旨在为ChatGPT添加额外的功能。
我可以在免费计划中访问ChatGPT插件吗？
不可以。ChatGPT插件仅对ChatGPT Plus订阅用户提供。除了访问插件外，付费套餐还提供更快的响应速度，在高峰时段仍可访问，并优先访问新功能。
什么是网页抓取器？
网页抓取器是自动提取网络数据的脚本/程序。也被称为网络爬虫，网页抓取器访问网站并分析其数据并提取相关信息。这些程序可以用于市场研究、内容聚合、数据挖掘和价格比较。
网络抓取是否合法？
网络抓取的合法性经常是一个引发不同观点的热门话题。一般来说，为个人使用而提取公开的信息并不违法。然而，为了商业利益或提取受版权保护的内容而进行抓取是违法的。是否可以合法地抓取网站内容将取决于所涉及内容的性质。
我已禁止ChatGPT插件抓取我的网站。这会对SEO产生影响吗？
不会。然而，您应确保不禁用必要的搜索引擎机器人，如Bingbot和Googlebot，因为搜索引擎使用它们来抓取您的内容。您也可以禁用其他不需要的机器人以提高加载速度并防止内容被盗。
谁可以使用ChatGPT？
截至撰写时，对使用ChatGPT没有限制。您可以访问openai.com网站，创建一个免费账户并开始使用这个平台。您可以使用这项技术来编写代码、解释代码、生成网站和社交媒体页面的内容，以及编写诗歌、歌曲和演讲稿。然而，输出的性质将取决于您给这个语言模型的输入。
结论
我们希望您现在了解ChatGPT插件的工作原理，如何阻止它们抓取您的网站以及相关的影响。这些变化会产生深远的影响，并将始终将用户分为支持者和反对者。
人工智能已经与我们相伴多年。然而，大多数人从未意识到这一点。使用人工智能的程序示例包括在苹果设备上可用的Siri和检查语法错误和抄袭的写作助手Grammarly。
事实是ChatGPT、Bard和其他类似的人工智能技术不会很快消失。根据我们的测试，您可以在各种使用情况下使用ChatGPT-4。然而，您必须知道如何引导这些技术以获得正确输入的期望输出。
