使用 ChatGPT、React 和 Node.js 创建网站聚合器的源码

23-01-12 banq

这个聚合器从网站抓取内容并使用 ChatGPT 确定网站的标题和描述。项目点击标题

网站聚合器是一种从互联网上的其他网站收集数据并将信息放在访问者可以访问的地方的网站。
网站聚合器有很多版本；有些是搜索引擎，例如 Google 和 Duck Duck go，有些可以有更多的Product Hunt结构，您可以在其中看到图片和短文本。
您通常会抓取网站，获取他们的元标签和 h1-6 标签，扫描他们的 sitemap.xml，并使用某种模式对信息进行排序。

这个项目不同之处：把整个网站的内容，发送到ChatGPT，让他们给出需要的信息。

因为无法通过公共 API 访问 ChatGPT。相反，我们可以使用网络抓取技术来访问它。这涉及自动化登录 OpenAI 网站、解决验证码（您可以为此使用 2captcha）以及使用 OpenAI cookie 发送 API 请求的过程。幸运的是，有一个公共图书馆可以为我们处理这些任务。请记住，这不是正式的 API，因此如果您尝试发出大量请求，您可能会遇到限制。此外，它不适合实时请求。如果要使用它，请考虑为后台处理实现一个队列系统。

详细教程，源码点击标题。