日前OpenAI方面宣布，已将GPT-4 Turbo的速率上限全面调高一倍，并完全取消了GPT-4 Turbo的每日限制。目前，GPT-4 Turbo每分钟最多可处理150万个token（TPM）。
据了解，GPT-4 Turbo于2023年11月召开的DevDay上首次亮相，是目前OpenAI已公布最强大的大模型。相比GPT-4，GPT-4 Turbo支持128k的上下文窗口，可在单个prompt中处理超过300页的文本，且输入token价格是GPT-4的三分之一，输出token价格是GPT-4的二分之一。
而速率限制则是OpenAI API对开发者或产品用户，在指定时间段内访问其服务器的次数增加的一种服务限制。目前OpenAI一共使用了RPM（每分钟请求数）、RPD（每天请求数）、TPM（每分钟tokens数量）、TPD（每天tokens数量）和IPM（每分钟图像数量）等5种速率限制，任何一种请求都可能触发速率限制。
但需要注意的是，速率限制是对组织级别实施的，对个体用户并无影响，且速率限制因所使用的模式而异，用户可以在账户设置中的 "限制"板块查看速率和使用限制。
对此OpenAI方面表示，进行速率限制是因为此举有助于防止API被滥用或误用，例如黑客可能会向API提出大量请求，致使服务器超载或宕机，还将有助于确保每个开发者都能公平地访问API，例如如果某一个开发者或一个组织频繁提出过多的服务请求，可能会导致其他所有人都无法使用API，以及有效帮助该公司管理基础设施的总负载。
值得一提的是，不久前OpenAI方面还宣布ChatGPT正在测试“记忆”（Memory）功能。据了解，通过该功能，用户可以要求ChatGPT记住哪些内容，也能让它忘记一些特定的内容。例如，如果用户曾与ChatGPT提到过“我有个蹒跚学步的孩子，她喜欢水母”，那么后续当其让ChatGPT帮忙为孩子制作生日贺卡时，就会建议画一只戴着派对帽的水母。
据悉，OpenAI最初将向小范围的免费和付费ChatGPT用户提供这一功能，并计划在更广泛的推广前，审查首批用户的反馈意见。而对于该功能可能涉及的隐私和个人信息安全问题，OpenAI产品负责人Joanne Jang表示，ChatGPT已试图引导用户避免向其提供敏感的个人信息、如密码或证件号码，而且“记忆”功能的一个设计就是拒绝保存此类数据。
【本文图片来自网络】
