什么是Token?为什么GPT基于Token定价

间隙填充
正睿科技  发布时间:2024-06-05 10:32:39  浏览数:1075

关于正睿.png

1. 什么是 Token?


GPT不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 token 来处理。


2850086000519984817.20240527150118.03290644442993628260100938358947.png

所以Token通常指的是:文本中可以被视为一个单独单位的元素,比如单词、数字或符号。


比如:我们文章经常用到的开篇问候,“大家好,我是运营黑客。”


其中每个词、标点“大家”、“好”、“我”、“是”、“运营黑客”,以及中间出现的“,”和“。”,都可以被视作一个 Token。


对于文本类生成式AI来说,“Token”扮演着至关重要的角色。我们跟 ChatGPT 对话时,它通常分两步走:

  1. 第一步:将输入的内容分解成一个个 Token;

  2. 第二步:结合这些 Token 生成回应。

2850086000519984817.20240527150118.41296299586323295362383074262778.png

2.GPT如何计算token数?



了解Token含义后,就很容易的明白token计费逻辑。

GPT token 的计算包含两部分。输入给 GPT 模型的 token 数和 GPT 模型生成文本的 token 数。

例如,你提问耗费了 100 token,GPT 根据你的输入,生成文本(也就是回答)了 200 token,那么一共消费的 token 数就是 300 。

在实际定价的过程中,因输入和输出token所带来的成本差异,所以会区分定价。

包含GPT在内的几乎所有的LLM的API都采用了Token计费模式:

例1:

2850086000519984817.20240527150118.66608762710001322561149399000662.png

例2:

2850086000519984817.20240527150118.98412395082736221868416355305208.png

例3:

2850086000519984817.20240527150118.42171504218982271824771928470626.png

问题没解决? 我们帮您!

如果您在本文中未能找到解决当前问题的办法,不用担心——正睿专业技术支持团队随时待命

服务项目.png

获取更多帮助

参考链接:

https://www.zhihu.com/question/594159910/answer/3356500890

https://www.zhihu.com/question/594159910/answer/2972923596

文章来源:华为云社区 作者:开天aPaaS小助手Tracy