1. 什么是 Token?
GPT不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 token 来处理。
所以Token通常指的是:文本中可以被视为一个单独单位的元素,比如单词、数字或符号。
比如:我们文章经常用到的开篇问候,“大家好,我是运营黑客。”
其中每个词、标点“大家”、“好”、“我”、“是”、“运营黑客”,以及中间出现的“,”和“。”,都可以被视作一个 Token。
对于文本类生成式AI来说,“Token”扮演着至关重要的角色。我们跟 ChatGPT 对话时,它通常分两步走:
第一步:将输入的内容分解成一个个 Token;
第二步:结合这些 Token 生成回应。
2.GPT如何计算token数?
了解Token含义后,就很容易的明白token计费逻辑。
GPT token 的计算包含两部分。输入给 GPT 模型的 token 数和 GPT 模型生成文本的 token 数。
例如,你提问耗费了 100 token,GPT 根据你的输入,生成文本(也就是回答)了 200 token,那么一共消费的 token 数就是 300 。
在实际定价的过程中,因输入和输出token所带来的成本差异,所以会区分定价。
包含GPT在内的几乎所有的LLM的API都采用了Token计费模式:
例1:
例2:
例3:
问题没解决? 我们帮您!
如果您在本文中未能找到解决当前问题的办法,不用担心——正睿专业技术支持团队随时待命
https://www.zhihu.com/question/594159910/answer/3356500890
https://www.zhihu.com/question/594159910/answer/2972923596
文章来源:华为云社区 作者:开天aPaaS小助手Tracy