立即开户
快速上手技巧,轻松学会,高效掌握！
快速上手技巧,轻松学会,高效掌握！
故事的开端，是一位华裔博主年初在TikTok上发帖分享驱寒保暖、少吃生冷食品等健康生活习惯，并半开玩笑地发出“指令”：“从明天开始，你要变成中国人了。”视频累计获得近300万浏览量，这位博主的操作也引发各国网友集体模仿。
富灯网配资在不久前举行的中国发展高层论坛年会上，国度数据局局长刘烈宏给一个东谈主工智能范畴的中枢想法Token赋予了汉文名——词元。那么，Token（词元）到底是什么？东谈主工智能和数据产业的畴昔会如何？请听中国工程院院士王坚在央视财经频谈“中国经济大讲堂”上的解读。
中国工程院院士王坚。（汉典图片）
『大模子处理文本的最小单元』
东谈主类发展的速率极度快，之前是信息期间，很快又过问了AI期间。然则，在很万古辰里，咱们并莫得把信息和数据进行很好的差异。咱们昔日讲的比特、字节皆是信息的计量单元，在很万古辰里咱们也用这些计量单元来接头数据。而Token（词元）这一想法的出现，使数据有了明确的计量单元。这是把数据和信息差异开来的一个极度紧要的分水岭。
Token（词元）是大模子理会、处理、生成信息的最小单元。打个比喻，在昔日的信息范畴，一般情况下咱们是用两个字节抒发一个汉字，是以，若是要抒发“我可爱你”，加起来即是8个字节。而在AI模子中，如何把“我可爱你”这4个字拆成最小的数据单元呢？按照咱们的理会，“我”是一个最小的单元，“可爱”是一个最小的单元，“你”是一个最小的单元。但是从Token的角度来看并不是这样，“我可爱”可能是一个最小的单元，那么“我可爱你”就变成了两个Token。在许多场景中，它跟咱们平时的老师是不一致的。是以，Token（词元）是以它我方的方式组合、供模子处理信息的最小基础单元，它更像是一个“词块”，不错是一个完竣的词、一个常见短语，致使是一个标点象征或特殊字符。
同期，Token（词元）亦然AI范畴的计量单元。用平凡的话来说，Token（词元）这个想法像咱们平时讲的斤、两之类的计量单元。而且，就像生计中一斤肉比一斤青菜贵相通，不同的Token（词元）也有不同的价值。若是一种Token（词元）背后消耗的资源比较多、生成比较复杂，那么它自身就比较有价值，可能这种Token（词元）就会贵一些。是以，Token（词元）弗成浮浅地等同于货币，它是数据的通用计量单元。
Token（词元）在东谈主工智能范畴被人人所意识，是因为2017年发表的一篇著述《你所需要的仅仅细巧力》。这篇著述由谷歌的8位科学家创作，其中淡薄的Transformer架组成为东谈主工智能模子的基石，同期也淡薄了Token（词元）这个想法。Token（词元）的出现，意味着数据有了我方的“东谈主格”，数据有了我方孤苦的身份。也即是说，任何数据若是莫得Token（词元）的身份，就进不了东谈主工智能模子。
咱们平时使用的普通的数据，也称为原始数据。东谈主工智能模子使用原始数据之前，率先必须把总共的数据Token（词元）化。咱们不错把模子理会成一个“翰墨翻译器”，但它并不像东谈主类那样胜仗理会句子或段落，它必须先将输入的翰墨切分红一个个小块，然后给每个小块分拨一个唯独的数字ID，再把这些数字交给神经网罗进行接头。这些被切分出来的“小块”，即是Token（词元）。它既不是英文里的单词，也不是汉文里的字，它是以它我方的方式组合的最小单元。
东谈主工智能模子的开动逻辑，即是找到不同Token（词元）之间的关系。试想一下，要教师一个大言语模子，可能要用上亿个Token（词元），是以就要找准它们之间的关系，何况很好地在模子中抒发出来。当大模子与某个附近蚁合时，比如你向大模子发问，它就会在算力“算”完后输出相应的Token（词元）四肢谜底。
总之，Token（词元）是大模子处理文本的最小单元，它轮廓响应了数据的价值以及模子的猛烈、算力的若干，是以，Token（词元）是AI系统开动的中枢。
（视觉中国供图）
『标记着数据因素市集的开启』
在东谈主工智能大模子范畴，Token（词元）是推测算力与资本的计量单元，因此它具有可计量、可订价、可来回的特征。
在Token（词元）出现之前，数据的价值很难界定。但跟着东谈主工智能的发展，原始数据变成了Token（词元），Token（词元）通过大模子以一定的方式进行畅通，并向那些附近东谈主工智能的消费者收取一定的用度。不错说，Token（词元）使数据自身完成了丽都转型。
若是莫得基本的计量单元，是不可能酿成一个新兴产业的。打个比喻，你跑到菜市集去买菜，若是莫得计量单元，称不出几斤几两，这个菜市集就不建设。卖鱼的、卖肉的、卖鸡鸭的皆莫得长入的计量单元，那是难以酿成一定的经济范畴的。这亦然昔日数据因素市集一直莫得莳植起来的主要原因。
因此，Token（词元）的出现，事实上标记着数据因素市集的开启。这是一件具有潜入真谛的事情。咱们知谈，一个东西在市集上畅通时，它会经过许多东谈主的手，每次过手的时候，它皆要作念一次结算。有了Token（词元）这样一个可计量、可计价的单元，就意味着总共的数据在畅通经过中不错自动结算，这将使产业链的资本大大裁减，畅通速率大大加速，并成为东谈主工智能产业营业化的紧要旅途。将来，当一个企业为另一个企业坐褥Token（词元）时，它们在网罗上不错应对完成来回，因此，数据因素市集将比其他因素市集愈加高效。
莫得任何一家企业是不错不和坐褥因素市集打交谈的。是以，咱们一定要把Token（词元）放到数据因素市集的配景下，而不是浮浅地放到东谈主工智能的配景下去理会。
我认为，新的数据因素市集的出现，对创新式企业、中小企业、初创企业可能会愈加友好。因为，大多数传统企业会更多享受传统因素市集的平允，而对新的数据因素市集可能会有一定的惰性。是以，这是企业创新发展的一个最佳的时机。
从数据因素市集的角度来说，它还将故意于数据和算力的全球畅通。比如，你今天拿入部属手机到南好意思一个所在附近了AI，这就意味着Token（词元）从中国到了南好意思。若是一个南好意思的开导者用中国的模子开导了附近，并向南好意思消费者提供劳动的话，自关联词然Token（词元）就畅通到了南好意思。是以，当东谈主工智能平台劳动全球的时候，Token（词元）就变成了一种结算方式。
此前，许多东谈主对东谈主工智能的关心大多停留在大模子的工夫竞速上，而Token（词元）的价值显现正在把一场深层的产业变革带到总共东谈主的眼前，它不仅响应在工夫层面，更将重构总共这个词行业、总共这个词产业的资本结构、营业模式和合作方式，继而全面影响东谈主们的生计。
『“小龙虾”倏得爆火的背后』
2026年1月底，一款名为Open Claw（昵称“小龙虾”）的开源AI智能体倏得爆火，从工夫圈速即席卷全网，开启了全民“养虾”期间。这款以卡通小龙虾为Logo的智能体，透澈随便了传统AI只会聊天、不会干活的局限，凭借感知、决议、彭胀的闭环智商和24小时自主开动，股票配资风控成为梗概经受领导、调用器具、读写文献、彭胀剧本的全功能数字助手。
但是，真确用过“小龙虾”的开导者和用户皆知谈一个痛点：Token（词元）消耗太猛了。一个看似浮浅的查询，就能消耗几十万Token（词元），从而让消费者收到超出遐想的高额账单。
其实，在昔日几年，东谈主工智能的背后还是有Token（词元）的想法了。东谈主们使用豆包或千问时，你问一句，它答一句，Token（词元）的消费量没那么大，也即是说算力的消费量没那么大，是以公众不错免费使用豆包或千问。
但是，像“小龙虾”之类的附近，意味着东谈主工智能发展到了一定水平，它对数据的需求大大加多。为什么此次“小龙虾”的出现会引爆Token（词元）这个想法呢？因为“小龙虾”的Token（词元）消耗不是按需触发，而是抓续产生的，是以其消费的Token（词元）量大大超出了原来那些东谈主工智能的附近，从而导致使用者需要为消耗的巨量Token（词元）支付账单。“小龙虾”在骨子上与其他的东谈主工智能附近比拟，由于Token（词元）调用量绝顶大，才使这个问题暴透露来。
无特有偶，2026年3月25日，好意思国东谈主工智能公司OpenAI晓谕拒绝旗下AI视频生成模子Sora总共的劳动与运营。事实上，自2024年2月初度亮相以来，Sora在约25个月的运营时辰里，附近要道的总收入仅约210万好意思元。而据福布斯测算，Sora神色年化运营资本高达50多亿好意思元。逐日数亿级的Token（词元）消耗，让即使取得了大批投资的OpenAI仍感不胜重任，只可忍痛将其关停。像Sora这样的事件，恰是因为生成视频需要破费比人人遐想多得多的Token（词元），牺牲，破费那么多Token（词元）生成的视频的价值还抵不外Token（词元）自身的价值，是以营业逻辑无法建设。
AI大模子出现以后，人人一直有这样一个困惑的问题：到底用什么情势、什么措施来使用东谈主工智能模子呢？这在昔日是一个问题。而“小龙虾”的出现，诠释东谈主工智能有它我方迥殊的附近方式。比如，“小龙虾”把昔日App的想法颠覆了，使用东谈主工智能附近不需要再去装一个个App。一个“小龙虾”履行上作念了昔日十几个、二十几个App作念的事情。不错说，“小龙虾”的形态和构建方式与东谈主工智能是相匹配的。
跟着“小龙虾”从小众器具成为内行附近，国度互联网济急中心与中国网罗空间安全协会于2026年3月发布了《Open Claw安全使用实践指南》，面向普通用户、企业用户、云劳动商以及工夫开导者等淡薄安全贯注建议，为这一新兴生态系上“安全带”。
『Token爆发式增长意味着什么』
国度数据局局长刘烈宏在本年3月24日国务院新闻办举行的新闻发布会上公布了一组令东谈主畏俱的数据：2024岁首，中国日均Token（词元）调用量为1000亿，至2025年底该数据跃升至100万亿，到本年3月还是突破140万亿。两年间，增长向上1000倍。
Token（词元）的爆发式增长意味着什么？
率先，意味着东谈主工智能附近自身发生了质的变化。
在软件期间，一个软件有若干行代码，基本上代表了这个软件的复杂度，也即是它的价值。今天，当咱们用AI模子的时候，Token（词元）就会产生畅通，这个畅通既夸耀出原来教师模子时所消耗的算力，同期也夸耀出其自身开动需要消耗的算力。是以，Token（词元）的消费量激增，代表东谈主工智能附近发展到了一个新的水平。
拿电来打比喻。早期的时候，家里只须一个电灯，只用小数点电，其后有了雪柜、洗衣机、空调，用电量大增，这代表了生流水平的提高，也诠释电对社会生计和经济的影响。Token（词元）的爆发式增长亦然相通，这是一个极度可喜的稠密变化。是以说，Token（词元）的消耗量是东谈主工智能期间的标尺。
其次，意味着东谈主工智能在中国的发展到了一个极度紧要的拐点。在国内，开导、使用东谈主工智能的东谈主越来越多，每个东谈主使用的量也越来越多。日均Token（词元）调用量的大批加多，充分标明中国的东谈主工智能发展还是过问了快速增长的阶段。从能对话的言语大模子到能决议彭胀的智能体，跟着附近场景的约束深化，中国东谈主工智能产业的竞争力也显耀增强。
另外，需要指出的是，Token（词元）的爆发式增长是需要刚劲的物资基础来撑抓的，因此，单个Token（词元）的资本一定要裁减。人人遐想一下，若是用电资本不降到富足低的话，老匹夫是不可能精深使用空调的。而单元Token（词元）资本的裁减，除了进一步提高东谈主工智能工夫、算力工夫外，还需要约束更动东谈主工智能模子的附近。这就像早年咱们用白炽灯，大部分的电皆被热量消耗掉了，是以当今咱们精深使用节能灯。我信服畴昔的东谈主工智能附近也会约束更动，尽量阻挡Token（词元）的消费量，这是一个约束迭代、约束发展的经过。
『一种新经济模式可能会出现』
在信息期间，软件在很长一段时辰里不知谈如何才智挣钱。在微软公司出现之前，软件仅仅硬件的从属，是以软件产业一直莫得发展起来，直到微软公司成为第一家挣钱的软件企业。是以今天，咱们弗成用静态的方式来看待东谈主工智能，因为这是一个变革性的产业，就像当年软件产业倏得出身并速即发展那样，可能东谈主工智能产业的发展也会出现这样的场面。
我认为，东谈主工智能的变革将远远超出之前总共工夫带来的变革，这可能是自东谈主类发明电以来最大的一次变革。人人想一下，自从发明电以后，产生了若干产业，产生了若干不同的工业门类，东谈主工智能也会有那么大的能量。
以“小龙虾”为例，它骨子上使咱们的责任方式发生了一次很大的改动。以前咱们闲居讲，要提高责任牺牲或者改动责任方式，而以“小龙虾”为代表的智能体的出现，致使改动了责任自身，确切每一项责任皆会靠近大的变化。
这里需要强调的是，“智能体”这个词的翻译不太准确，其实它正本的趣味趣味是“代理”，翻译成“智能代理”应该更稳妥。从这个角度来看，将来会出现多样万般不同的“智能代理”，比如“旅行代理”“看病代理”等，不错匡助咱们处分生计中方方面面的问题。
遐想一下，咱们的责任有若干单干，将来就会出现若干不同情势的责任代理。“小龙虾”仅仅其中的一种代理汉典。但是专门念念的是，“小龙虾”完成的一部单干作是以前莫得东谈主作念过的。若是你用过“小龙虾”就会发现，以前莫得东谈主会把我方总共硬盘上的东西皆看一遍，把我方几十年的像片皆看一遍，但“小龙虾”不错作念到，只须它以为这件事跟责任是关系系的。是以我认为，将来“智能代理”会完成一些莫得东谈主作念过的责任。这样的话，一种新的经济模式可能会出现。
一言以蔽之，Token（词元）在东谈主工智能期间是一个极度纰谬的想法芝麻策略，它与工夫、营业、附近以及产业发展皆死活相许。但愿人人梗概了解Token（词元），用好咱们手里极度贵重的资源——数据资源。
盈为国际港陆证券垒富优配苏皇配资万生优配联丰优配官网提示：文章来自网络，不代表本站观点。
