⭐ ✨
📖 Словарь блога

Токен: что это простыми словами

Токен – это кусочек текста, которым нейросеть считает всё, что читает и пишет. Им бывает целое слово, его часть или отдельный символ. В таких единицах измеряют окно контекста, лимиты подписки и цену работы через API. Сколько знаков помещается в один кусочек, зависит от модели и от языка.

Как текст превращается в токены

Представьте, что нейросеть читает кубиками. Частое сочетание букв целиком влезает в одну деталь, длинное или редкое разбивается на несколько. В окне чата вы этой нарезки не видите, там обычный текст, и счётчик крутится незаметно.

Для английского OpenAI приводит ориентир: один токен – примерно 4 символа. Anthropic для Claude пересчитывает так: миллион таких кусочков вмещает примерно 555 тысяч слов. Для русского отдельного правила в документации нет, и точную цифру покажет только подсчёт на нужной модели.

Есть ещё один нюанс. У Claude начиная с версии 4.7 нарезка поменялась, и тот же текст даёт примерно на 30% больше токенов, чем на прежних моделях. Так что старые подсчёты стоит повторить. Для этого у Anthropic есть бесплатный счётчик: он показывает объём заранее, до отправки запроса.

Зачем вам вообще считать токены

Токены всплывают в трёх местах. Первое – окно контекста: у Claude Opus 5.5 оно вмещает 1 млн, и в эту сумму входят ваши сообщения, файлы и ответ модели. Второе – лимиты подписки: длинная переписка с тяжёлыми вложениями расходует их быстрее. Третье – цена через API, где платят за каждый миллион отдельно на вход и на выход.

Отсюда практический вывод для чата. Длинный документ, который вы вставляете в каждое сообщение, раз за разом тратит токены, поэтому постоянные материалы удобнее один раз положить в проект: Anthropic пишет, что загруженное туда кэшируется и при повторных обращениях списывает меньше лимита.

Пример: сколько стоит бот на тысячу ответов

В статье Claude API есть расчёт на живом примере. Бот психолога отвечает на 1000 вопросов клиентов в месяц. Каждый запрос с инструкцией и текстом клиента занимает около 1500 токенов, ответ – примерно 300. За месяц набегает 1.5 млн на вход и 300 тысяч на выход.

Дальше простая арифметика по официальным ценам. Sonnet 5.5 стоит $2 за миллион входящих токенов и $10 за столько же исходящих, так что месяц работы бота обойдётся в $6. У Haiku 5.5 базовый тариф $0.10 и $0.50, и с ним выйдет $0.30. Opus 5.5 по $4 и $20 потянет на $12. Исходящие у Claude в пять раз дороже входящих, поэтому просьба «ответь в пяти пунктах» экономит деньги.

Где почитать подробнее

❓Частые вопросы

Сколько знаков в одном токене?

Для английского OpenAI приводит ориентир: примерно 4 символа. Anthropic для Claude даёт другой пересчёт: миллион кусочков вмещает около 555 тысяч слов. Для русского официального ориентира нет: число знаков зависит от модели и языка, и точно его покажет только подсчёт.

Что значит цена за миллион токенов?

Так считают оплату работы с нейросетью через API. Стоимость назначают отдельно за то, что вы отправили, и за то, что написала модель. У Claude Sonnet 5.5 это $2 на входе и $10 на выходе за каждый миллион. Подписка в чате стоит фиксированную сумму, и там счёт идёт на лимит.

Картинки и файлы тоже тратят токены?

Скриншоты и PDF тоже съедают место. Anthropic пишет, что в окно контекста засчитывается всё, что вы отправили: сообщения, изображения, документы и инструкции. Поэтому большой файл заметно сокращает, сколько ещё вы успеете написать в этом чате.

Источники

🎁 Два бесплатных курса

Приглашаю пройти бесплатный курс по нейросетям

Выберите, что вам ближе. Оба курса бесплатные, с пошаговыми уроками и без воды.

🧲
Клиенты с помощью нейросетей
Как привлекать заявки и клиентов через нейросети и простые воронки.
Открыть курс →
💰
Деньги с помощью нейросетей
Как зарабатывать на нейросетях: от первых навыков до стабильного дохода.
Открыть курс →
Это бесплатно и ни к чему вас не обязывает