Языковые модели
Как устроены модели, какие бывают, где ошибаются
Как устроены модели, какие бывают, где ошибаются
Языковая модель продолжает текст: по всему, что лежит в контексте, она выбирает следующий токен, потом следующий. Знания размазаны по весам, а не лежат в базе, поэтому модель пишет правдоподобно, а не обязательно верно. Модели отличаются ярусом (цена и сила), размышлением, окном контекста, тем, что принимают на вход, и тем, где работают — у провайдера или на своём железе.
Читать обзорsystem, история, инструменты, max_tokens: что уходит модели в каждом запросе.effort, сколько оно стоит и когда не помогает.curl, разбор ответа, stop_reason и usage, ошибки 429 и 529.o200k_base; на словаре 2023 года было в 1,64 раза.из темы Токены и ценаПодписка — для работы руками, API — для программПодписка на чат (claude.ai, ChatGPT, Gemini) — фиксированная сумма в месяц за работу в приложении и агенте, с лимитом сообщений в окне времени.