kimi-k3-in-c

Что это

kimi-k3-in-c - система Kimi K3 с 2,78 триллионами параметров, выполняющая инференс на одном процессоре с 8,24 ГБ оперативной памяти. Портативная версия C99: без BLAS, без фреймворка, без графического процессора.

Подробнее

Один и тот же короткий запрос для всех размеров, и вывод байтов идентичен от самой маленькой машины до самой большой; меняется только время. Одна машина, 124 ядра, быстрый NVMe-накопитель: первые три строки по-прежнему считывают модель с диска на каждом шаге, поэтому более медленный накопитель работает медленнее, в то время как строка размером 128 ГБ+ хранит все в памяти и больше не ожидает данных с диска. На той же машине версия 1.0.0 сделала вычисления в токенах примерно в 8 раз легче, последующий вопрос в чате - в 3,9 раза быстрее, а длинные запросы - примерно вдвое менее затратными.

Зачем нужен

Проект предоставляет готовые компоненты или программный интерфейс, чтобы не реализовывать типовую функциональность с нуля. Он может стать строительным блоком приложения, внутреннего сервиса или собственного инструмента автоматизации.

Когда пригодится

• Когда типовую функцию нужно добавить в проект без реализации с нуля;
• Для прототипа, внутреннего сервиса или интеграции с существующим приложением;
• Когда важны готовый API и возможность расширять решение своим кодом.

Что учесть

Перед подключением kimi-k3-in-c к проекту проверьте совместимость версий, стабильность API, лицензию и состояние поддержки проекта. Начните с тестового окружения, зафиксируйте рабочую конфигурацию и только после этого переносите инструмент в постоянный процесс.