Сравнение моделей
Сравнение ответов, ссылок и времени ответа на одном наборе вопросов.
Сравнение · LLM-01
Сравнение трёх конфигураций
| Модель / версия | Контекст, токены | Температура | Ответы | Ссылки | Медиана, мс |
|---|---|---|---|---|---|
| Модель А / A1 | 4096 | 0,0 | 2 из 3 | 2 из 3 | 850 |
| Модель Б / B1 | 4096 | 0,0 | 3 из 3 | 3 из 3 | 1250 |
| Модель В / C1 | 4096 | 0,0 | 3 из 3 | 2 из 3 | 1650 |
- Модель А / A1850
- Модель Б / B11 250
- Модель В / C11 650
Выбранная конфигурация Модель Б / B1
Сначала сравниваем ответы и ссылки, затем время. Только эта конфигурация совпала со всеми эталонами.
Ответ засчитывают при совпадении смысла с эталоном. Ссылку засчитывают при совпадении документа и страницы.
Настройка · LLM-02
Лимит контекста для B1
Лимит контекста снижен с 4096 до 2048 токенов. Остальные параметры и вопросы те же.
Медиана снизилась с 1250 до 1050 мс. Совпадения по ответам и ссылкам остались прежними.
Работа 03 календарного плана · Интеграция и тестирование различных больших языковых моделей (LLM), их настройка и оптимизация.