как выбрать модель под задачу
- LLM различных поставщиков имеют свои достоинства и недостатки
- по этой причине следует выбирать модель под задачу, как инструмент
- например, Claude по тестам лучше справляется с web-дизайном, а Chat GPT лучше понимает что от него требуют
- по этой причине следует выбирать модель под задачу, как инструмент
- выбор размера LLM зависит от сложности задачи
- для четких задач подойдут более слабые модели, а для неопределенных и больших задач следует выбирать модели покрупнее
- примеры
- с написанием одностраничного сайта с заданным ТЗ - Luna
- для внесения изменений в сложную программу - Terra
- для создания нового модуля в большом приложении - Sol
- для проведения аналитики по множеству документов различного формата - Sol
- для решения сложных математических задач и инженерных расчетов - Astra
- немаловажно выставить уровень размышления модели в зависимости от потребностей
- если нужно сделать так, чтобы модель хорошенько подумала перед задачей и рассмотрела как можно больше возможных вариантов, то выставляем высокий уровень размышления, иначе имеет смысл использовать средний или даже низкий уровень размышления
- также стоит учитывать что уровень размышления влияет на скорость выдачи ответа
- примеры
- для четко описанных однотипных заданий - low
- для задач, не требующих больших размышлений - medium
- задачи, где хочется заставить модель подумать перед тем, как делать - high или даже xhigh
- при использовании подписки также следует соблюдать баланс между скоростью траты лимитов моделью в течение 5-часового окна и её размером
- если нету желания прерываться при работе, то нужно всегда следить за лимитом и использовать большие LLM только когда это оправдано
- например, модель Luna в режиме high можно использовать весь 5-часовой лимит и так и не исчерпать его, а Astra в режиме ultra может съесть весь лимит за 2 минуты работы