Помощь

Виджеты и упражнения

Виджет «LLM-capstone» — открытые задания с оценкой языковой модели

Итоговые проекты и развёрнутые задания, которые оценивает языковая модель по критериям.

Итоговые проекты тем и продвинутых треков сдаются через этот виджет. Ваш ответ читает языковая модель с подробной инструкцией: условием задания и списком критериев. Она ставит балл и пишет, чего не хватает.

Когда это применяется

Там, где шаблоном и ключевыми словами ответ не проверить:

  • итоговый проект — связный документ: тест-план, баг-репорты, автотесты, выводы;
  • большой баг-репорт — где важен смысл, а не формулировки;
  • тест-стратегия — как покрыть функцию регрессом, дымовыми и сквозными тестами.

Как выглядит

  • Условие задания в тексте урока: ситуация, что сдать, как это оценивается и чек-лист самопроверки.
  • Поле ответа — большое, поддерживает Markdown. Ответ сохраняется: если закрыть страницу, при возвращении он восстановится.
  • Кнопка «Сдать на оценку». Ответ короче 50 символов не принимается.
  • После проверки — балл из 10 и комментарий модели. Для зачёта нужен проходной балл, он указан в условии (обычно 6 из 10).

Как платформа оценивает

  1. Ваш ответ, условие и критерии уходят к языковой модели.
  2. Модель возвращает балл от 0 до 10 и комментарий.
  3. До и после модели работает простая проверка: слишком короткий или бесструктурный ответ получает не больше 2 баллов, что бы ни сказала модель.

Это не поиск совпадающих слов. Модель понимает синонимы, перефразировки и разную структуру.

Что писать

  • Полно, как для коллеги или руководителя, а не телеграфным стилем.
  • С примерами и конкретикой: «POST /orders с телом {...} вернул 200 вместо 201», а не «отправил запрос».
  • С обоснованием — почему так, а не иначе.
  • Структурированно — заголовки по блокам из условия, списки, выделения.

Особенности

  • Проверка занимает время — обычно около 10 секунд, иногда дольше.
  • Если модель не ответила, вы увидите «нет вердикта». Попытка не засчитывается и не сгорает — отправьте ответ ещё раз позже.
  • Оценка немного плавает — один и тот же текст может получить на балл больше или меньше. Если вы на границе, доработайте ответ и сдайте снова.
  • Модель иногда ошибается и не замечает того, что в ответе есть. Прочитайте комментарий: обычно по нему понятно, что сформулировать явнее.

Если ответ не принимается

  1. Прочитайте комментарий — там конкретика.
  2. Сверьтесь с чек-листом самопроверки в условии и добавьте недостающее.
  3. Если уверены, что критерий выполнен, вынесите его в отдельный заголовок с явной подписью.
  4. Не пишите слишком коротко — на ответ в две строки модель скажет, что деталей недостаточно.

Что дальше