Начальный · Глава 1 / 18

Помощник начинается с границы задачи

После главы: Отделить проверяемый результат помощника от правдоподобного текста.

В этой главе

Какое обещание получает читатель

Библиотекарь просит помощника объяснить правила выдачи книги. Полезный результат здесь — короткий ответ, опирающийся на действующую редакцию правил. Красивый рассказ о работе библиотек вообще задачу не решает. Запишите договор до выбора модели: какие вопросы принимаются, какие документы разрешены, в каком случае нужен отказ, кто увидит результат. Для первого опыта достаточно одной темы и вымышленных документов.

Языковая модель строит продолжение по контексту и усвоенным закономерностям. Связность ответа не удостоверяет истинность каждой детали. Transformer — архитектурная основа многих современных моделей; знание этого названия не заменяет проверки прикладного поведения. Не просите модель угадывать отсутствующую дату или номер приказа. Предусмотрите понятное сообщение об отсутствии подтверждения.

Ответ и действие — разные продукты

Предложение «перенести срок выдачи» может означать совет читателю либо изменение записи в базе. У этих операций разная цена ошибки. Наш первый помощник только читает разрешённые сведения. Он не выдаёт права на книги, не меняет заказы и не присылает сообщения. Такое ограничение делает учебный результат проверяемым без подключения реальных аккаунтов.

Договор ответа включает текст, идентификаторы использованных фрагментов и признак недостаточности данных. Самооценка уверенности модели не заменяет доказательство. Если задача касается расписания, проверяем точную дату; если это объяснение термина, оцениваем соответствие определению и понятность. Один общий показатель качества скрывает эти различия.

Граница краткого маршрута

Задача «написать ответ по правилам» — лишь одна область AI. CS2023 включает также поиск решений, представление знаний и обучение; CS336 учит строить языковые модели и требует Python, математики и знакомства с ML. Наш маршрут позволяет начать с проверяемого приложения без ложного обещания охватить всё это шестью главами.

Перед моделью попробуйте таблицу правил: если срок хранится числом, его можно показать напрямую. Генерация полезна, когда нужна гибкость объяснения, но добавляет ошибки и стоимость проверки. Запишите, что даёт модель сверх простого поиска или шаблона, и проверяйте именно эту прибавку.

Проверяемый продукт ответа

Для каждого запроса определите, что пользователь сможет сделать после ответа. Если он хотел узнать правило, достаточно доступного источника и понятного ограничения. Если он хотел продлить выдачу, справочная фраза не является выполненным действием. Разделите эти продукты в интерфейсе и отчёте. Успех справочного режима проверяется по основанию, успех изменяющей операции — по серверному состоянию и правам. Не переносите результат одного режима на другой только потому, что оба начинаются с одинаковой фразы читателя. В итоговом эталоне действия не выполняются; известная команда продления получает отдельный отказ, а остальные неизвестные формулировки не приобретают полномочий автоматически.

Когда шаблонный ответ полезнее генерации? Когда задача состоит в показе известного точного значения: шаблон проще проверить, а свободная формулировка не добавляет пользы.

Разобранный пример

Карточка результата вместо свободного обещания

Ниже обычные Python-данные: вызова модели нет. Второй объект честно сообщает об отсутствии сведений. Идентификатор источника связывает ответ с проверяемой записью, но сам по себе ещё не доказывает, что текст ей соответствует.

python

answer = {
    'text': 'Срок — 14 дней.',
    'sources': ['rules-3'],
    'abstain': False,
}
unknown = {
    'text': 'В правилах нет этого срока.',
    'sources': [],
    'abstain': True,
}
assert answer['sources'] and not answer['abstain']
assert unknown['abstain']

Теперь самостоятельно

Практика

Спроектируйте ответ на вопрос «Можно ли продлить книгу после закрытия филиала?», если в документах есть только часы работы и общий срок выдачи. Укажите, какую недостающую информацию нужно получить.

Результат: Объект ответа и одно уточнение для владельца правил.

Подсказка

Различайте отсутствие правила и запрет.

Решение и проверка

Корректен отказ от вывода: в доступных документах не описана процедура продления после закрытия. Нельзя объявлять продление разрешённым или запрещённым по одним часам работы.

Уточнение: существует ли дистанционное продление и каков его крайний срок? Ответ может перечислить доступные сведения с их источниками, но не выдавать их за решение исходного вопроса.

Проверьте себя без текста

Почему связный текст может оказаться неверным?

Правдоподобие продолжения и подтверждение конкретного факта — разные критерии.

Когда недостаточность данных является успешным результатом?

Когда договор требует воздержаться от неподтверждённого ответа.

Проверить по первоисточникам

Конец образца

Полный том содержит 18 глав, решения, итоговый проект и словарь. Продажи откроются после предметной редактуры и подключения магазина.