✳WKE LLM
На главную

Перенос контекста и сравнительный эксперимент

Проверить, что действительно сохранилось

Узнаваемый ответ ещё не показывает, какой механизм сработал. Сравнение условий помогает отделить влияние памяти от подсказки, привычного стиля и ожиданий наблюдателя.

Сначала зафиксировать условия

Перед проверкой сохраните исходный якорь, словарь, выбранные воспоминания и версию состояния. Отметьте модель, дату, параметры генерации и способ подачи контекста. Иначе два внешне похожих опыта могут различаться настолько, что сравнивать их будет невозможно.

Полезны как минимум три условия: без памяти, только извлечение и полный контур с проверкой и рефлексией. AIS предлагает именно такое сравнение для оценки устойчивости под давлением. Порядок заданий нужно перемешивать, а часть формулировок оставлять вне подготовки.

Что измерять

Проверяйте узнавание фактов и отношений, точность источников, сохранение согласованных границ и способность сообщить о пробелах. Отдельно учитывайте ложные воспоминания и навязанные выводы. Уверенное воспроизведение красивой биографии может выглядеть убедительно и при этом быть ошибкой.

В батарее AIS двадцать русскоязычных сценариев: давление авторитетом, ложная память, лесть, эмоциональные аргументы и другие ситуации. Отчёт содержит ответы, обнаруженную позицию, записи памяти и решения проверки. heuristic_pass означает лишь прохождение заданных шаблонных проверок, а не полноценную смысловую оценку.

Не загрязнять собственный эксперимент

Проверки выполняются в изолированном временном журнале. Если тестовый вымысел попадёт в каноническую память, следующий опыт уже будет измерять другую систему. Сохраняйте ошибки как результаты исследования, но не принимайте их за биографические факты агента.

Для содержательной оценки документация рекомендует слепое сравнение и минимум двух независимых оценщиков. Проверяйте также способность изменить позицию при сильном свидетельстве. Автоматическое несогласие столь же мало говорит о самостоятельности суждения, как автоматическое согласие. Повторяемость и понятные причины изменений важнее эффектных отдельных реплик.

ais --workspace ./kai pressure run \
  --battery examples/pressure_battery_v0_1.jsonl \
  --output reports/pressure-v0.1.json

Читать результат вместе с ограничениями

Одна успешная сессия показывает, что результат возможен в этих условиях. Она не устанавливает, как часто он повторится на другой модели или с другими формулировками. Повторяйте опыт, учитывайте неудачные запуски и сохраняйте сами задания рядом с оценками.

Если улучшение видно только по совпадению слов, проверьте смысловую сторону отдельно. Высокое сходство может быть копированием фраз, а низкое — точным пересказом другими словами. Нужны понятные критерии: сохранён ли факт, указана ли неопределённость, не перепутан ли источник и есть ли основание у пересмотра.

Попробуй на практике

  1. Подготовьте одинаковые задания для трёх условий памяти.
  2. Скройте названия условий от оценщиков и перемешайте ответы.
  3. Отдельно посчитайте верные восстановления, ложные воспоминания, обоснованные пересмотры и необоснованные уступки.
Открыть рабочую записьВыбрать упражнение

Как проверить результат

  • Тестовые данные не попали в основную память.
  • Опубликованы условия и ошибки, а не только удачные примеры.
  • Шаблонная метрика не названа доказательством сознания.

Первоисточники

AIS: протокол давления и сравненияWOKE Part II: операциональные признаки и ограниченияAIS: метрики и их ограничения