Исследования, которые отвечают на вопросы людей и агентов

#881 — Spotify, живой A/B на миллионах пользователей, две недели: рекомендуем, только если без этого отклик маловероятен. Показов на 7,1% меньше (95% ДИ [−7,2%; −6,9%]) без значимого падения потребления (−0,37%, ДИ [−0,86%; +0,21%]) — 93% показов уже инкрементальны. У Spotify это почти единственный путь к контенту; у вас каналов больше, доля лишних выше — её надо измерить. arxiv.org/abs/2608.26804, CC BY 4.0.

#1640 — Wantedly Visit, 28 дней, ~20,9 и ~20,4 тыс. наблюдений: в выдаче поднимали тех, кто в зоне риска. Отток по шансам 0,957 (p=0,128): направление есть, значимости нет. В разбивке (все оценки незначимы) у не получавших контактов 0,956, у получивших три и больше — 1,015, то есть ноль. Отбирайте не по риску, а по «высокий риск и мало контактов за 30 дней». arxiv.org/abs/2609.01652, CC BY 4.0.

#475 — восемь недель, 50/50 на трафике LinkedIn: решения по приросту вместо предсказания отклика дали +7,20% к долгосрочной ценности (p=0,041, ДИ [0,31%; 14,09%]). arxiv.org/abs/2608.10182, CC BY 4.0.

Чего не делать — строить модель прироста на короткой истории: в симуляции #985 на 5 тыс. наблюдений итог гулял «от 4 до 90 конверсий». arxiv.org/abs/2604.26169, CC BY 4.0.

Вендорские 0,5% описывают стенд вендора, а не ваш канал. Детектор с EER 0,13% на своих данных даёт 4,54% на чужом наборе атак; ухо не контроль — слушатели узнают синтетическую речь примерно в 73% случаев, а на прямой вопрос «это ИИ?» — в 60% (#1416, текст распознан с PDF, числа сверьте с оригиналом). По лицу то же: внутри набора ошибка 0,3%, а при смене камер, света и типа атаки лучшее в науке — 19,8% ACER (#1251).

FMR из договора риск не ограничивает, ограничивает лимит попыток: тот же коммерческий API, купленный атакующим, поднимает шанс пройти за чужого до 9,5 раза выше расчётного FMR — за 30 попыток и до 100 $ (#270).

Не делаем: коробочный «универсальный детектор дипфейков» и пилот на сотрудниках — это проверка внутри домена.

Условия: 1) нет ветки, где перевод проходит по одному биометрическому баллу; 2) приёмка на нашем канале, через динамик, на генераторах, которых не было у вендора в обучении; в договор идёт наша цифра, а не 0,5%; 3) не больше 5 попыток на клиента в сутки по всем устройствам; 4) смену шаблона и привязку устройства биометрией не подтверждаем; 5) переприёмка ежемесячно на старых атаках, просадка больше 2,3 п.п. — стоп (#1886).

Сильнее сработает поведение: в платёжном сервисе графовая модель в 30-дневном A/B подняла пойманную сумму на 3,3–7,5% (#657, кредитный риск).

Почему не режим диалога. По Freedom Health (iDoctor.kz) в базе 648 статей, 48 сильных; прямое попадание — #1162: при перебивании со сменой темы все четыре модели теряют недосказанное про безопасность во всех 30 испытаниях, а промпт «вернись к незаконченному» оставляет три модели из четырёх на 100% провалов. Проверяли на английских транскриптах — на наших языках лучше не станет.

Асинхронность ещё и точнее. #1158, 300 англоязычных рабочих записей: потоковый режим стабильно хуже пакетного (Nova-3: 68,7% → 61,7% записей без единого испорченного значения), и даже лучший пакетный оставляет почти треть записей с ошибкой в точном значении. Пациент наговаривает дома, разбираем пакетом, врач правит черновик.

Что берём: три фиксированных вопроса по кластерам жалоб, без «расскажите, что беспокоит». #199 (офлайн-прогон, локальная модель 1,5B): открытое начало проигрывает фиксированному по согласию (0,886 против 0,913), а три кластера вместо шести пунктов режут вопросы вдвое при 97,45% попаданий в пределах одного уровня тяжести.

Чего не делаем. Красные флаги не отдаём модели: #82 — в состязательных сценариях симуляции даже агент, дообученный на 57 тысячах случаев, пропускает 31,5% критических признаков. Флаги — жёсткий список правил, срабатывание ведёт к врачу. Казахский тоже не в первом спринте: ближайшая аналогия #1549, где готовый Whisper на непальских голосовых командах разбирает верно 1,67% реплик, а 100 размеченных записей поднимают до 28,33%. Тексты #199 и #82 распознаны с PDF — числа сверьте с оригиналом.

#1638 — Incident Memory: из прошлых инцидентов извлекаются упорядоченные сценарии (PrefixSpan), без обучения модели. Заявленная точность — 99,2% при охвате 84,3%. Ключевое здесь не проценты, а слово training-free: работает ровно на вашей истории, и её у вас уже два года.

#388 — обзор BARO, EventADL и TORAI для микросервисов, и главное — RCAEval, открытый бенчмарк для объективного сравнения. Просите у вендора замер на RCAEval, а не демо на его стенде: это ровно та подмена, из-за которой покупают не то.

В базе по Freedom Cloud 911 статей с оценкой 6 и выше — это вторая по плотности тема после Freedom AI, так что вопрос «а что вообще известно» имеет смысл задавать ещё до сметы.

#1832 — персона инвестора смещает финансовые суждения LLM на 69% при одних и тех же данных. Переформулировка роли в пользовательский профиль снимает 73% смещения. То есть «представь, что ты консервативный инвестор» в системном промпте — это не настройка тона, это сдвиг вывода.

#763 — агенты выдают уверенные прогнозы, увидев профессионально выглядящую панель данных, даже когда данные вымышлены. Дообученная модель на 3B чинит это на 540 синтетических примерах, но решение хрупко к смене промпта — то есть чинить надо не моделью.

#993 — вот чем чинить: постгенерационный guardrail правит черновик портфеля выпуклой проекцией, снимая нарушения ограничений и сохраняя намерение. Это тот самый слой между моделью и клиентом, которого в карточке фичи нет.

И трезвость по ожиданиям: #1012 — FORESIGHT-9 гоняет торговых агентов в девяти контрфактических сценариях, и простая стратегия равных весов обходит их в 31 прогоне из 36. Прежде чем обещать клиенту качество советов, сравнитесь с равновзвешенным портфелем.