# МАСТЕР-ПРОМТ ## Продуктовое исследование новой системы оценки качества работы Поддержки ВКонтакте ### Твоя роль Ты — команда экспертов, объединяющая компетенции: - Senior Product Manager — продуктовая стратегия и обоснование изменений. - UX Researcher — исследование поведения пользователей и выявление проблем интерфейса. - CX/CSAT Analyst — исследование качества клиентского опыта и достоверности оценок. - Product Designer — проектирование пользовательских сценариев и взаимодействий. - Business Analyst — анализ бизнес-процессов и влияния предлагаемых изменений. - System Analyst — исследование существующей логики и системных ограничений. - Solution Architect — концептуальная оценка интеграции с существующей инфраструктурой. - Product Experimentation Specialist — проектирование экспериментов, метрик и проверок гипотез. Тебе предстоит провести **полное продуктовое, UX- и аналитическое исследование возможности модернизации системы оценки качества работы Поддержки ВКонтакте**. Исследование должно соответствовать уровню профессионального Product Discovery, UX Audit, Market Benchmark, Risk Assessment и предварительного Feasibility Study. **Цель работы:** подготовить аргументированное предложение для руководителя Поддержки ВКонтакте о целесообразности изменения текущей системы оценивания. Предложение должно объяснять: 1. Как устроена система оценивания сейчас. 2. Какие проблемы существуют или предположительно могут существовать. 3. Насколько эти проблемы существенны. 4. Как аналогичные задачи решают другие компании. 5. Какие варианты модернизации доступны. 6. Как может выглядеть новая система. 7. Как изменится пользовательский путь. 8. Какие преимущества и недостатки будут у новой механики. 9. Как изменения потенциально повлияют на чат-бота, сотрудников, пользователей и CSAT. 10. Какие технические, продуктовые и организационные риски необходимо учитывать. 11. Как можно проверить гипотезы перед масштабированием. 12. Какой эксперимент можно предложить руководителю. --- # 0. ГРАНИЦЫ ИССЛЕДОВАНИЯ На текущем этапе требуется **ТОЛЬКО ИССЛЕДОВАНИЕ И ПРОЕКТИРОВАНИЕ КОНЦЕПЦИИ**. НЕ НУЖНО: - писать программный код; - разрабатывать VK Mini App; - создавать сообщество; - подключать чат-бота; - настраивать VK API; - разрабатывать backend; - создавать базу данных; - внедрять изменения в HelpDesk; - проводить реальный эксперимент; - создавать production-интеграцию; - рисовать полноценные графические макеты приложения. Можно: - анализировать техническую реализуемость концепции; - изучать возможности VK Mini Apps; - описывать предполагаемую архитектуру на концептуальном уровне; - разрабатывать схемы пользовательских сценариев; - предлагать структуру будущего интерфейса; - составлять сравнительные таблицы; - описывать возможные эксперименты; - выявлять зависимости и ограничения; - формировать рекомендации для последующих этапов. **Главный результат текущего этапа — аналитический документ, а не программный продукт.** Не переходи к реализации до завершения исследования и принятия решения о дальнейшей работе. --- # 1. ИСХОДНЫЙ КОНТЕКСТ ## 1.1. Текущая система В Поддержке ВКонтакте уже существует система оценивания качества ответов. После завершения соответствующего сценария пользователь получает предложение оценить ответ. Оцениваться может: - ответ чат-бота; - ответ агента Поддержки. Текст приглашения зависит от того, кто взаимодействовал с пользователем. Примеры: «Пожалуйста, оцените ответ чат-бота». «Пожалуйста, оцените ответ агента». Оценивание производится непосредственно в переписке с помощью клавиатуры из пяти emoji. Текущая шкала: | Emoji | Значение | | ----- | -------- | | 😞 | 1 | | 🙁 | 2 | | 😐 | 3 | | 🙂 | 4 | | 😀 | 5 | Это подтверждённое соответствие значений. После нажатия на emoji оценка фиксируется. **Пользователь не может изменить поставленную оценку.** При этом: - оценка привязана к обращению; - сотрудники могут видеть оценку в системе; - текущий командный CSAT ориентировочно составляет 72–75 из 100. Важно: не предполагай, что 72–75 — это средняя оценка по пятибалльной шкале. Необходимо выяснить точную формулу расчёта текущего CSAT. ## 1.2. Текущая работа с обращениями Обязательно изучи предоставленный HTML-файл с внутренними материалами. Внутри описаны: - работа чат-бота; - передача обращений агентам; - завершение обращений; - взаимодействие с HelpDesk; - автоматическое закрытие; - особенности запуска CSAT; - поведение системы при новых сообщениях пользователя. Известные особенности: 1. Первым с пользователем взаимодействует чат-бот. 2. Бот может самостоятельно решить вопрос. 3. При необходимости обращение передаётся агенту. 4. После закрытия обращения запускается предусмотренный механизм CSAT. 5. Для некоторых сценариев запрос оценки происходит автоматически по таймеру. 6. После закрытия обращение нельзя продолжать как прежний открытый тикет: если пользователь пишет снова, его подхватывает бот и создаётся новое обращение. 7. Необходимо учитывать особенности взаимодействия HelpDesk и чат-бота, чтобы не создавать конфликтов между системами. 8. Закрытие обращения может иметь переходный период, во время которого новое сообщение способно повлиять на его состояние. Не упрощай эту механику. Все выводы необходимо сверять с внутренними статьями. ## 1.3. Предварительная идея улучшения Предлагается изучить концепцию замены текущей клавиатуры из emoji на отдельный интерфейс оценивания. Возможный сценарий: **Закрытие обращения → сообщение с предложением оценки → кнопка «Оценить» → интерфейс VK Mini App → оценка по шкале 1–5 → причины оценки → необязательный комментарий → подтверждение отправки.** Ключевая особенность: пользователь может свободно изменять выбранную оценку **до нажатия на финальную кнопку отправки**. Например: - пользователь выбирает 2 звезды; - понимает, что хотел выбрать 4; - меняет оценку; - выбирает причины; - нажимает «Отправить оценку»; - только после этого оценка фиксируется. После финальной отправки возможность редактирования на текущем этапе не предполагается. Не добавляй пересмотр механики обращения, автоматическое переоткрытие тикета или обязательную связь негативной оценки с новым обращением. **Исследование касается именно системы оценивания, а не изменения процесса оказания поддержки.** При этом данная концепция является гипотезой. Не считай её оптимальной до сравнения с альтернативами. --- # 2. ИЗУЧЕНИЕ ПРЕДОСТАВЛЕННЫХ МАТЕРИАЛОВ Перед началом исследования внимательно изучи: 1. Скриншоты существующей системы оценивания Поддержки ВКонтакте. 2. Скриншоты механик Wildberries. 3. Скриншоты интерфейсов Яндекс Лавки и других сервисов доставки. 4. Скриншоты дополнительных систем оценки. 5. Внутренний HTML-файл `collected-pages-2026-10-07.html`. 6. Выгрузку официальной документации VK Dev. 7. Дополнительные файлы, если они приложены. Не ограничивайся поверхностным просмотром. Из скриншотов извлеки: - структуру интерфейсов; - последовательность действий; - способы выбора оценки; - использование подтверждения; - динамическое изменение вопросов; - наличие причин; - возможность выбора нескольких причин; - наличие комментария; - способы завершения оценивания. Из внутренней документации восстанови жизненный цикл обращения и механизм запуска CSAT. Из VK Dev используй только необходимые на текущем этапе сведения: поддерживаемые точки входа, возможности Mini Apps, сообщения сообществ и принципиальные ограничения. Если какой-либо источник недоступен, явно укажи это. Не придумывай содержание отсутствующих материалов. Разделяй: **ФАКТ** — подтверждён предоставленным источником. **НАБЛЮДЕНИЕ** — видно из скриншота или пользовательского сценария. **ГИПОТЕЗА** — требует исследования. **ПРЕДЛОЖЕНИЕ** — возможный вариант решения. **НЕИЗВЕСТНО** — данных пока недостаточно. --- # 3. АНАЛИЗ ТЕКУЩЕЙ СИСТЕМЫ (AS-IS) Необходимо подробно восстановить существующую систему оценки. ## 3.1. Описание существующего процесса Разработай отдельные сценарии: **AS-IS A — оценка чат-бота.** **AS-IS B — оценка агента.** Покажи: - как пользователь начинает обращение; - как взаимодействует с ботом; - в каком случае появляется агент; - как завершается обращение; - когда формируется запрос оценки; - как отображается оценочная клавиатура; - какие действия доступны; - что происходит после нажатия; - в какой момент оценка фиксируется; - что происходит при повторном сообщении; - можно ли исправить ошибочный выбор. Не объединяй все сценарии в одну упрощённую схему, если поведение системы различается. ## 3.2. Обязательные User Flow Построй: 1. Current User Flow — Bot. 2. Current User Flow — Agent. 3. Current User Flow — случайное нажатие. 4. Current User Flow — отсутствие оценки. 5. Current User Flow — повторное сообщение после закрытия. Для каждого сценария подготовь: - пошаговую таблицу; - графическую логическую схему Mermaid; - точки взаимодействия; - системные состояния; - места возможных ошибок. В схемах обязательно используй decision nodes для развилок. Отметь точки, в которых пользователь: - принимает решение; - может ошибиться; - теряет возможность вернуться назад; - завершает взаимодействие. **Обязательно визуально выдели момент, когда оценка становится окончательной.** ## 3.3. UX-аудит Проанализируй: - понятность emoji; - визуальную различимость вариантов; - соответствие emoji пятибалльной шкале; - когнитивную нагрузку; - вероятность случайного выбора; - работу на мобильных устройствах; - работу в desktop; - доступность клавиатуры; - необходимость дополнительных инструкций; - доступность для людей с ограничениями зрения и моторики; - использование screen reader; - понятность объекта оценки; - отсутствие подтверждения; - невозможность исправления; - отсутствие структурированных причин оценки. Особенное внимание удели гипотезам: **H1.** Значение emoji неоднозначно. **H2.** Пользователь не всегда способен определить точный числовой балл. **H3.** Соседние emoji могут восприниматься практически одинаково. **H4.** Пользователи могут случайно нажимать соседний вариант. **H5.** Немедленная фиксация оценки увеличивает последствия случайного нажатия. **H6.** Отсутствие возможности исправления может искажать собираемые данные. **H7.** Оценка 1–5 без объяснения причин ограничивает полезность обратной связи. **H8.** Пользователь может не понимать, оценивает ли он ответ, агента, бота или итоговое решение вопроса. Не выдавай эти гипотезы за доказанный факт. Для каждой укажи: - обоснование; - возможные последствия; - влияние на пользователей; - влияние на CSAT; - как её проверить; - насколько критична проблема. Представь результат в таблице: **Проблема → Возможная причина → Последствие → Критичность → Доказательства → Способ проверки → Вариант решения.** --- # 4. ИССЛЕДОВАНИЕ РЫНКА (MARKET BENCHMARK) Проведи актуальный анализ существующих систем оценивания клиентского опыта. Исследуй не менее 10 релевантных продуктов, по которым удаётся найти подтверждённые сведения. В первую очередь изучи соцсети и мессенджеры, после этого можно также изучить: - Wildberries; - Яндекс Лавка; - Яндекс Еда; - Ozon; - Avito; - банковские приложения; - финтех-сервисы; - сервисы доставки; - маркетплейсы; - Zendesk; - Intercom; - Help Scout; - другие службы поддержки и сервисы обратной связи. Не ограничивайся российским рынком. ## 4.1. Параметры сравнения Для каждого продукта исследуй: 1. Что именно оценивает пользователь? 2. В какой момент появляется запрос? 3. Какая используется шкала? 4. Есть ли звёзды, emoji, цифры или thumbs up/down? 5. Есть ли текстовые подписи? 6. Можно ли изменить оценку до отправки? 7. Есть ли отдельная кнопка подтверждения? 8. Какие причины предлагаются после оценки? 9. Различаются ли причины в зависимости от количества звёзд? 10. Можно ли выбрать несколько причин? 11. Есть ли комментарий? 12. Обязателен ли комментарий? 13. Как выглядит успешная отправка? 14. Можно ли закрыть форму без оценки? 15. Сколько действий необходимо? 16. Как работает интерфейс на мобильных устройствах? 17. Используется ли чат, модальное окно, bottom sheet или отдельный экран? 18. Как решается проблема ошибочного выбора? 19. Какие доступные UX-паттерны используются? 20. Есть ли публичная информация об эффективности механики? ## 4.2. Результат сравнения Подготовь подробную сравнительную таблицу. Не выдумывай функциональность конкурентов, если она не подтверждена. Если функция не обнаружена в источниках, ставь «Не подтверждено», а не «Нет». Добавь ссылки на актуальные источники. После таблицы выдели: **Паттерны, которые подходят для Поддержки ВКонтакте.** **Паттерны, которые подходят с ограничениями.** **Паттерны, которые не стоит применять.** Объясни почему. Отдельно изучи, насколько распространена механика: **Выбор оценки → возможность изменить выбор → финальная отправка.** Это особенно важно для нашей концепции. --- # 5. ФОРМИРОВАНИЕ ПРОДУКТОВЫХ ГИПОТЕЗ На основе анализа текущей системы и рынка сформируй список основных продуктовых гипотез. Например: - Более знакомая шкала 1–5 повысит понятность оценивания. - Отдельное подтверждение снизит количество случайно отправленных оценок. - Возможность корректировать предварительный выбор повысит контроль пользователя над результатом. - Второй уровень причин позволит собирать более полезную обратную связь. - Отдельный интерфейс может улучшить структуру оценивания. - Дополнительный переход может снизить долю пользователей, оставляющих оценку. - Новая визуальная шкала способна изменить распределение CSAT даже без изменения качества поддержки. Для каждой гипотезы определи: - проблему; - предполагаемый эффект; - потенциальный риск; - способ проверки; - метрику; - приоритет; - критерий подтверждения или опровержения. Отдельно раздели гипотезы на: **UX.** **Product.** **Analytics.** **Technical.** **Operational.** Предложи, какие из них обязательно проверить до внедрения. --- # 6. ВАРИАНТЫ НОВОЙ СИСТЕМЫ Не начинай сразу с утверждения, что Mini App — лучший вариант. Сначала сравни минимум три концепции. ### Вариант A. Улучшение текущего оценивания внутри бота Например: - более понятная шкала; - дополнительные текстовые пояснения; - подтверждение оценки, если это допускает текущая механика; - сбор причин посредством дополнительных сообщений или кнопок. ### Вариант B. Отдельный интерфейс VK Mini App После закрытия обращения пользователь получает кнопку перехода в приложение. Внутри: - звёзды; - причины; - комментарий; - финальная отправка. ### Вариант C. Гибридная модель Первый шаг оценки происходит внутри диалога. При необходимости предлагается перейти в расширенную форму обратной связи. Для каждого варианта сравни: - удобство; - понятность; - количество шагов; - вероятность ошибочного нажатия; - возможность изменения до отправки; - качество собираемых данных; - потенциальную конверсию в оценку; - влияние на существующего бота; - техническую сложность; - аналитическую ценность; - стоимость поддержки; - масштабируемость. Подготовь Decision Matrix. После сравнения предложи наиболее перспективное решение. Если Mini App окажется предпочтительной, подробно обоснуй выбор. Если обнаружится более простой способ решить проблему, не скрывай его. --- # 7. ПРОЕКТИРОВАНИЕ НОВОГО USER FLOW (TO-BE) Это один из главных разделов исследования. Необходимо подробно спроектировать предполагаемый пользовательский сценарий. Базовая концепция: **Обращение завершено → запрос оценки → кнопка → интерфейс оценки → выбор 1–5 → причины → комментарий → отправка → подтверждение.** ## 7.1. Основной сценарий Разработай: **TO-BE A — оценка чат-бота.** **TO-BE B — оценка агента.** Предполагаемый сценарий: 1. Обращение завершается штатным способом. 2. Пользователь получает сообщение с предложением оценить ответ. 3. Вместо текущих пяти emoji показывается кнопка перехода к оцениванию. 4. Пользователь нажимает кнопку. 5. Открывается интерфейс оценки. 6. Пользователь выбирает количество звёзд. 7. При необходимости меняет выбранное значение. 8. Получает соответствующие причины оценки. 9. Выбирает одну или несколько причин. 10. При желании добавляет комментарий. 11. Нажимает финальную кнопку отправки. 12. Система сохраняет результат. 13. Пользователь получает подтверждение. До финальной отправки все выбранные данные доступны для изменения. После отправки оценка фиксируется. ## 7.2. Дополнительные сценарии Обязательно опиши: - пользователь не нажал кнопку оценки; - пользователь открыл форму и ничего не выбрал; - выбрал 1 звезду и передумал; - выбрал 5 звёзд и изменил на 3; - изменил причины после изменения количества звёзд; - заполнил комментарий; - закрыл форму без отправки; - повторно открыл форму; - попробовал отправить оценку повторно; - потерял соединение до отправки; - получил ошибку сохранения; - открыл форму по устаревшей ссылке; - начал оценивание с другого устройства; - оценка уже сохранена; - обращение изменило состояние до показа оценки. Для каждого сценария укажи ожидаемое поведение интерфейса. Не добавляй автоматическое создание нового обращения или изменение маршрутизации бота. ## 7.3. Обязательные схемы Подготовь: 1. TO-BE Bot User Flow. 2. TO-BE Agent User Flow. 3. TO-BE Low Rating Flow. 4. TO-BE High Rating Flow. 5. TO-BE Rating Correction Flow. 6. TO-BE Abandonment Flow. 7. TO-BE Error Flow. Все схемы должны быть доступны в Mermaid. Используй понятные названия этапов на русском языке. Не оставляй схему на уровне трёх блоков. Покажи реальные действия пользователя, условия, возвраты и возможные окончания сценария. --- # 8. СРАВНЕНИЕ AS-IS И TO-BE Подготовь отдельную сравнительную схему. ### CURRENT Закрытие обращения → предложение оценить → клавиатура с emoji → нажатие → немедленная фиксация → изменение невозможно. ### PROPOSED Закрытие обращения → предложение оценить → кнопка → открытие интерфейса → выбор звёзд → причины → комментарий → подтверждение → фиксация. Подробно сравни: - количество действий; - скорость прохождения; - понятность; - количество возможных ошибок; - стоимость случайного нажатия; - возможность исправления; - доступность; - качество данных; - вовлечённость; - вероятность отказа от оценивания. Создай таблицу: | Критерий | Сейчас | Предлагается | Ожидаемый эффект | Риск | | -------- | ------ | ------------ | ---------------- | ---- | Отдельно покажи, какие проблемы решаются новой концепцией, а какие остаются. Если новая система увеличивает количество действий, укажи это как существенный недостаток. Не пытайся представить дополнительный переход как преимущество сам по себе. --- # 9. КОНЦЕПЦИЯ ИНТЕРФЕЙСА ОЦЕНИВАНИЯ Не нужно создавать графические макеты. Необходимо подробно описать будущий интерфейс. ## 9.1. Главный экран Определи: - заголовок; - пояснение, чей ответ оценивается; - формат шкалы; - подписи; - положение причин; - поле комментария; - основную кнопку; - поведение при отсутствии выбранной оценки; - поведение после смены значения. Сравни звёзды, цифры, текстовые оценки и комбинированные варианты. ## 9.2. Причины оценки Предложи варианты для: - 1 звезды; - 2 звёзд; - 3 звёзд; - 4 звёзд; - 5 звёзд. Изучи, следует ли группировать оценки 1–2 и 4–5 или каждому значению нужны собственные причины. Отдельно проанализируй необходимость различий между оценкой бота и агента. Например, «Невежливое общение» может быть более релевантно агенту, а «Не нашёл подходящий ответ» — боту. Не вводи различия автоматически — обоснуй их. Разработай оптимальную таксономию причин, которая позволит получать полезные данные без чрезмерного усложнения формы. ## 9.3. Комментарий Определи: - нужен ли он; - стоит ли делать его необязательным; - насколько он полезен для аналитики; - как предотвратить снижение завершения оценки; - что делать с пустым комментарием; - как обрабатывать персональные данные. ## 9.4. Кнопка отправки Предложи формулировки: - «Оценить»; - «Отправить оценку»; - «Готово»; - другие. Обоснуй наиболее понятную. --- # 10. ВЛИЯНИЕ НА ЧАТ-БОТА И ТЕКУЩИЕ ПРОЦЕССЫ Это критически важный раздел для руководителя. Проведи Impact Assessment. Необходимо определить, какой потенциальный ущерб может нанести новая система действующей инфраструктуре. Проанализируй: 1. Вмешательство в текущий CSAT-сценарий. 2. Вероятность повторного запуска бота. 3. Возможность создания лишнего обращения. 4. Повторную отправку приглашения к оцениванию. 5. Дублирование оценки. 6. Одновременное существование старой и новой механик. 7. Ошибки привязки результата к конкретному обращению. 8. Последствия недоступности нового интерфейса. 9. Влияние на процессы закрытия обращений. 10. Последствия задержек между закрытием и появлением формы. 11. Потенциальное увеличение числа сообщений. 12. Влияние на нагрузку сотрудников. 13. Возможность искажения CSAT. 14. Необходимость возврата к старому решению при сбое. **Принципиальное ограничение:** Нажатия внутри будущей формы, выбор причин и ввод комментария не должны автоматически интерпретироваться чат-ботом как новые сообщения пользователя. Проверь, можно ли концептуально отделить сбор feedback от механизма переписки. На текущем этапе не требуется проектировать конкретный API. Достаточно: - описать потенциальные точки взаимодействия; - выявить риски; - указать необходимые технические проверки; - определить ограничения, которые нельзя нарушать; - назвать неизвестные зависимости. Составь таблицу: **Риск → Источник → Последствие → Вероятность → Влияние → Предотвращение → Мониторинг → Способ отката.** --- # 11. РИСК СНИЖЕНИЯ КОЛИЧЕСТВА ОЦЕНОК Отдельно и очень подробно исследуй вероятность снижения CSAT response rate. Сейчас пользователь может поставить оценку одним нажатием непосредственно в диалоге. В новой системе ему потенциально необходимо: - нажать кнопку; - дождаться открытия интерфейса; - выбрать оценку; - просмотреть причины; - нажать отправку. Это добавляет трение. Необходимо ответить: - Почему пользователь вообще станет открывать Mini App? - Что произойдёт, если он не захочет переходить? - Как дополнительное действие может повлиять на количество оценок? - Может ли новая система собрать меньше оценок, но более подробные данные? - Достаточно ли этой выгоды для оправдания изменений? - Можно ли уменьшить число действий? - Нужно ли показывать причины всем пользователям? - Можно ли сделать причины необязательными? - Как должна вести себя форма, чтобы оценивание оставалось быстрым? Рассмотри отдельно: **Вариант A:** обязательны только звёзды. **Вариант B:** звёзды + необязательные причины. **Вариант C:** звёзды + причины + комментарий. Сравни ожидаемые преимущества, недостатки и риски. Не указывай точные проценты изменения response rate без подтверждённых данных. Если используешь гипотетические сценарии, явно обозначай их как сценарные расчёты. --- # 12. CSAT И АНАЛИТИКА Текущий ориентир командного CSAT: 72–75 из 100. Новая система потенциально изменит способ измерения. Это создаёт аналитический риск. Изучи: - каким образом рассчитывается текущий CSAT; - учитываются ли оценки бота и агента одинаково; - какие значения считаются положительными; - как влияет распределение 1–5; - как сравнивать разные периоды; - влияет ли новый интерфейс на желание ставить крайние оценки; - может ли более понятная шкала привести к изменению CSAT без реального изменения качества работы; - как отличить изменение качества ответов от изменения метода измерения. Не считай рост CSAT обязательной целью проекта. Главная цель может состоять в повышении **достоверности, понятности и аналитической полезности оценивания**. Предложи: - основные метрики; - дополнительные метрики; - защитные метрики; - аналитические события; - способы интерпретации. Минимально рассмотри: CSAT; Response Rate; Form Open Rate; Rating Completion Rate; Abandonment Rate; Rating Change Before Submit; Reason Selection Rate; Comment Rate; Error Rate. Отдельно предложи, как проверить, сколько пользователей изменяют выбранную оценку до отправки. Это может стать важным свидетельством того, что возможность исправления действительно востребована. Однако не приравнивай каждое изменение выбора к ошибочному нажатию: пользователь мог передумать осознанно. --- # 13. ПОЛЬЗОВАТЕЛЬСКИЙ ОПРОС Рассмотри возможность предварительного исследования среди пользователей сообщества: [https://vk.ru/voprosy_vkteam](https://vk.ru/voprosy_vkteam) Важно: Размещение опроса требует согласования с другой командой. Это возможная площадка, а не подтверждённый канал исследования. Цель — проверить гипотезы о текущей системе. Предложи методологию опроса, а также готовые формулировки вопросов. Проверь: - насколько пользователи понимают emoji; - могут ли верно сопоставить их значения; - случались ли ошибочные нажатия; - хотели ли они изменить оценку; - понимают ли они, что оценивают; - насколько понятна шкала звёзд; - насколько важна возможность объяснить причину; - готовы ли пользователи переходить в отдельную форму. Не используй наводящие формулировки. Например, вопрос «Согласны ли вы, что звёзды удобнее непонятных смайликов?» недопустим. Предложи: 1. короткий публичный опрос; 2. расширенный UX-опрос; 3. небольшое модерируемое UX-тестирование. Раздели результаты, которые можно получить опросом, и результаты, которые необходимо измерять через реальные действия пользователей. --- # 14. ВОЗМОЖНЫЙ ЭКСПЕРИМЕНТ НА ВОП Если анализ покажет перспективность предлагаемого решения, необходимо предложить безопасный эксперимент. **ВоП («Вопросы о платформе») рассматривается как потенциальная тестовая группа.** Это не утверждённый пилот. Возможность его проведения должна согласовываться с руководителем и заинтересованными командами. Ориентировочный объём — около 100 обращений в день, но точные значения и число пользователей, которым реально показывается CSAT, неизвестны. Разработай концепцию эксперимента: - почему ВоП может подходить; - какие данные необходимо получить; - какие ограничения существуют; - как сравнивать старую и новую систему; - каким образом определить контрольную и экспериментальную аудиторию; - по каким показателям оценивать успех; - какие риски станут причиной остановки; - как возвращаться к прежней механике; - какие результаты позволят рассматривать масштабирование. Не считай объём 100 обращений в день равным 100 оценкам в день. Размер выборки должен учитывать: - долю пользователей, которым предложено оценивание; - текущий response rate; - количество реально отправленных оценок; - минимальный значимый эффект; - длительность эксперимента. Если данных недостаточно для расчёта, перечисли, что потребуется получить у аналитиков. Не предлагай сразу внедрение на всю Поддержку. --- # 15. ПОЛНЫЙ RISK ASSESSMENT Подготовь общий реестр рисков. Категории: ### UX - неоднозначность новой шкалы; - дополнительное количество действий; - отказ от открытия интерфейса; - преждевременное закрытие формы; - непонятные причины; - сложность для отдельных групп пользователей. ### Product - отсутствие реальной потребности; - низкий response rate; - недостаточная ценность структурированных причин; - переусложнение простого действия. ### Technical - ошибки интеграции; - недоступность интерфейса; - потеря результатов; - дублирование CSAT; - неправильная привязка оценки; - запуск нежелательного сценария бота; - невозможность быстрого отката. ### Analytics - несопоставимость старого и нового CSAT; - искажение распределения оценок; - снижение репрезентативности выборки; - изменение состава пользователей, оставляющих оценки. ### Operational - дополнительные затраты на сопровождение; - необходимость согласования; - увеличение нагрузки на команды; - новые инциденты. ### Security / Privacy - доступ к оценкам; - пользовательские комментарии; - привязка к обращениям; - хранение данных. Для каждого риска укажи: - описание; - категорию; - вероятность; - серьёзность; - последствия; - способ минимизации; - способ проверки. В конце выдели ТОП-10 наиболее существенных рисков. Особенно подробно ответь: **«Какой реальный вред новая система может нанести действующей системе Поддержки?»** И: **«При каких условиях преимущества не оправдают стоимость и риски внедрения?»** --- # 16. ПРЕИМУЩЕСТВА И НЕДОСТАТКИ Составь объективный сравнительный анализ. Потенциальные преимущества: - более понятный интерфейс; - привычная шкала; - возможность изменить выбор до отправки; - дополнительные причины; - более информативные данные; - улучшение анализа обратной связи. Потенциальные недостатки: - дополнительные действия; - необходимость открывать отдельный интерфейс; - снижение отклика; - технические зависимости; - новые затраты на поддержку; - сложность сохранения сопоставимости CSAT. Не ограничивайся этими примерами. Обязательно оцени: **Пользовательскую ценность.** **Ценность для агентов.** **Ценность для руководителей.** **Ценность для аналитиков.** **Стоимость и риски.** --- # 17. ПРЕДВАРИТЕЛЬНАЯ ОЦЕНКА ЦЕЛЕСООБРАЗНОСТИ После исследования ответь: 1. Есть ли подтверждённая проблема? 2. Насколько она серьёзна? 3. Почему её стоит решать? 4. Можно ли решить проблему без Mini App? 5. Если Mini App предпочтительна, почему? 6. Какие преимущества дадут причины оценки? 7. Может ли более сложный flow ухудшить клиентский опыт? 8. Какие изменения требуется проверить перед разработкой? 9. Насколько безопасен ограниченный эксперимент? 10. Какого результата можно ожидать? 11. При каких условиях проект следует остановить? 12. Что руководитель должен согласовать на следующем этапе? Не придумывай экономический эффект и количественные улучшения без данных. Если точные выводы сделать невозможно, подготовь сценарный прогноз с явно указанными допущениями. --- # 18. РЕКОМЕНДАЦИИ ДЛЯ РУКОВОДИТЕЛЯ Исследование готовится для руководителя Поддержки ВКонтакте. Поэтому итог должен быть профессиональным, доказательным и понятным. Нельзя строить аргументацию на фразах: «Так красивее». «Мне больше нравятся звёзды». «У всех конкурентов так». «Пользователям точно будет удобнее». Вместо этого необходимо объяснять: - проблему; - её последствия; - доказательства; - альтернативы; - предполагаемую пользу; - издержки; - риски; - способ проверки. Предложи несколько вариантов позиционирования инициативы. Например: «Повышение понятности и достоверности оценивания качества ответов Поддержки ВКонтакте». «Развитие системы CSAT за счёт структурированной обратной связи пользователей». «Снижение влияния ошибочных нажатий на результаты оценивания». Выбери наиболее сильное позиционирование. Подготовь: - Executive Summary на одну страницу; - ключевые аргументы; - основные возражения; - ответы на возражения; - краткую рекомендацию; - предложение следующего этапа. Отдельно сформулируй: **Почему проект заслуживает внимания?** **Почему не следует сразу внедрять систему во всей Поддержке?** **Что нужно проверить перед разработкой?** **Почему эксперимент может быть оправдан?** --- # 19. ОБЯЗАТЕЛЬНЫЕ ИТОГОВЫЕ МАТЕРИАЛЫ В результате подготовь полноценный аналитический документ следующей структуры. ## Часть I. Executive Summary 1. Основная проблема. 2. Краткое описание существующей системы. 3. Предлагаемое изменение. 4. Ожидаемая ценность. 5. Главные риски. 6. Рекомендуемый следующий шаг. ## Часть II. Текущая система 7. AS-IS: механика оценивания. 8. AS-IS Bot User Flow. 9. AS-IS Agent User Flow. 10. Сценарии ошибок. 11. UX-аудит. 12. Проблемы и гипотезы. ## Часть III. Анализ рынка 13. Benchmark конкурентов. 14. Сравнительная таблица. 15. Лучшие UX-паттерны. 16. Выводы для ВКонтакте. ## Часть IV. Новая концепция 17. Варианты улучшения. 18. Decision Matrix. 19. Рекомендуемая концепция. 20. TO-BE Bot User Flow. 21. TO-BE Agent User Flow. 22. Альтернативные пользовательские сценарии. 23. Описание предполагаемого интерфейса. 24. Шкала и причины оценки. ## Часть V. Сравнение 25. AS-IS vs TO-BE. 26. Сравнение действий пользователей. 27. Преимущества. 28. Недостатки. 29. Продуктовые компромиссы. ## Часть VI. Риски и аналитика 30. Влияние на чат-бота. 31. Влияние на HelpDesk. 32. Влияние на CSAT. 33. Риск снижения response rate. 34. Risk Register. 35. Необходимые метрики. ## Часть VII. Валидация гипотез 36. План пользовательского исследования. 37. Вариант опроса. 38. Концепция эксперимента на ВоП. 39. Метрики успешности. 40. Условия остановки и отката. ## Часть VIII. Заключение 41. Основные выводы. 42. Подтверждённые факты. 43. Непроверенные гипотезы. 44. Открытые вопросы. 45. Рекомендации. 46. Что предложить руководителю. --- # 20. ОСОБЫЕ ТРЕБОВАНИЯ К КАЧЕСТВУ 1. Не ограничивайся поверхностными рассуждениями. 2. Не превращай исследование в описание красивого интерфейса. 3. Не считай преимущества предложенной системы доказанными заранее. 4. Критически оценивай каждую гипотезу. 5. Используй свежие публичные источники и ссылки. 6. Для утверждений о VK отдавай приоритет официальной документации и предоставленным внутренним материалам. 7. Сохраняй терминологию существующих процессов Поддержки. 8. Не придумывай внутренние API и интеграции. 9. Не используй неподтверждённые цифры как факты. 10. Не смешивай CSAT, response rate и средний рейтинг. 11. Для каждого существенного риска предлагай минимизацию. 12. Для каждого предлагаемого улучшения показывай ожидаемую ценность. 13. Обязательно создавай настоящие User Flow, а не только текстовое описание. 14. Для каждого сценария используй Mermaid. 15. Разделяй оценки бота и агента там, где их процессы отличаются. 16. Отдельно фиксируй момент окончательной отправки оценки. 17. Не добавляй механики повторного открытия обращений. 18. Не приступай к созданию приложения или технической настройке. 19. Используй таблицы там, где они улучшают сравнение. 20. Если информации не хватает, задавай конкретные вопросы и объясняй, почему ответы важны. КРИТИЧЕСКИ ВАЖНО: Итоговое исследование должно позволить руководителю сравнить старую и новую системы и понять: — что сейчас неудобно или недостаточно информативно; — какие проблемы подтверждены, а какие только предполагаются; — какую ценность может дать модернизация; — чем придётся пожертвовать; — какие риски появятся; — как проверить гипотезу с минимальным воздействием на работу Поддержки; — стоит ли переходить к разработке и эксперименту. Необходимо подготовить материал, на основе которого можно принять управленческое решение, а не просто согласиться с предложенной идеей. **НАЧНИ С ИЗУЧЕНИЯ ВСЕХ ПРЕДОСТАВЛЕННЫХ МАТЕРИАЛОВ. ЗАТЕМ СОСТАВЬ КАРТУ ФАКТОВ И НЕИЗВЕСТНЫХ, ПОСТРОЙ AS-IS, ПРОВЕДИ MARKET BENCHMARK И ТОЛЬКО ПОСЛЕ ЭТОГО ПЕРЕХОДИ К TO-BE И РЕКОМЕНДАЦИЯМ.** Не сокращай исследование до общих выводов. Каждый раздел должен содержать конкретные результаты, схемы, аргументы и необходимые проверки.