Noroots. Увеличение конверсии использования сравнение документов

Noroots — ИИ-платформа для юристов. Сервис помогает анализировать договоры, находить риски и управлять процессом согласования.

Сравнение документов юрист выполняет вручную. Этот процесс занимает часы, требует высокой концентрации и связан с риском пропустить изменение в тексте договора: в пункте, сумме, юридическом адресе или срокe.

После согласования контрагент присылает поставщику подписанный скан договора в разных формата: PDF, DOCX.

Юрист должен убедиться, что в финальной версии документа нет правок относительно согласованной версии.

• На сравнение документов уходит около 20–30 минут на один договор
• Незаметная правка означает финансовый риск для компании в будущем
• Инструмент сравнения документов, спустя несколько месяцев, используют всего 4% пользователей

• Увеличить кол-во премиум подписок с 15% до 20%
• Увеличить использование инструмента сравнение документов с 4% до 10%

• Проанализировать, почему пользователи не доходят до конца результата сравнения документов
• Провести интервью с пользователями
• Сформировать гипотезы и предложить решения
• Снять блокеры по сценарию сравнения документов и провести тесты с пользователями

1. 1

   Снял метрики использования. Сравнение документов использовали лишь 4% пользователей. Для юриста сравнение документа это последний и важный шаг перед подписанием.

2. 2

   Использовал тепловую карту, проанализировал сессии с пользователями и сформировал результаты, чтобы понять как пользователи взаимодействуют с инструментом. При анализе увидел, что пользователи добавляют документ, ждут немного времени и уходят из раздела, не дожидаясь результата. Или дожидаются, но не анализируют сам результат сравнения.

   

3. 3

   Собрал обратную связь с отдела продаж и тех. поддержки. На выходе я получил следующие частые запросы:

   • Неудобно отслеживать результат сравнения, когда в пункте много текста. Непонятно, что изменилось в пункте
   • Часто приходится долго ждать, пока загрузится документ
4. 4

   Сформировал гипотезы:

   • Если добавить процесс анализа документа, то пользователь сможет отследить сколько ему еще ждать
   • Если пользователя уведомлять о том, что анализ документ завершен, то он будет возвращаться обратно и сможет продолжить работать с результатом сравнения
   • Если выделять текст в пункте, который был изменен или добавлен, то пользователь сразу сможет отслеживать изменения и не тратить время на анализ всего текста
   • Пользователи не использует инструмент, т.к. не доверяют финальным сканам
5. 5

   Подготовил вопросы и провел интервью с 12 пользователями, кто не пользуется инструментом и пользовался, но перестал.

   Результаты интервьюСсылка

   

   Подтвердились след. гипотезы:

   • Процесс проверки слишком долгий в самом сервисе. Это связано с тем, что если хочется проверить два документа, то сначала нужно скормить сервису свой договор, потратить время на анализ и потом снова загрузить документ контрагента, чтобы его сравнить. И непонятно через какое время завершится анализ сравнения.
   • Неудобно отслеживать изменения в документе, когда большое кол-во текста в одном пункте. Приходится искать и анализовать текст целиком. Выделение текста в пункте, который был изменен или добавлен поможет пользователю сразу отслеживать изменения и не тратить время на анализ всего текста
   • Уведомлять о том, что анализ документ завершен, то он будет возвращаться обратно и сможет продолжить работать с результатом сравнения

   Гипотезы, которые не подтвердились:

   • Пользователи не использует инструмент, т.к. не доверяют финальным сканам
6. 6

   Расписал Storyframe, перед проектированием. Это помогает быстро ознакомиться с логикой решения, получить комментарии от команды, в том числе ограничения и утвердить решение.

   

7. 7

   Провел ux-тестирование прототипа с пользователями и доработал макеты после обратной связи.

   При тестировании я смотрел на время выполнения задачи, успешность выполненного целевого действия, кол-во ошибок.

8. 9

   Подготовил проработанный дизайн после всех тестов.

   

9. 10

   Снял метрики через месяц.

1. 1

   Мы сознательно отказались от сравнения нескольких документов одновременно:

   • Увеличивается время обработки
   • Возрастает вероятность ошибок распознавания, т.к. LLM начинает галлюцинировать
   • И в силу ошибок снижается доверие к результату

   На первом этапе сфокусировались на сценарии сравнения только двух документов, т.к. не надо ждать полного анализа договора. Это сокращает время сравнения.

2. 2

   Автоматическое принятие решения

   Когда система сама говорит, что с документом все хорошо и можно подписывать

   Почему не сделали:

   • Юридическая ответственность
   • Низкое доверие к LLM
   • Риск ошибок

   Мы отказались от автоматических выводов типа, документ корректен, чтобы не брать на себя юридическую ответственность и сохранить контроль у пользователя.

3. 3

   OCR создаёт мусор:

   • Лишние пробелы
   • Переносы строк
   • Форматирование

   Если это не фильтровать — система покажет кучу ложных различий

   Перед сравнением, в промпте мы очищаем текст от артефактов OCR, а именно лишние пробелы, переносы, чтобы показывать только реальные изменения.

• Удалось сократить среднее время проверки. Было 20-30 минут, стало меньше 10 минут.
• Увеличился процент пользователей использующих инструмент сравнений документов, с 4% до 10%. Нам не удалось увеличить метрику больше, чем планировали. Но дальше расскажу про вторую итерацию.
• Увеличился процент пользователей, которые дошли до конца результата сравнения
• Увеличили кол-во премиум подписок с 15% до 18%.

Следующий шаг

Т.к. мы не достигли нужных показателей, то мы пошли дальше и 2-й итерацией добавили возможность, без первоначального анализа договора, загружать сразу два договора и сравнивать их. Тем самым, удалось сократить кол-во времени на проверку.