Экспертиза ИИ-систем

Экспертиза ИИ-систем и роботизированных комплексов — новое направление, отвечающее на вопросы о корректности работы алгоритмов, причинах сбоя автоматизированной системы и её соответствии заявленным техническим характеристикам.

Кому и зачем это нужно

Компании всё чаще заказывают или продают системы с элементами автоматизации и ИИ — чат-боты для обслуживания клиентов, алгоритмы скоринга и рекомендаций, автоматизированные линии на производстве, системы компьютерного зрения для контроля качества. Когда такая система работает не так, как обещал разработчик по договору, и стороны расходятся в оценке, кто виноват — заказчик, неверно эксплуатировавший систему, или исполнитель, поставивший систему с дефектом, — нужен независимый технический анализ, а не просто мнение одной из сторон.

Что исследуем

• логику работы алгоритма и корректность выдаваемых результатов относительно заявленных задач;
• соответствие системы техническому заданию и договорным характеристикам;
• техническую причину конкретного сбоя или ошибочного решения, принятого системой;
• достаточность и корректность исходных данных, на которых обучалась или работала система.

Какие вопросы решает эксперт

• Соответствует ли работа системы техническому заданию и условиям договора?
• Что стало технической причиной сбоя или ошибки — дефект алгоритма, некорректные входные данные или нарушение условий эксплуатации?
• Можно ли было предотвратить сбой при штатной эксплуатации системы?

Направление молодое, и по нему пока немного наработанной судебной практики — тем важнее привлекать эксперта с реальным техническим бэкграундом в электронике и автоматике, а не только в классической компьютерной экспертизе.

Консультация: 8-903-722-83-63.

Специфика оценки алгоритмических систем

В отличие от классической электроники, где неисправность обычно можно локализовать физически (сгоревшая деталь, разрыв дорожки), проблема в ИИ-системе часто не имеет физического проявления — система «работает», но выдаёт неверные или неожиданные результаты. Здесь эксперт анализирует логи работы системы, тестовые прогоны на контрольных данных, документацию по обучению модели (если это система машинного обучения) или явно прописанную логику алгоритма (если это детерминированная автоматизация без элементов обучения), сопоставляя фактическое поведение системы с техническим заданием пункт за пунктом.

Границы компетенции эксперта

Важно разграничивать вопросы, на которые способен ответить технический эксперт, и вопросы, требующие иной специализации. Эксперт может установить, соответствует ли система техническому заданию и в чём именно техническая причина сбоя; но вопрос о том, кто по договору несёт ответственность за конкретный тип сбоя (заказчик или исполнитель), — уже юридический вопрос, который решает суд на основании условий договора и выводов технической экспертизы, а не наоборот.

Пример типичного спора

Компания заказала разработку чат-бота для обработки клиентских обращений с гарантией определённого процента точности распознавания запросов. После внедрения заказчик заявляет, что реальная точность существенно ниже обещанной, и отказывается от окончательной оплаты. Исполнитель настаивает, что низкая точность вызвана тем, что заказчик передал недостаточный объём обучающих данных или использует систему не по назначению. Экспертиза в такой ситуации анализирует техническое задание, объём и качество переданных данных, архитектуру и логику самой системы, а также реальные логи её работы — и даёт обоснованный ответ, на чьей стороне лежит техническая причина несоответствия.

Формат работы

Как и другие направления, экспертиза ИИ-систем может быть заказана досудебно — для оценки перспектив спора — либо назначена определением суда. Срок проведения зависит от сложности системы и объёма предоставленной документации и логов — от нескольких дней для относительно простых автоматизированных систем до нескольких недель для сложных алгоритмов машинного обучения, где требуется воспроизведение и анализ поведения модели на контрольных данных.

Подобные споры пока редко доходят до суда именно из-за нехватки экспертов, способных грамотно объяснить сложную техническую материю понятным для суда языком, — а не потому, что сами конфликты между разработчиками и заказчиками ИИ-решений случаются нечасто. Обращаться стоит заранее, на этапе подготовки технического задания и приёмо-сдаточных испытаний, а не только тогда, когда конфликт уже назрел, — это позволяет заложить в договор чёткие, измеримые критерии приёмки, которые затем гораздо проще проверить экспертным путём.

Экспертиза автоматизированных торговых алгоритмов

Отдельная, всё более частая категория — споры вокруг алгоритмической торговли и автоматизированных финансовых систем: клиент заказал робота для биржевой торговли по заданной стратегии, а результат оказался убыточным сверх заявленных рисков. Эксперт анализирует исходный код или логику алгоритма на предмет соответствия заявленной стратегии, а также реальную историю сделок — было ли поведение системы объяснимо рыночными условиями или являлось следствием программной ошибки, отклонившей систему от заявленной логики.

Подобные споры требуют от эксперта не только технической, но и базовой финансовой грамотности, чтобы корректно интерпретировать логи торговой активности. Именно поэтому в такие дела часто привлекаются эксперты с опытом на стыке двух областей.