Перейти к содержанию
  • Лента
  • Категории
  • Последние
  • Метки
  • Популярные
  • Пользователи
  • Группы
Свернуть
exlends
Категории
  1. Главная
  2. Категории
  3. Искусственный Интеллект
  4. ФСТЭК разрабатывает стандарт безопасной разработки ИИ в России 2026

ФСТЭК разрабатывает стандарт безопасной разработки ИИ в России 2026

Запланировано Прикреплена Закрыта Перенесена Искусственный Интеллект
фстэкии безопасностьстандарт разработки
1 Сообщения 1 Постеры 2 Просмотры
  • Сначала старые
  • Сначала новые
  • По количеству голосов
Ответить
  • Ответить, создав новую тему
Авторизуйтесь, чтобы ответить
Эта тема была удалена. Только пользователи с правом управления темами могут её видеть.
  • kirilljsxK Не в сети
    kirilljsxK Не в сети
    kirilljsx
    js
    написал отредактировано
    #1

    ФСТЭК России взялась за разработку нового стандарта по безопасности систем искусственного интеллекта. Этот документ дополнит существующие правила безопасной разработки ПО, учитывая специфику ИИ. Он поможет разработчикам избежать типичных угроз и создать надежные системы.

    Зачем это нужно? Текущие нормативы не покрывают риски, связанные с моделями машинного обучения и большими данными. Стандарт закроет пробелы, особенно для госсектора и критической инфраструктуры. В итоге проекты станут предсказуемыми и защищенными от инцидентов.

    Что именно разрабатывает ФСТЭК

    ФСТЭК анонсировала стандарт на форуме BIS-2025. Первый замдиректора Виталий Лютиков сообщил, что проект выйдет на обсуждение до конца 2025 года. Документ будет методическим руководством по всем этапам жизненного цикла ИИ - от данных до эксплуатации. Он учтет угрозы, которых нет в классическом ПО, вроде отравления датасетов или adversarial-атак.

    Существующий Приказ №117 ФСТЭК вступит в силу с марта 2026 года. Но он фокусируется на эксплуатации в госсекторе, а не на разработке. Эксперты отмечают, что без детальных мер по сбору и разметке данных риски растут. Новый стандарт унифицирует подходы, сделав безопасность обязательной нормой. Это особенно важно для моделей, работающих как черный ящик - их сложно тестировать стандартно.

    Вот ключевые аспекты, которые охватит стандарт:

    • Защита данных на этапе обучения: Проверка датасетов от отравления и обеспечение целостности.
    • Безопасность моделей: Меры против инъекций промптов и эксплуатации галлюцинаций.
    • Контроль на всех стадиях: От хранения до развертывания в продакшен.
    Этап Основные угрозы Меры защиты
    Сбор данных Отравление датасетов Валидация источников, аудит разметки
    Обучение модели Adversarial-атаки Тестирование на robustness, шифрование
    Эксплуатация Инъекции промптов Фильтры ввода, мониторинг поведения

    Специфика угроз для ИИ-систем

    ИИ отличается от обычного ПО своей непрозрачностью. Модели обучаются на огромных объемах данных, где малейшая ошибка приводит к катастрофе. Например, если датасет содержит вредоносные примеры, система начнет выдавать неверные решения в критических сценариях, как в медицине или финансах.

    Эксперты из Positive Technologies подчеркивают: текущие стандарты игнорируют дата-центричность ИИ. Нет правил для безопасной разметки или хранения моделей. Стандарт ФСТЭК введет конкретные шаги - от проверки корректности данных до этических аспектов. Это снизит разрозненность в проектах и повысит зрелость безопасности. В итоге разработчики получат четкий чек-лист, чтобы избежать штрафов и инцидентов.

    Типичные угрозы в деталях:

    1. Отравление данных - злоумышленник внедряет ложные примеры в тренировочный набор, модель учится на ошибках.
    2. Prompt injection - вредоносный ввод заставляет ИИ игнорировать правила.
    3. Галлюцинации - модель генерирует вымышленные факты, что опасно в реальных приложениях.
    4. Model stealing - кража архитектуры через запросы API.
    Угроза Пример Последствия
    Отравление Фейковые изображения в датасете Ошибочные диагнозы
    Инъекция Скрытый промпт в тексте Разглашение данных
    Кража модели Многократные запросы Конкурент копирует систему

    Кто и как будет применять стандарт

    Сначала стандарт станет обязательным для госорганов и критической инфраструктуры по Приказу №117. Но эксперты прогнозируют: он распространится на коммерцию как отраслевая норма. Разработчики ИИ для банков, медицины или транспорта обязаны будут следовать правилам. ФСТЭК обеспечит унификацию, чтобы проекты не отличались по уровню защиты.

    Переход будет поэтапным: обсуждение в 2025, внедрение с 2026. Компании смогут сертифицировать системы, подтверждая compliance. Это повысит доверие - и к технологиям, и к разработчикам. Параллельно обсуждают сертификацию суверенных моделей ИИ во ФСТЭК и ФСБ. В итоге рынок получит прозрачные правила без излишней бюрократии.

    Обязательные шаги для команд:

    • Аудит датасетов на каждом этапе.
    • Интеграция security в DevOps-пайплайн.
    • Регулярное пентестирование моделей.

    Взгляд в перспективу ИИ-безопасности

    Стандарт ФСТЭК - шаг к зрелому регулированию ИИ в России. Он закроет пробелы в Приказе №117, но не все вопросы решит сразу. Осталось уточнить детали по этике и международным стандартам, чтобы российские системы конкурировали глобально.

    В будущем ждем сертификацию моделей и интеграцию с другими нормами. Это даст разработчикам уверенность, а бизнесу - защиту от рисков. Пока проект на стадии обсуждения, стоит следить за обновлениями от ФСТЭК.

    1 ответ Последний ответ
    0

    Категории

    • Главная
    • Новости
    • Фронтенд
    • Бекенд
    • Языки программирования

    Контакты

    • Сотрудничество
    • info@exlends.com
    • Наш чат
    • Наш ТГ канал

    © 2024 - 2026 ExLends, Inc. Все права защищены.

    Политика конфиденциальности
    • Войти

    • Нет учётной записи? Зарегистрироваться

    • Войдите или зарегистрируйтесь для поиска.
    • Первое сообщение
      Последнее сообщение
    0
    • Лента
    • Категории
    • Последние
    • Метки
    • Популярные
    • Пользователи
    • Группы