Елена Ларина, Владимир Овчинский

Завтра

Как сохранить за ним контроль и эффективно использовать

---

Министерство обороны США создало целевую группу для оценки и руководства применением генеративного искусственного интеллекта в целях национальной безопасности на фоне резкого роста общественного интереса к этой технологии.

Task Force Lima находится в ведении Главного управления цифровых технологий и искусственного интеллекта, или CDAO, которому чуть больше года.

Использование генеративного ИИ в вооруженных силах вызывает горячие споры. В то время как умный помощник или чат-бот на основе ИИ могут эффективно находить файлы, отвечать на часто задаваемые вопросы или раскапывать контактную информацию, такие инструменты также могут подпитывать кампании по дезинформации, попытки спуфинга и кибератаки. Агентство оборонных информационных систем в 2023 финансовом году добавило генеративный ИИ в свой «Список наблюдения за технологиями». Другие пункты в списке включают беспроводную связь 5G, квантово-устойчивую криптографию и кибербезопасность с нулевым доверием.

«Эти возможности открывают новые возможности, а также создают новые значительные риски», — говорится в меморандуме Пентагона от 10 августа 2023 года. «Министерству обороны необходимо изучить использование этой технологии и потенциал масштаба, скорости и интерактивных возможностей этих моделей для повышения эффективности задач Министерства, одновременно определяя надлежащие меры защиты и снижая различные связанные риски».

Новую работу возглавит Крейг Мартелл, директор по цифровым технологиям Министерства обороны. Мартелл сказал, что многое все еще висит в воздухе, но главная цель будет состоять в том, чтобы найти «набор вариантов использования внутри подразделения, где, как мы полагаем, генеративный ИИ может помочь нам выполнять нашу работу и где опасности, трудности генеративный ИИ можно смягчить. Например… если мне нужно создать первый черновик какого-то документа, это нормально, потому что я возьму на себя полную ответственность за редактирование этого документа, убедитесь, что он действительно правильный, прежде чем передать его дальше.»

Тем не менее, есть ряд случаев использования, когда риск ошибки будет слишком высок, чтобы использовать большую языковую модель, такую ​​как «что-либо кинетическое» или иметь дело со смертельным оружием, сказал он.

Мартелл пришел в министерство обороны из Lyft, и публично предупрежден опасностей, которые могут представлять большие языковые модели. Но, по его словам, такие модели «тоже не ящик Пандоры». По его словам, министерство обороны должно понимать, где их можно безопасно использовать, а где противники могут их развернуть. «Будет набор вариантов использования, которые станут новыми векторами атак не только для Министерства обороны США, но и для корпораций. И нам придется… усердно придумывать, как их решить.

Оперативная группа также поможет Пентагону лучше понять, что ему нужно купить для достижения новых целей в области искусственного интеллекта. Это может означать больше облачных сервисов, данных или синтетических данных, моделей или ничего из этого. По словам Мартелла, эта инициатива слишком молода, чтобы точно знать, что она будет значить для промышленности.

«Если мы решим, что будем строить свою собственную базовую модель, мы собираемся наращивать вычислительные мощности, в этом нет никаких сомнений. Чтобы построить собственную базовую модель, вам потребуется много вычислительной мощности. Если мы собираемся покупать его у кого-то другого или если мы собираемся взять продукт с открытым исходным кодом и доработать его», — сказал он.

Мартелл сказал, что более широкий вопрос заключается в том, есть ли у министерства обороны достаточно вариантов использования, в которых генеративный ИИ может быть полезен, учитывая лучшее понимание рисков. В то время как у подразделения есть много тщательно отобранных внутренних данных, терабайты диагностики реактивных двигателей или годы видеозаписи наблюдения беспилотников над Ближним Востоком не составляют большой языковой модели. Поскольку им приходится извлекать из больших корпусов текстов, их способу работы присуща определенная степень ненадежности. Вопрос, на который еще предстоит ответить академическим кругам, заключается в том, можно ли точно измерить эту неотъемлемую ненадежность, чтобы выявить риски использования».

«Это открытый вопрос, достаточно ли у нас данных, покрывающих достаточно широкий охват, чтобы ценность модели могла поддерживаться без этих предварительно обученных данных. С другой стороны… моя гипотеза такова: чем больше предварительно обученных данных, тем больше вероятность галлюцинаций. Так что это компромисс, который нам действительно нужно изучить. Я не знаю, я на самом деле не думаю, что научное сообщество знает ответ на этот вопрос», — сказал он.

Мартелл подчеркнул важность сохранения человеческого контроля и заверил, что машины никогда не будут принимать решения самостоятельно.

Пентагон постепенно внедряет технологию искусственного интеллекта для улучшения различных аспектов своей деятельности. Эта интеграция включает использование алгоритмов ИИ для анализа данных, распознавания образов и поддержки принятия решений. Однако Мартелл подчеркнул, что люди всегда будут нести ответственность за принятие окончательных решений.

Хотя ИИ может упростить процессы и повысить эффективность, Мартелл подчеркнул важность человеческого суждения для принятия сложных решений. Он подчеркнул, что роль ИИ заключается в том, чтобы помогать людям, предоставляя им ценную информацию, основанную на анализе данных. В конечном счете, люди несут ответственность за принятие обоснованных решений.

Мартелл также упомянул, что министерство обороны США внимательно относится к этическим соображениям при внедрении ИИ. Существуют руководящие принципы и правила, гарантирующие, что технология ИИ работает в заранее определенных границах и соответствует правовым и этическим нормам. Такой подход помогает поддерживать прозрачность и подотчетность в процессах принятия решений.

Кроме того, Мартелл признал, что ИИ не безошибочен и может иметь ограничения. Люди должны знать об этих ограничениях и проявлять осторожность, полагаясь на информацию, созданную ИИ. Сочетание сильных сторон людей и машин может привести к оптимальным результатам в критических ситуациях.

Министерство обороны США признает ценность ИИ для улучшения операций, но признает необходимость человеческого контроля. Мартелл подчеркнул, что машины никогда не будут способны принимать автономные решения, независимые от человеческого суждения. Интеграция ИИ направлена ​​на расширение человеческих возможностей, а не на замену принятия решений человеком.

По состоянию на начало 2021 года в Пентагоне находилось в стадии реализации не менее 685 проектов искусственного интеллекта, в том числе несколько связанных с основными системами вооружений, что является последним публичным подсчетом. Пентагон запросил 1,8 миллиарда долларов на искусственный интеллект в своем бюджетном запросе на 2024 финансовый год.

Пентагон запускает конкурс ИИ, чтобы получить помощь в защите компьютерных систем

DARPA, агентство Пентагона, которое финансирует технологические инновации, проводит двухлетний конкурс для экспертов в области искусственного интеллекта, чтобы создать новые способы укрепления кибербезопасности в мире.

Конкурс стартовал 9 августа 2023 года на конференции по кибербезопасности Black Hat в Лас-Вегасе. Участникам предлагается создать инструменты, которые может использовать каждый, чтобы помочь выявить и исправить дыры в программном обеспечении, чтобы хакеры не могли их использовать. Победителям в различных категориях будет разыграно в общей сложности 18,5 миллионов долларов, и официальное завершение состоится на хакерской конференции Def Con в Лас-Вегасе в августе 2025 года.

В последние годы организации США подвергались атакам хакеров. Только во время администрации Байдена хакеры неоднократно взламывали федеральные агентства , которые часто находят творческие способы взлома обычных программ, а затем используют этот доступ для слежки за деятельностью правительства по всему миру.

По словам представителя DARPA, победившие инструменты будут опубликованы для общественности, чтобы потенциально улучшить кибербезопасность во всем мире.

Исследование, финансируемое Пентагоном, использует искусственный интеллект для обнаружения «нарушения социальных норм»

Новое исследование, финансируемое Пентагоном (июль 2023 года), предполагает, что искусственный интеллект может сканировать и анализировать блоки текста, чтобы определить, сделали ли люди, которые его написали, что-то не так или нет.

В этих целях используются прогностические модели GPT-3, которые могут анализировать сообщения на предмет того, что они называют «нарушениями социальных норм», а также метод анализа данных, известный как «нулевая классификация текста», для выявления в текстовых сообщениях широких категорий «нарушения норм».

Исследователи из Университета Бен-Гурион (Израиль), работающие с DARPA пришли к выводу, что «конструктивная стратегия выявления нарушения социальных норм заключается в сосредоточении внимания на ограниченном наборе социальных эмоций, сигнализирующих о нарушении», а именно на чувстве вины и стыда. Другими словами, ученые хотели использовать ИИ, чтобы понять, когда мобильный пользователь может плохо себя чувствовать из-за того, что он сделал. Для этого они сгенерировали свои собственные «синтетические данные» с помощью GPT-3, а затем использовали классификацию текста с нулевым выстрелом для обучения прогностических моделей, которые могли бы «автоматически идентифицировать социальные эмоции» в этих данных. Надежда, по их словам, состоит в том, что эту модель анализа можно будет использовать для автоматического сканирования текстовых историй на наличие признаков плохого поведения.

Исследователи Бен-Гуриона говорят, что их проект был поддержан программой вычислительного культурного понимания DARPA — инициативой с нечетким мандатом на разработку «технологий межкультурного понимания языка для улучшения ситуационной осведомленности оператора Министерства обороны США и эффективности взаимодействия». Похоже, что «Пентагон хочет создать программное обеспечение, которое может анализировать для них иностранное население, чтобы, когда США начнут войну с указанным населением, можно было понять, как они к этому относятся».

Метки: искусственный интеллект, Пентагон, США, технологии, этика