По мере роста популярности ChatGPT среди писателей и создателей, вполне вероятно, что эту технологию будет использовать и другая группа: мошенники.
В настоящее время OpenAI, создатель чрезвычайно популярной модели разговорного языка, ограничивает некоторые виды неправомерного использования технологии — например, не позволяет ей говорить или делать то, что может быть расистским.
Однако Microsoft — ведущий инвестор OpenAI — недавно обнародовала планы по интеграции ChatGPT в Службы искусственного интеллекта Azureчто, вероятно, откроет возможности для более широкого использования технологии.
А по мере развития технологий фишинговые атаки могут упроститься.
Честер Вишневски, главный научный сотрудник Sophos, поставщика программного и аппаратного обеспечения для обеспечения безопасности, изучил, насколько удобными для пользователя ChatGPT справляется с вредоносными атаками.
В этом вопросе и ответе Вишневски обсуждает, что необходимо сделать для борьбы с использованием ChatGPT для этих атак.
Как ChatGPT может облегчить фишинговые атаки на злоумышленников?
Честер Вишневски: Первое, что я делаю, когда вы мне что-то даете, это придумываю, как это сломать. Как только я увидел последнюю версию ChatGPT, я подумал: «Хорошо, как я могу использовать это для плохих вещей?» Я поиграю, чтобы посмотреть, какие плохие вещи я могу сделать с ним.
Глядя на такой инструмент, как ChatGPT, с точки зрения безопасности, вы можете пойти двумя разными путями. Вы можете взглянуть на то, что это технически может сделать, я видел некоторые исследования по этому поводу. Например, можем ли мы заставить его писать вредоносное ПО? Можем ли мы заставить его писать вирусы? Можем ли мы заставить ее делать такие плохие вещи? Кроме того, есть и социальные аспекты.
Честер Вишневски
Я кратко рассмотрел техническую сторону, например, можете ли вы заставить его написать вредоносное ПО? Конечно, да, вы можете использовать его, чтобы помочь вам написать вредоносное ПО. Мы очень хорошо умеем обнаруживать компьютерные программы, которые делают плохие вещи. На самом деле не имеет значения, был ли он написан парнем по имени Эван или женщиной по имени Кэрол или Бот с искусственным интеллектом под названием ChatGPT. Плохой код есть плохой код. Меня не слишком волнует техническая сторона.
В чем я нашел преимущество, так это в социальном аспекте того, насколько легко вести беседу с ChatGPT и насколько хорош текст, особенно на американском английском. В течение последних десяти лет или около того я проводил некоторые исследования влияния того, как мы проводим обучение по вопросам безопасности. Первое, что я слышу от пользователей, это то, как они обнаруживают, что многие атаки заканчиваются в их почтовых ящиках, потому что орфография неверна, грамматика неверна. Хотя английский может быть правильным, чаще всего это британский английский. Многие из тех, кто пишет фишинговые сообщения, родом из Африки, Индии или Пакистана. Поэтому они закончатся ты одним словом цветили организация Это будет написано с расширением с вместо того гили вещи, которые американцы подхватывают.
Если вы начнете смотреть на ChatGPT и начнете просить их писать такие типы электронных писем, гораздо лучше писать фишинговые приманки, чем настоящие люди или, по крайней мере, люди, пишущие их. Большинство людей, которые пишут фишинговые атаки, не обладают высоким уровнем владения английским языком, и по этой причине им не удается торговаться с людьми.
Меня беспокоит то, как люди, атакующие нас, могут воспользоваться социальным аспектом ChatGPT. Единственный способ, которым мы узнаем сейчас, — это то, что мы можем сказать, что это не профессиональная компания. ChatGPT позволяет им очень легко выдавать себя за законную компанию без каких-либо языковых навыков или других вещей, необходимых для написания хорошо продуманной атаки.
Какие инструменты искусственного интеллекта нам нужны, которые могут определить, написана ли фишинговая атака ботом, таким как ChatGPT?
Вишневски: Мы свернули за угол с ИИ, между предложением Microsoft [text-to-speech model] Способность Vall-E выдавать себя за людей и великолепная способность ChatGPT поддерживать беседу. Теперь мы зашли за угол, где люди неспособны узнать, являются ли они Обманул бот Или они разговаривают с реальным человеком. Я не знаю, мы когда-нибудь сможем это исправить.
Мы не можем полагаться на то, что пользователи определят, является ли что-то реальным. Люди будут постоянно обманываться. Технологии слишком хороши, и люди никогда не станут лучше.
Честер ВишневскиГлавный научный сотрудник Sophos
С человеческой точки зрения это на самом деле означает, что нам нужно радикально изменить наши ожидания и наш подход к тому, что, по нашему мнению, будут делать люди.
Мы не можем полагаться на то, что пользователи определят, является ли что-то реальным. Люди будут постоянно обманываться. Технологии слишком хороши, и люди никогда не станут лучше. У нас никогда не будет версии 2.0 людей. Таким образом, мы достигли своего предела в технологиях.
Таким образом, вы можете запустить собственную модель ИИ для таких вещей, как фильтрация электронной почты. Возможно, нам нужно будет реализовать что-то подобное. Мы сможем воспроизводить входящие электронные письма, так же как мы проверяем их на признаки спама, чтобы узнать, пытаются ли они продать вам русскую невесту, какие-то лекарства для сердца или что-то еще. Мы сможем начать обнаруживать его с помощью программ, которые сообщают нам, что «текст в этом письме был на самом деле написан человеком» и «у нас есть 92% уверенности, что он, возможно, уже был написан ChatGPT или каким-то ML». [machine learning] Модель.’ Я думаю, что со временем мы будем лучше понимать, что он создает.
Но если, например, люди начинают писать рекламные тексты или писать с помощью ChatGPT, на вашу электронную почту может приходить много «законного» текста, который на самом деле был написан ChatGPT. Это не мошенничество. Так что я не думаю, что технически это будет решено, но я думаю, что мы можем помочь людям принимать решения.
Первым шагом в этом направлении является то, что мы начнем реализовывать способность обнаруживать вещи, написанные им, чтобы мы могли предупредить людей о «что-то странном в этом».
ChatGPT и все подобное — это система, основанная на правилах. У нее есть набор правил, которым она следует, и она не может нарушать правила, которые были созданы для нее. И эта способность программно предсказывать, как это работает внутри компьютера, означает, что мы всегда можем сказать, что подобная модель сделала это. У нее есть некоторые признаки того, что она следует правилам. Люди никогда не следуют правилам.
Как регулирование может помочь уменьшить неправомерное использование таких инструментов, как ChatGPT, для фишинговых атак?
Вишневски: Я предполагаю, что законодательство не будет очень эффективным, потому что независимо от того, что вы говорите компаниям делать с точки зрения ИИ, вы, по сути, вообще запрещаете им владеть ИИ. Единственный способ не обидеть ее — не быть рядом. У этого поезда нет остановки. Поезд ушел со станции, и никакие законы не отменят эту доступную миру технологию.
Примечание редактора: Эти вопросы и ответы были отредактированы для ясности и краткости.
