90 прегледа
С бързото навлизане на генеративния изкуствен интелект (AI) се появява нова вълна от заплахи, насочени към манипулиране на самите AI системи. Една от тях е косвената prompt injection атака, при която злонамерени инструкции са скрити във външни източници на данни като имейли, документи или покани за срещи. Тези инструкции могат да насърчат AI да изнася потребителски данни или да изпълнява нежелани действия. Тъй като все повече организации и хора използват генеративен AI, тази фина, но потенциално опасна атака става все по-актуална и изисква спешни и надеждни мерки за сигурност.
Google дълго време прилага стратегия за защита в дълбочина, която включва подробна оценка на заплахите, добри практики за сигурност на AI, обучение с атакуващи данни (adversarial training) и укрепване на моделите. Тази стратегия позволява по-сигурно използване на AI модела Gemini в Google Workspace и свързаните приложения. В основата ѝ стоят множество изследвания, разработки и внедряване на подобрени мерки за сигурност, които описваме по-долу.
Google прилага многостепенен подход за сигурност, като въвежда мерки за всеки етап от живота на заявката (prompt). Това включва укрепване на модела Gemini 2.5, специално обучени машинни модели за откриване на злонамерени инструкции, както и системни защити. По този начин се повишава сложността и ресурсите, необходими на нападателите, което затруднява или излага на риск опитите за атаки.
Обучението с атакуващи данни значително засили защитата срещу косвени prompt injection атаки в Gemini 2.5. Тази вътрешна устойчивост се допълва от няколко допълнителни слоя защита, вградени директно в Gemini. Сред тях са: класификатори за съдържание с prompt injection, подсилване на защитните инструкции, почистване на markdown формати и филтриране на подозрителни URL адреси, рамка за потвърждение от потребителя и известия за сигурност.
Класификаторите за prompt injection съдържание се базират на сътрудничество с водещи изследователи в областта на AI сигурността и използват най-големите налични бази с уязвимости и атакуващи данни. Те откриват и филтрират злонамерени инструкции във формати като имейли и файлове, което осигурява по-сигурно изживяване за крайния потребител. Например, ако имейл съдържа злонамерени инструкции, тези класификатори ги блокират и генерират безопасен отговор.
Подсилването на защитните инструкции (security thought reinforcement) добавя специални напътствия към съдържанието на заявката, които насочват големия езиков модел да изпълнява само потребителската задача и да игнорира вредните инструкции. Това помага на модела да остане фокусиран и предпазва от косвени prompt injection атаки.
Markdown почистващият модул блокира зареждането на външни изображения, като предотвратява атаки от тип “EchoLeak”. Освен това, при откриване на подозрителни URL адреси, базирани на Google Safe Browsing, тези линкове се редактират или блокират, за да не се изпълняват злонамерени команди през тях.
Рамката за потвърждение от потребителя изисква допълнително потвърждение при рискови операции, например изтриване на събития в календара. Това гарантира, че потенциално опасни действия няма да се извършат без съгласие, като по този начин се намалява рискът от незабелязани злонамерени действия.
Накрая, системата уведомява потребителите при блокиране на потенциални атаки, като предоставя контекстна информация и връзки към помощни статии за по-добро разбиране и предпазване в бъдеще. Това повишава осведомеността и помага на потребителите да се защитят по-ефективно.
Google продължава да развива и подобрява своята многостепенна защита чрез редовни тестове, партньорства с изследователи и използване на строги стандарти за сигурност. Целта е Gemini и бъдещите AI модели да бъдат максимално устойчиви и сигурни за всички потребители.
Източник: Google Workspace Release Notes
