AI-агенты и безопасность | безопасность, уязвимости, LLM, MCP | Podlodka Podcast #446
В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке. В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL. Полезные ссылки: — Archestra.AI https://archestra.ai
— Блог Simon Willison https://simonwillison.net/2025/Sep/18...
— Статья “Why AI systems may never be secure, and what to do about it” https://www.economist.com/science-and...
— Статья “Anthropic: How we built our multi-agent research system” https://simonwillison.net/2025/Jun/14...
— Статья “An Introduction to Google’s Approach to AI Agent Security” https://simonwillison.net/2025/Jun/15...
— Google's Approach for Secure AI Agents https://research.google/pubs/an-intro...
— Статья “Design Patterns for Securing LLM Agents against Prompt Injections” https://simonwillison.net/2025/Jun/13...
— Код для статьи "Defeating Prompt Injections by Design" https://github.com/google-research/ca...
— Статья “CaMeL offers a promising new direction for mitigating prompt injection attacks“ https://simonwillison.net/2025/Apr/11...
❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат: https://t.me/podlodka
