[Перевод] Пять документов ломают ваш RAG: где реальная уязвимость и что с ней делать
RAG часто воспринимают как аккуратный способ «заземлить» LLM на документах и снизить риск галлюцинаций. Но у этой архитектуры есть менее очевидная проблема: контекст из базы знаний обычно считается доверенным, хотя именно через него в модель могут попасть вредоносные инструкции. В статье разбираем,
![[Перевод] Пять документов ломают ваш RAG: где реальная уязвимость и что с ней делать](/uploads/bb6422b6-9f5b-4b7c-abe1-44cad0730cd7.jpg)
Image: Habr
RAG часто воспринимают как аккуратный способ «заземлить» LLM на документах и снизить риск галлюцинаций. Но у этой архитектуры есть менее очевидная проблема: контекст из базы знаний обычно считается доверенным, хотя именно через него в модель могут попасть вредоносные инструкции.
В статье разбираем, как несколько отравленных документов могут повлиять на ответы системы, почему эмбеддинги нельзя считать безопасной абстракцией и какие уровни защиты нужны, если RAG используется не в демо, а в реальном продакшене.
К рискам RAGОригинальная статья
[Перевод] Пять документов ломают ваш RAG: где реальная уязвимость и что с ней делать
Опубликовано Habr