Área da convergência · IA + Cyber
Cibersegurança para IA
Quem coloca IA em produção sem segurança de IA está montando o próprio incidente. Esta área trata de como proteger sistemas de IA em produção: o modelo, os agentes, as APIs, o pipeline de treinamento e o código que orquestra tudo. Não é cibersegurança genérica; são os vetores de ataque próprios de sistemas de IA e os controles que neutralizam cada um.
A superfície de ataque, em uma frase para cada item
- Prompt injection. Entrada adversarial que sobrescreve o system prompt e sequestra o comportamento do modelo.
- Prompt injection indireta. A entrada adversarial chega por um documento, página web ou ferramenta que o agente consome.
- Extração de modelo. Consultas estratégicas para reconstruir o modelo e roubar o investimento em treinamento.
- Envenenamento dos dados de treinamento. Injetar amostras envenenadas no corpus de treinamento para plantar backdoors.
- Exemplos adversariais. Entradas com perturbações imperceptíveis para humanos que o modelo classifica errado.
- Agência em excesso. Um agente com permissões amplas executa ações que o operador não autorizou.
- Cadeia de suprimentos do modelo. Modelo baixado de um hub comprometido carrega código malicioso ou backdoors.
- Vazamento de dados sensíveis. O modelo memorizou dados de treinamento sensíveis e os emite em produção.
Cargos nessa convergência
AI/ML Security Engineer
Projeta defesas contra exemplos adversariais, extração de modelo, envenenamento dos dados de treinamento e ataques na cadeia de suprimentos do modelo.
LLM Security Specialist
Endurece sistemas LLM contra o OWASP LLM Top 10: prompt injection direta e indireta, tratamento inseguro de saídas, agência em excesso e vazamento de dados sensíveis.
AI Red Team Operator
Encontra e explora fraquezas próprias de IA: prompt injection em várias rodadas, jailbreaks encadeados, exfiltração via uso de ferramentas pelo agente e roubo de modelo.
MLOps Security Engineer
Protege o pipeline de ML: controle de acesso ao registro de modelos, procedência de build (SLSA), linhagem dos dados de treinamento e guardrails de implantação.
AI Privacy Engineer
Aplica privacidade diferencial, aprendizado federado e pipelines de redação de PII aos fluxos de treinamento e inferência. Dá suporte a conformidade com LGPD e GDPR.
Os padrões que você precisa ler
OWASP LLM Top 10 (2025)
O catálogo de referência de vulnerabilidades em aplicações LLM. Cobre prompt injection, tratamento inseguro de saídas, envenenamento dos dados de treinamento, negação de serviço ao modelo, cadeia de suprimentos, vazamento de informação sensível, plugin design inseguro, agência em excesso, dependência excessiva e roubo de modelo.
MITRE ATLAS
Matriz de táticas e técnicas adversariais para sistemas de ML. É o equivalente ao ATT&CK no mundo da IA. Cada técnica tem defesas mapeadas e casos reais documentados.
NIST AI RMF (AI 100-1)
Marco de gestão de risco de IA com as funções Map, Measure, Manage e Govern. O GenAI Profile (AI 600-1) trata dos riscos específicos de modelos generativos.
ISO/IEC 42001:2023
Padrão internacional de sistema de gestão de IA (AIMS). Auditável. É o equivalente da ISO 27001 para programas de IA.
Por onde começar
Se você vem de IA Aplicada e quer somar capacidade de segurança, o curso AI Security Engineering é o caminho mais direto. Se vem de cibersegurança e quer ampliar o dia a dia com IA, veja a área irmã IA para cibersegurança →.
Ver a análise completa (em inglês) →