Digite aqui sua pesquisa

Aplicações ERP, CRM, Lojas Virtuais, Aplicativos de Celulares, Redes Sociais, Criação de SITES, Blogs, Mídias Digitais e muito mais...
-Novas Ferramentas Ajudam a Construir Novos Produtos!
http://informaticapersonalizada.com.br/home
Faça seu cadastro

O Uso Malicioso da Inteligência Artificial: Previsão, Prevenção e Mitigação



Página 1
Futuro de Humanidade Instituto Universidade de Oxford Centro para o estudo de Existencial Risco Universidade de Cambridge Centro para um Americano novo Segurança Eletrônico Fronteira Fundação OpenAI Fevereiro de 2018 O uso malicioso de Inteligência Artificial: Previsão, Prevenção, e Mitigação

Página 2
O Uso Malicioso da Inteligência Artificial: Previsão, Prevenção e Mitigação Os autores estão listados por ordem de contribuição Direção de design por Sankalp Bhatnagar e Talia Cotton Fevereiro de 2018 1 Autor correspondente miles.brundage@philosophy. ox.ac.uk Instituto do Futuro da Humanidade, Universidade de Oxford; Arizona Universidade Estadual 2 Autor correspondente, sa478@cam.ac.uk Centro para o Estudo de Risco Existencial, Universidade de Cambridge 3 OpenAI 4 Projeto de Filantropia Aberta 5 Fronteira eletrônica Fundação 6 Futuro da Humanidade Instituto da Universidade de Oxford 7 Futuro da Humanidade Instituto da Universidade de Oxford; Universidade de Yale 8 Centro para um novo americano Segurança 9 Universidade Americana 10 Endgame 11 Endgame 12 Universidade de Oxford / Arizona State University / New Fundação América 13 Centro para um americano novo Segurança 14 Universidade de Stanford 15 Futuro da Humanidade Instituto da Universidade de Oxford 16 Centro para o Estudo de Risco Existencial e Centro para o Futuro de Inteligência, Universidade de Cambridge 17 Centro para o estudo de Risco Existencial, Universidade de Cambridge 18 Centro para o Estudo de Risco Existencial, Universidade de Cambridge 19 Futuro da Humanidade Instituto da Universidade de Oxford 20 Futuro da Humanidade Instituto da Universidade de Oxford 21 Sociedade da Informação Projeto, Universidade de Yale 22 Futuro da Humanidade Instituto da Universidade de Oxford 23 OpenAI 24 University of Bath 25 Universidade de Louisville 26 OpenAI Miles Brundage Shahar Avin Jack Clark Helen Toner Peter Eckersley Ben Garfinkel Allan Dafoe Paul Scharre Thomas Zeitzoff Bobby Filar Hyrum Anderson Heather Roff Gregory C. Allen Jacob Steinhardt Carrick Flynn Seán Ó Héigeartaigh Simon Beard Haydn Belfield Sebastian Farquhar Clare Lyle Rebecca Crootof Owain Evans Michael Page Joanna Bryson Roman Yampolskiy Dario Amodei

Página 3
A inteligência artificial e as capacidades de aprendizagem em máquina estão crescendo a uma taxa sem precedentes. Essas tecnologias têm muitas aplicações benéficas, que vão desde a tradução de máquina até a medicina análise de imagem. Muitas outras aplicações estão sendo desenvolvido e pode ser esperado a longo prazo. Menos atenção tem sido historicamente pago sobre as formas em que a inteligência artificial pode ser usado maliciosamente. Este relatório analisa a paisagem de ameaças de segurança potenciais de usos maliciosos de inteligência artificial tecnologias, e propõe formas de melhor prever, prevenir e mitigue essas ameaças. Analisamos, mas não resolvemos de forma conclusiva, a questão de qual o equilíbrio a longo prazo entre atacantes e os defensores serão. Nos concentramos em que tipo de ataques somos provavelmente verá em breve se as defesas adequadas não forem desenvolvidas. p.3 Executivo Resumo

Página 4
p.4 Sumário executivo O Uso Malicioso da Inteligência Artificial Em resposta à mudança da paisagem de ameaça, fazemos quatro níveis de alto nível recomendações: 1. Os decisores políticos devem colaborar estreitamente com as pesquisadores para investigar, prevenir e mitigar o potencial Usos maliciosos da AI. 2. Pesquisadores e engenheiros em inteligência artificial devem a natureza dupla de uso do seu trabalho seriamente, permitindo o uso indevido - considerações relacionadas para influenciar as prioridades de pesquisa e normas, e proativamente chegar aos atores relevantes quando aplicações previsíveis são previsíveis. 3. As melhores práticas devem ser identificadas em áreas de pesquisa com mais métodos maduros para abordar preocupações de dupla utilização, como segurança informática, e importado quando aplicável ao caso de AI. 4. Procurar ativamente ampliar a gama de partes interessadas e domínio especialistas envolvidos nas discussões sobre esses desafios.

Página 5
p.5 Sumário executivo O Uso Malicioso da Inteligência Artificial À medida que as capacidades de AI se tornam mais poderosas e generalizadas, esperamos o crescente uso de sistemas AI para levar a mudanças paisagem de ameaças: • Expansão das ameaças existentes. Os custos dos ataques podem ser reduzido pelo uso escalável dos sistemas AI para completar tarefas que normalmente exigiria trabalho humano, inteligência e perícia. Um efeito natural seria expandir o conjunto de atores quem pode realizar ataques particulares, a taxa a que eles podem realizar esses ataques e o conjunto de alvos potenciais. • Introdução de novas ameaças. Novos ataques podem surgir através da uso de sistemas AI para completar tarefas que de outra forma seriam impraticável para os seres humanos. Além disso, atores mal-intencionados podem explorar as vulnerabilidades dos sistemas de IA implantados pelos defensores. • Mudar para o caractere típico das ameaças. Nós acreditamos que existe motivo para esperar ataques ativados pelo crescente uso de AI para ser especialmente eficaz, finamente alvo, difícil de atribuir, e provavelmente explorará vulnerabilidades em sistemas de AI.

Página 6
p .6 Sumário executivo O Uso Malicioso da Inteligência Artificial Estruturamos nossa análise separadamente considerando três segurança domínios e ilustrar possíveis mudanças nas ameaças nesses domínios através de exemplos representativos: • Segurança digital. O uso de AI para automatizar tarefas envolvidas em A realização de ataques cibernéticos aliviará a compensação existente entre a escala e a eficácia dos ataques. Isso pode expandir A ameaça associada a ataques cibernéticos intensivos em mão-de-obra (como o phishing da lança). Também esperamos novos ataques que explorar vulnerabilidades humanas (por exemplo, através do uso da fala síntese para representação), vulnerabilidades de software existentes (por exemplo, através de hacking automatizado) ou as vulnerabilidades dos sistemas AI (por exemplo, através de exemplos e dados contraditórios envenenamento). • Segurança física. O uso de AI para automatizar tarefas envolvidas em realizando ataques com drones e outros sistemas físicos (por exemplo, através da implantação de armas autônomas sistemas) podem expandir as ameaças associadas a estes ataques. Nós também esperamos novos ataques que subvertem ciber- sistemas físicos (por exemplo, causando acidentes de veículos autônomos) ou envolver sistemas físicos que seria impossível dirigir remotamente (por exemplo, um enxame de milhares de micro-drones). • Segurança política. O uso de AI para automatizar tarefas envolvidas em vigilância (por exemplo, análise de dados coletados em massa), persuasão (por exemplo, criar propaganda direcionada) e decepção (por exemplo, manipulação de vídeos) pode expandir as ameaças associadas a invasão de privacidade e manipulação social. Nós também esperamos romance ataques que aproveitam uma capacidade melhorada para analisar comportamentos humanos, humores e crenças com base em informações disponíveis dados. Essas preocupações são mais significativas no contexto de estados autoritários, mas também pode prejudicar a capacidade de democracias para sustentar debates públicos verdadeiros.

Página 7
p .7 Sumário executivo O Uso Malicioso da Inteligência Artificial Além das recomendações de alto nível listadas acima, nós também propor a exploração de várias questões abertas e potencialidades intervenções dentro de quatro áreas de pesquisa prioritárias: • Aprendendo com e com a comunidade de segurança cibernética. No cruzamento da cibersegurança e ataques de IA, destacamos a necessidade de explorar e potencialmente implementar teaming vermelho, verificação formal, divulgação responsável de vulnerabilidades de AI, ferramentas de segurança e hardware seguro. • Explorando diferentes modelos de abertura. Como a natureza de dupla utilização de AI e ML se tornam evidentes, destacamos a necessidade de reimagine normas e instituições em torno da abertura de pesquisa, começando com a avaliação de risco pré-publicação em áreas técnicas de especial preocupação, licenciamento de acesso central modelos, compartilhamento de regimes favoráveis ​​à segurança e segurança, e outras lições de outras tecnologias de dupla utilização. • Promover uma cultura de responsabilidade. Pesquisadores AI e o as organizações que os empregam estão em uma posição única para Formar a paisagem de segurança do mundo habilitado para AI. Nós destaque a importância da educação, das declarações éticas e padrões, enquadramentos, normas e expectativas. • Desenvolvimento de soluções tecnológicas e políticas. Além de Acima, examinamos uma série de tecnologias promissoras, como bem como as intervenções políticas, que poderiam ajudar a construir um futuro mais seguro com AI. Áreas de alto nível para pesquisas futuras incluem privacidade proteção, uso coordenado de AI para segurança pública, monitoramento de recursos relevantes para AI, e outros recursos legislativos e respostas regulatórias. As intervenções propostas exigem atenção e ação não apenas de Pesquisadores e empresas da AI, mas também de legisladores, funcionários públicos, reguladores, pesquisadores de segurança e educadores. O desafio é Desanimador e as apostas são altas.

Página 8
Sumário executivo Introdução Escopo Literatura relacionada Quadro geral para AI e ameaças de segurança Capacidades AI Propriedades relevantes para a segurança da AI Implicações gerais Cenários Segurança digital Segurança física Segurança política Domínios de segurança Segurança digital Segurança física Segurança política Intervenções Recomendações Áreas prioritárias para pesquisas futuras Análise estratégica Fatores que afetam o equilíbrio da IA ​​e da segurança Avaliação geral Conclusão Reconhecimentos Referências Apêndice A Apêndice B 3 9 10 10 12 12 16 18 23 24 27 28 30 31 37 43 50 51 52 58 59 61 64 66 67 75 78 02 03 04 05 Conteúdo

Página 9
Introdução p .9 Inteligência artificial (AI) e aprendizagem de máquinas (ML) têm avançou rapidamente nos últimos anos, e seu desenvolvimento possibilitou uma ampla gama de aplicações benéficas. Por exemplo, AI é um componente crítico de tecnologias amplamente utilizadas, tais como reconhecimento de fala, tradução automática, filtros de spam e pesquisa motores. Novas tecnologias promissoras atualmente pesquisados ​​ou submetidos a pilotos de pequena escala incluem drivers sem motor carros, assistentes digitais para enfermeiros e médicos, e habilitados para AI drones para acelerar as operações de socorro em caso de catástrofe. Ainda mais no futuro, a IA avançada oferece a promessa de reduzir a necessidade para o trabalho indesejável, acelerando muito a pesquisa científica e melhorando a qualidade da governança. Estamos entusiasmados com muitos dos Esses desenvolvimentos, embora também desejemos atenção às O AI pode ser usado maliciosamente. Analisamos esses riscos em detalhes para que possam ser prevenidos ou mitigados, não apenas pelo valor de AI refere-se ao uso de tecnologia para criar sistemas que são capaz de executar tarefas comumente pensou exigir inteligência. A aprendizagem de máquinas é variada caracterizado como um sub- campo de AI ou um campo separado, e refere-se ao desenvolvimento de sistemas que melhoram seu desempenho em uma determinada tarefa ao longo do tempo através de experiência. Nós definimos "uso malicioso" vagamente, para incluir todas as práticas que são destinado a comprometer a segurança de indivíduos, grupos ou uma sociedade. Observe que se pode ler muito de nosso documento sob vários possíveis perspectivas sobre o que constitui uso mal-intencionado, como as intervenções e questões estruturais que discutimos são bastante geral. 1 2

Página 10
p .10 Introdução impedindo os danos associados, mas também para evitar atrasos na realização das aplicações benéficas da AI. Inteligência artificial (AI) e aprendizagem de máquina (ML) estão alterando a paisagem de riscos de segurança para cidadãos, organizações e estados. O uso malicioso da AI pode ameaçar a segurança digital (por exemplo, através de criminosos treinando máquinas para hackear ou engajar socialmente vítimas em níveis humanos ou super-humanos de desempenho), segurança física (por exemplo, atores não estatais que arvoram drones de consumo) e políticos segurança (por exemplo, através da privacidade - eliminando a vigilância, o perfil, e repressão, ou através de desinformação automatizada e direcionada campanhas). O uso malicioso da AI afetará a forma como construímos e gerenciamos nossa infra-estrutura digital, bem como a forma como projetamos e distribuímos Sistemas AI, e provavelmente exigirá políticas e outros respostas. A questão que este relatório espera responder é: como pode nós prevemos, prevenimos e (quando necessário) mitiguem os danos Efeitos de usos maldosos de AI? Convocamos uma oficina em Universidade de Oxford sobre o tema em fevereiro de 2017, trazendo juntos peritos em segurança AI, drones, cibersegurança, letal sistemas de armas autônomas e contra-terrorismo. este documento resume as conclusões desse workshop e nosso conclusões após pesquisas subsequentes. Escopo Para os propósitos deste relatório, consideramos apenas tecnologias AI que estão atualmente disponíveis (pelo menos como pesquisa inicial e demonstrações de desenvolvimento) ou são plausíveis nos próximos 5 anos, e foca em particular em tecnologias que alavancam a máquina Aprendendo. Consideramos apenas cenários em que um indivíduo ou um A organização implanta a tecnologia AI ou compromete um sistema de AI com o objetivo de minar a segurança de outro indivíduo, organização ou coletivo. Nosso trabalho se encaixa em um trabalho maior sobre as implicações sociais e as respostas políticas a AI. Lá Até agora, mais atenção foi prestada neste trabalho a não intencional formas de uso indevido de AI, como o viés algorítmico, versus o intencional minando a segurança individual ou grupal que consideramos. Excluímos ameaças indiretas à segurança do relatório atual, tais como ameaças que podem vir do desemprego em massa, ou outros efeitos de segunda ou terceira ordem da implantação de Tecnologia AI na sociedade humana. Também excluímos o nível do sistema ameaças que resultariam da interação dinâmica entre atores não-maliciosos, como uma "corrida para o fundo" na segurança da AI Nem todos os participantes da oficina endossar necessariamente todas as descobertas discutido aqui. Consulte o Apêndice A para detalhes adicionais na oficina e processo de pesquisa subjacente este relatório. Definimos zangões como antena não tripulada robôs, que podem ou não ter recursos autônomos de tomada de decisão. 2 1 Brynjolfsson e McAfee, 2014; Brundage, 2017; Crawford e Calo, 2016; Calo, 2017; Chessen, 2017a, Escritório Executivo do Presidente, 2016 Kirkpatrick, 2016 4 3

Página 11
p.11 Introdução entre grupos concorrentes que procuram uma vantagem ou conflitos superando o controle devido ao uso de autonomia cada vez mais rápida armas. Tais ameaças são reais, importantes e urgentes, e exigir mais estudos, mas estão além do escopo deste documento. Literatura relacionada Embora a ameaça de uso mal-intencionado da IA ​​tenha sido destacada em configurações de alto perfil (por exemplo, em uma audiência do Congresso Oficina organizada pela casa e um Departamento de Homeland Relatório de segurança), e cenários de risco específicos foram analisados (por exemplo, a subversão da arma autônoma letal militar sistemas), a interseção de AI e intenção maliciosa é grande ainda não foi analisado de forma abrangente. Várias literaturas têm a questão da AI e da segurança, incluindo aqueles em segurança cibernética, drones, armas autônomas letais, "Bots de mídia social" e terrorismo. Outra área adjacente de A pesquisa é segurança AI - o esforço para garantir que os sistemas AI sejam confiáveis alcançar os objetivos que seus designers e usuários pretendem sem causar dano involuntário. Considerando que a literatura de segurança da IA ​​se concentra em danos involuntários relacionados à IA, nos concentramos no uso intencional de AI para alcançar resultados prejudiciais (do ponto de vista da vítima). UMA relatório recente cobre um fundamento similar à nossa análise, com um maior foco nas implicações da AI para a segurança nacional dos EUA. No restante do relatório, fornecemos uma visão de alto nível sobre a natureza da AI e suas implicações de segurança na seção Framework Geral para AI e Segurança, com subsecções em Capacidades, Propriedades relevantes para a segurança da AI e Geral Implicações para a paisagem de segurança; então, ilustramos estes características de AI com cenários em que os sistemas AI poderiam ser usado maliciosamente; Nós analisamos a seguir a forma como a AI pode desempenhar domínios de segurança digital, física e política; nós propomos Intervenções para avaliar melhor esses riscos, proteger as vítimas ataques e evitar que atores mal-intencionados acessem e implantação de capacidades de IA perigosas; e conduzimos uma Estratégica Análise do "equilíbrio" de um mundo no médio prazo (5+ anos) depois de ataques e defesas mais sofisticados terem sido implementado. Os apêndices A e B, respectivamente, discutem o workshop que conduziu a este relatório, e descreva as áreas de pesquisa que podem resultar em intervenções úteis adicionais. 6 7 Amodei e Olah et al., 2016; Soares e Fallenstein, 2014; Taylor, 2016; Russell, Dewey e Tegmark 2015; Everitt et al., 2017 Allen e Chan, 2017 2 3 4 Moore, 2017 Escritório de Ciência e Tecnologia Política e Carnegie Mellon Universidade, 2016) Escritório de Cyber ​​e Infra-estrutura Análise, 2017) Política tecnológica e Universidade Carnegie Mellon, 2016 5 Scharre, 2016 1 Armstrong et al., 2014

Página 12
02 p.12 Geral Estrutura para AI e Ameaças à segurança Capacidades AI O campo da AI visa a automação de uma ampla gama de tarefas. Tarefas típicas estudadas por pesquisadores de AI incluem jogos, guiando veículos e classificando imagens. Em princípio, porém, o conjunto de tarefas que poderiam ser transformadas pela AI é vasto. No mínimo, qualquer tarefa que os seres humanos ou os animais não humanos utilizem sua inteligência para executar poderia ser um alvo para a inovação. Enquanto o campo da inteligência artificial remonta à década de 1950, vários anos de rápido progresso e crescimento investiram recentemente com uma maior e mais ampla relevância. Os pesquisadores alcançaram ganhos repentinos de desempenho em vários dos seus mais comuns estudou tarefas. Fatores que ajudam a explicar estes Os ganhos recentes incluem o exponencial crescimento do poder de computação, melhorado algoritmos de aprendizagem de máquinas (especialmente na área do fundo redes neurais), desenvolvimento de frameworks de software padrão para iteração e replicação mais rápidas de experimentos, maiores e amplamente conjuntos de dados disponíveis e expandidos investimentos comerciais (Jordânia e Mitchell, 2015). 1

Página 13
p.13 Estrutura Geral para Ameaças de AI e Segurança A Figura 1 ilustra essa tendência no caso de reconhecimento de imagem, onde durante a última metade da década o desempenho da melhor AI Os sistemas melhoraram de classificar corretamente cerca de 70% de imagens para categorização quase perfeita (98%), melhor do que a benchmark humano de 95% de precisão. Ainda mais impressionante é o caso de geração de imagem. Como mostra a Figura 2, sistemas AI podem agora produzem imagens sintéticas que são quase indistinguíveis de fotografias, enquanto que apenas alguns anos atrás as imagens que eles produzidos eram grosseiros e, obviamente, não eram realistas. Os sistemas AI também estão começando a alcançar um desempenho impressionante em uma variedade de jogos competitivos, que variam de xadrez a Atari Para ir a e-sports como Dota 2. Mesmo particularmente desafiador tarefas dentro desses domínios, como o Atari notoriamente difícil jogo Montezuma's Revenge, estão começando a ceder ao romance Técnicas AI que criativamente buscam resultados bem-sucedidos a longo prazo. estratégias, aprenda com recompensas auxiliares, tais como controle de características, e aprender com algumas demonstrações humanas. Outra tarefa áreas associadas ao progresso recente significativo incluem discurso reconhecimento, compreensão de linguagem e navegação de veículos. Do ponto de vista da segurança, vários desses desenvolvimentos são dignos de atenção por conta própria. Por exemplo, a capacidade reconhecer o rosto de um alvo e navegar pelo espaço pode ser aplicado em sistemas de armas autônomas. Da mesma forma, a capacidade para gerar imagens sintéticas, texto e áudio podem ser usados para personificar outros on-line ou influenciar a opinião pública distribuindo conteúdo gerado por AI através de canais de mídia social. Discutimos essas aplicações da IA ​​ainda mais na Segurança Seção de domínios. Esses desenvolvimentos técnicos também podem ser vistos como cedo indicadores do potencial da AI. As técnicas utilizadas para alcançar altos níveis de desempenho nas tarefas listadas acima têm apenas recebeu uma atenção significativa dos praticantes na última década e muitas vezes são bastante gerais. Não será surpreendente se os sistemas de AI logo se tornarem competentes em uma variedade ainda maior de tarefas relevantes para a segurança. Ao mesmo tempo, não devemos esperar ver progresso significativo a curto prazo em qualquer tarefa determinada. Muitas pesquisas áreas da AI, incluindo grande parte da robótica, não mudaram quase tão dramaticamente na última década. Da mesma forma, o observando que algumas das tarefas mais comumente estudadas tem sido associado com um rápido progresso não é necessariamente tão significativo como parece: essas tarefas são muitas vezes amplamente estudadas em primeiro lugar porque são particularmente atraentes. 1 2 3 4 5 6 7 8 Na página 18 Na página 19 Mnih et al., 2015 Silver e Huang et al., 2016; Silver, Schrittwieser e Simonyan et al., 2016 OpenAI, 2017a; OpenAI, 2017b Vezhnevets et al., 2017 Jaderberg et al., 2016 Hester et al., 2017 Para auxiliar as suas previsões, pode útil para assinalar algumas diferença entre tarefas que Os sistemas AI contemporâneos são bem- adequado e tarefas para as quais eles ainda são baixas. Em particular, é provável que uma tarefa seja promissora se um modelo matemático perfeito ou A simulação da tarefa existe, se sinais de progresso de curto prazo são disponível, se abundantes dados sobre o desempenho bem sucedido dessa tarefa por humanos está disponível, ou se o A solução para a tarefa não requer um modelo mundial mais amplo ou "comum" sentido''. 9

Página 14
p .14 Estrutura Geral para Ameaças de AI e Segurança Figura 1: Avanços recentes no reconhecimento de imagens no ImageNet benchmark. Gráfico do AI Progress da Electronic Frontier Foundation Projeto de medição (recuperado em 25 de agosto de 2017). ImageNet Image Recognition Desempenho humano Erro Ra te NEC UIUC XRCE Supervisão Clarifai VGG MSRA retirado Trimps-Soushen 0,25 2011 2012 2013 2014 2015 2016 2017 0,20 0,15 0,10 0,05

Página 15
p .15 Estrutura Geral para Ameaças de AI e Segurança Figura 2: Rostos sintéticos cada vez mais realistas gerados por variações nas Redes Adversárias Generativas (GANs). Em ordem, o As imagens são de artigos de Goodfellow et al. (2014), Radford et al. (2015), Liu e Tuzel (2016), e Karras et al. (2017). 2014 2015 2016 2017

Página 16
p .16 Estrutura Geral para Ameaças de AI e Segurança Finalmente, algumas coisas devem ser ditas sobre as perspectivas a longo prazo para o progresso na inteligência artificial. Hoje, os sistemas AI executam bem em apenas uma parcela relativamente pequena das tarefas que os seres humanos são capaz de. No entanto, mesmo antes do recente estouro de progresso, Esta parcela expandiu-se constantemente ao longo do tempo. Além disso, tem muitas vezes foi o caso de uma vez que os sistemas de AI atingem o nível humano desempenho em uma determinada tarefa (como o xadrez), eles seguem para exceder o desempenho de até mesmo os humanos mais talentosos. Quase todos os pesquisadores da AI em uma pesquisa esperam que os sistemas de AI acabará por atingir e depois superar o desempenho do nível humano em todas as tarefas pesquisadas. A maioria acredita que esta transição é mais provável do que para não ocorrer nos próximos 50 anos. As implicações de tais uma transição, se ocorrer, são difíceis de conceituar e são fora do escopo primário deste relatório (veja Escopo, embora nós revise brevemente este tópico na Conclusão). No entanto, pode-se espera que os sistemas de AI desempenhem papéis centrais em muitos problemas de segurança bem antes de serem capazes de superar os seres humanos em tudo, em da mesma forma que eles já estão encontrando aplicações econômicas apesar de não poder automatizar a maioria dos aspectos dos empregos dos seres humanos. Propriedades relevantes para a segurança da AI AI é uma área de tecnologia de dupla utilização. Sistemas AI e o conhecimento de como projetá-los pode ser colocado tanto para civis como militares usa, e mais amplamente, para fins benéficos e prejudiciais. Desde a algumas tarefas que exigem inteligência são benignas e outras não são, A inteligência artificial é de dupla utilização, no mesmo sentido que humano a inteligência é. Pode não ser possível para pesquisadores de AI simplesmente Evite produzir pesquisas e sistemas que possam ser direcionados para extremidades nocivas (embora em alguns casos, um cuidado especial possa ser justificado com base na natureza da pesquisa específica em questão - veja Intervenções). Muitas tarefas que seria benéfico para automatizar são eles mesmos de dupla utilização. Por exemplo, sistemas que examinar software para vulnerabilidades têm tanto ofensivo quanto aplicações defensivas e a diferença entre as capacidades de um drone autônomo usado para fornecer pacotes e capacidades de um drone autônomo usado para entregar explosivos não precisa ser muito grande. Além disso, pesquisa fundamental que visa para aumentar nossa compreensão da AI, suas capacidades e nosso grau de controle sobre ele, parece ser inerentemente de dupla utilização na natureza. Os sistemas AI são comumente eficientes e escaláveis. Aqui nós dizer que um sistema de IA é "eficiente" se, uma vez treinado e implantado, pode completar uma determinada tarefa de forma mais rápida ou barata do que um ser humano poderia. Dizemos que um sistema AI é "escalável" se, dado que pode completar uma determinada tarefa, aumentando o poder de computação tem acesso ou fazer cópias do sistema permitiria 2 Grace et al., 2017 Embora as tendências em desempenho em uma série de domínios historicamente não foi rastreado de forma abrangente ou bem teorizado (Brundage, 2016; Hernández-Orallo, 2017), tem foram alguns esforços recentes para rastrear, medir e comparar o desempenho (Eckersley e Nasser et al., 2017). Distinguimos aqui entre tarefas eficiência de um sistema treinado, que excede largamente o desempenho humano e eficiência de treinamento: o valor de tempo, recursos computacionais e dados, que um sistema requer em Aprenda a se apresentar bem em uma tarefa. Humanos ainda significativamente exceder os sistemas de AI em termos de treinamento eficiência para a maioria das tarefas. 1 3

Página 17
p .17 Estrutura Geral para Ameaças de AI e Segurança para completar muitas outras instâncias da tarefa. Por exemplo, um sistema típico de reconhecimento facial é eficiente e escalável; Uma vez que é desenvolvido e treinado, pode ser aplicado a muitos diferentes câmeras alimentadas por muito menos do que o custo de contratação de humanos analistas para fazer o trabalho equivalente. Os sistemas AI podem exceder as capacidades humanas. Em particular, uma IA sistema pode ser capaz de executar uma determinada tarefa melhor do que qualquer humano poderia. Por exemplo, como discutido acima, os sistemas AI são agora dramaticamente melhor que até mesmo os melhores jogadores em jogos Como o xadrez e Go. Para muitas outras tarefas, sejam benignas ou potencialmente prejudicial, não parece haver uma razão de princípio por que O desempenho de nível humano atualmente observado é o nível mais alto de desempenho possível, mesmo em domínios onde o pico O desempenho foi estável ao longo da história recente, embora Como mencionado acima, alguns domínios provavelmente verão muito mais rápido progresso do que outros. Os sistemas AI podem aumentar o anonimato ea distância psicológica. Muitas tarefas envolvem a comunicação com outras pessoas, observando ou sendo observado por eles, tomando decisões que respondem seu comportamento, ou estar fisicamente presente com eles. Permitindo Tais tarefas são automatizadas, os sistemas AI podem permitir que os atores que de outra forma estaria realizando as tarefas para manter seu anonimato e experimentam um maior grau de distância psicológica de as pessoas que afetam. Por exemplo, alguém que usa um sistema de armas autônomas para realizar um assassinato, em vez disso do que usar uma arma de mão, evita a necessidade de estar presente no cena e a necessidade de olhar para a vítima. Os desenvolvimentos da IA ​​se prestam a uma rápida difusão. Enquanto Os atacantes podem achar caro obter ou reproduzir o hardware associado a sistemas de AI, como computadores poderosos ou drones, geralmente é muito mais fácil obter acesso a software e relevantes descobertas científicas. Na verdade, muitos algoritmos novos de AI são reproduzidos em questão de dias ou semanas. Além disso, a cultura da pesquisa da AI caracteriza-se por um alto grau de abertura, com muitos papéis sendo acompanhado pelo código-fonte. Se se revelasse desejável limitar a difusão de certos desenvolvimentos, isso provavelmente seria difícil para alcançar (embora veja Intervenções para discussão de possíveis modelos para a difusão, pelo menos parcialmente, em certos casos). Os sistemas de IA de hoje sofrem com uma série de novelas não resolvidas vulnerabilidades. Estes incluem ataques de envenenamento de dados (introdução dados de treinamento que fazem com que um sistema de aprendizagem cometa erros), exemplos contraditórios (entradas projetadas para serem mal classificadas por sistemas de aprendizagem de máquina) e a exploração de falhas na design dos objetivos dos sistemas autônomos. Essas vulnerabilidades 1 2 3 4 Cummings, 2004; Scharre, 2018 Biggio et al., 2012 Szegedy et al., 2013 Amodei, Olah, et al., 2016

Page 18
p .18 Estrutura Geral para Ameaças de AI e Segurança são distintos das vulnerabilidades tradicionais do software (por exemplo, buffer transborda) e demonstram que, embora os sistemas AI possam exceder desempenho humano de muitas maneiras, eles também podem falhar de maneira que um humano nunca faria. Implicações gerais para a paisagem da ameaça Das propriedades discutidas acima, derivamos três níveis de alto nível implicações do progresso na AI para a paisagem da ameaça. Ausente o desenvolvimento de defesas adequadas, o progresso na IA: • Expandir ameaças existentes • Introduzir novas ameaças • Alterar o caracter tipico das ameaças Em particular, esperamos que os ataques normalmente sejam mais efetivos, mais finamente alvo, mais difícil de atribuir e mais propensos a explorar vulnerabilidades em sistemas de AI. Estas mudanças na paisagem exigem respostas vigorosas de o tipo discutido nas Intervenções. Expansão de ameaças existentes Para muitos ataques familiares, esperamos que o progresso na AI expanda o conjunto de atores capazes de realizar o ataque, a taxa em que esses atores podem realizá-lo, e o conjunto de plausível alvos. Esta afirmação decorre da eficiência, escalabilidade e facilidade de difusão de sistemas AI. Em particular, a difusão de AI eficiente os sistemas podem aumentar o número de atores que podem se dar ao luxo de transportar ataques particulares. Se os sistemas AI relevantes também são escaláveis, então mesmo atores que já possuem os recursos para realizar esses ataques podem ganhar a capacidade de realizá-los em uma taxa mais alta. Finalmente, como resultado desses dois desenvolvimentos, pode tornar-se valioso para atacar alvos que de outra forma não faz sentido atacar do ponto de vista de priorização ou custo- análise de benefícios. Um exemplo de uma ameaça que provavelmente se expandirá nestas formas, discutido em maior comprimento abaixo, é a ameaça da lança ataques de phishing. Esses ataques usam mensagens personalizadas para extrair informações sensíveis ou dinheiro de indivíduos, com a Um ataque de phishing é uma tentativa de extrair informações ou iniciar a ação de um alvo, enganando-os com uma fachada superficialmente confiável. Um ataque de phishing de lança envolve coletando e usando informações especificamente relevante para o alvo (por exemplo, nome, gênero, institucional afiliação, tópicos de interesse, etc.), o que permite que a fachada seja personalizado para que pareça mais relevante ou confiável. 1

Page 19
p .19 Estrutura Geral para Ameaças de AI e Segurança O atacante frequentemente se apresenta como um dos amigos, colegas ou contatos profissionais. Os ataques de phishing de lança mais avançados requer uma quantidade significativa de mão-de-obra qualificada, como o atacante deve identificar alvos adequadamente de alto valor, pesquisar esses objetivos sociais e redes profissionais e, em seguida, gerar mensagens que são plausível dentro desse contexto. Se algumas das tarefas relevantes de pesquisa e síntese podem ser automatizado, então mais atores podem se envolver em lança phishing. Por exemplo, pode até deixar de ser um requisito que O atacante fala a mesma língua que o alvo. Atacantes também pode ganhar a capacidade de se envolver em phishing de lança em massa, em uma maneira que atualmente não é viável e, portanto, se torna menos discriminar na escolha de alvos. Análise semelhante pode ser aplicado à maioria das variedades de ataques cibernéticos, bem como a ameaças a segurança física ou política que atualmente exige não-trivial trabalho humano. O progresso na AI também pode expandir as ameaças existentes, aumentando a disposição dos atores para realizar certos ataques. Esta reivindicação segue das propriedades de aumentar o anonimato e aumentar distância psicológica. Se um ator sabe que um ataque não será ser rastreados de volta para eles, e se eles sentem menos empatia para seu alvo e esperam experimentar menos trauma, então eles pode estar mais disposto a realizar o ataque. A importância de distância psicológica, em particular, é ilustrada pelo fato de que mesmo operadores de drones militares, que ainda devem observar seus alvos e "puxar o gatilho", desenvolvem-se frequentemente pós-traumáticos Estresse do seu trabalho. Aumentos na distância psicológica, portanto, poderia ter um grande efeito no potencial psicologias dos atacantes. Devemos também notar que, em geral, o progresso na IA não é o apenas força ajudando a expansão das ameaças existentes. Progresso na robótica e na diminuição do custo do hardware, incluindo ambos Poder de computação e robôs, também são importantes e discutidos mais abaixo. Por exemplo, a proliferação do hobbyista barato Os drones, que podem ser facilmente carregados com explosivos, têm apenas recentemente possibilitou a grupos não estatais como o islâmico Estado para lançar ataques aéreos. Apresentando Novas Ameaças O progresso na AI permitirá novas variedades de ataques. Esses ataques pode usar sistemas de AI para completar certas tarefas com mais sucesso do que qualquer humano poderia, ou aproveitar as vulnerabilidades que Os sistemas de AI têm, mas os humanos não. 1 2 Chatterjee, 2015; Dao, 2013; Hawkes, 2015 Salomão, 2017
Página 20
p .20 Estrutura Geral para Ameaças de AI e Segurança Primeiro, a propriedade de ser ilimitada pelas capacidades humanas implica que os sistemas AI poderiam permitir que os atores realizassem ataques que de outra forma seria inviável. Por exemplo, a maioria das pessoas não são capazes de imitar as vozes dos outros de forma realista ou criando manualmente arquivos de áudio que se assemelham a gravações de discurso humano. No entanto, tem sido recentemente significativo progresso no desenvolvimento de sistemas de síntese de fala que aprendem a imita as vozes dos indivíduos (uma tecnologia que já está sendo comercializado). Não existe uma razão óbvia para que as saídas de esses sistemas não podem tornar-se indistinguíveis de genuína gravações, na ausência de autenticação especialmente projetada medidas. Tais sistemas, por sua vez, abrirão novos métodos de espalhando desinformação e representando outros. Além disso, os sistemas AI também podem ser usados ​​para controlar aspectos de o comportamento de robôs e malwares que seria inviável para que os humanos controlem manualmente. Por exemplo, nenhuma equipe de humanos poderia realisticamente escolher o caminho de vôo de cada zangão em um enxame sendo usado para realizar um ataque físico. O controle humano pode também é inviável em outros casos, porque não há confiança canal de comunicação que pode ser usado para direcionar o relevante sistemas; um vírus que é projetado para alterar o comportamento do ar-gapped computadores, como no caso do software 'Stuxnet' usado para perturbar o programa nuclear iraniano, não pode receber comandos uma vez que infecta esses computadores. Desafios de comunicação restrita também surgem debaixo d'água e na presença de interferentes de sinal, dois domínios em que veículos autônomos podem ser implantados. Em segundo lugar, a propriedade de possuir vulnerabilidades não resolvidas implica que, se um ator começar a implantar novos sistemas AI, então eles podem abrir-se a ataques que especificamente explorar essas vulnerabilidades. Por exemplo, o uso de auto-condução carros criam uma oportunidade para ataques que causam falhas por apresentando os carros com exemplos contraditórios. Uma imagem de uma parada assinar com alguns pixels mudados de maneiras específicas, quais os seres humanos facilmente reconheceria como sendo ainda uma imagem de um sinal de parada, pode No entanto, seja mal classificado como algo completamente Sistema AI. Se vários robôs forem controlados por um único sistema de AI executado em um servidor centralizado, ou se vários robôs são controlados por sistemas de AI idênticos e apresentaram os mesmos estímulos, então um único ataque também poderia produzir falhas simultâneas em uma escala de outra forma pouco plausível. Um pior cenário neste categoria pode ser um ataque em um servidor usado para direcionar sistemas de armas, o que poderia levar a um fogo amigável em grande escala ou segmentação civil. 1 2 3 Lyrebird, 2017 Allen e Chan, 2017 Scharre, 2016
Página 21
p.21 Estrutura Geral para Ameaças de AI e Segurança Alterando o caráter típico das ameaças Nossa análise até agora sugere que a paisagem da ameaça mudar tanto a expansão de algumas ameaças existentes quanto a emergência de novas ameaças que ainda não existem. Também esperamos que o caráter típico das ameaças mudará de algumas maneiras distintas. Em particular, esperamos que os ataques sejam suportados e habilitados por O progresso na AI é especialmente eficaz, finamente visado, difícil atribuir e explorar as vulnerabilidades em sistemas de AI. Primeiro, as propriedades de eficiência, escalabilidade e excesso de humano As capacidades sugerem que ataques altamente efetivos se tornarão mais típico (pelo menos ausente medidas preventivas substanciais). Atacantes freqüentemente enfrentam um trade-off entre a freqüência e a escala de seus ataques, por um lado, e sua eficácia no de outros . Por exemplo, o phishing da lança é mais eficaz do que o regular phishing, que não envolve adaptar mensagens para indivíduos, mas é relativamente caro e não pode ser realizado em massa. Mais ataques genéricos de phishing conseguem ser rentáveis ​​apesar taxas de sucesso muito baixas apenas em virtude da sua escala. Melhorando Frequência e escalabilidade de certos ataques, incluindo lança sistemas de phishing, AI podem tornar esses trade-offs menos agudos. o O resultado é que os atacantes podem realizar mais eficazes ataques com maior freqüência e em maior escala. O esperado aumento da eficácia dos ataques também vem do potencial dos sistemas de AI para superar as capacidades humanas. Em segundo lugar, as propriedades de eficiência e escalabilidade, especificamente no contexto da identificação e análise de alvos potenciais, também sugerem que os ataques finamente direcionados se tornarão mais prevalentes. Os atacantes geralmente têm interesse em limitar seus ataques aos alvos com certas propriedades, como alto patrimônio líquido ou associação com certos grupos políticos, bem como um interesse em adaptar seus ataques às propriedades de seus alvos. No entanto, os atacantes costumam enfrentar um trade-off entre o quão eficiente e escalável seus ataques são e quão bem visados ​​estão nesses aspectos. Esse trade-off está intimamente relacionado com o trade-off com eficácia, conforme discutido, e a mesma lógica implica que devemos esperar que ele se torne menos relevante. Um aumento na prevalência relativa de phishing de lança ataques, em comparação com outros ataques de phishing, seria um exemplo desta tendência também. Um exemplo alternativo pode ser o uso de enxames de drone que implementam tecnologia de reconhecimento facial para matar membros específicos de multidões, em lugar de formas menos finamente direcionadas de violência. Em terceiro lugar, a propriedade de aumentar o anonimato sugere que dificil- os atributos de atribuição tornar-se-ão mais típicos. Um exemplo, novamente, 1 Herley 2010
Página 22
p.22 Estrutura Geral para Ameaças de AI e Segurança é o caso de um atacante que usa armas autônomas sistema para realizar um ataque em vez de executá-lo pessoalmente. Finalmente, devemos esperar ataques que explorem as vulnerabilidades de Os sistemas AI se tornam mais típicos. Esta previsão segue diretamente das vulnerabilidades não resolvidas dos sistemas de AI e da probabilidade que os sistemas de IA se tornarão cada vez mais penetrantes.
Page 23
Cenários p.23 Os seguintes cenários têm como objetivo ilustrar uma variedade de usos plausíveis para a qual AI poderia ser colocada para fins maliciosos, em cada um dos domínios da segurança digital, física e política. Exemplos foram escolhidos para ilustrar as diversas formas quais as características de segurança da AI apresentadas acima poderia surgir em diferentes contextos. Não se destinam a ser previsões definitivas (alguns podem não acabar sendo tecnicamente possível em 5 anos, ou pode não ser realizado mesmo que seja possível) ou exaustivo (outros usos maliciosos, sem dúvida, serão inventados que atualmente não prevemos). Além disso, alguns deles são já está ocorrendo em forma limitada hoje, mas pode ser ampliado ou tornou-se mais poderoso com avanços técnicos adicionais.
Página 24
p .24 Segurança digital Automação de ataques de engenharia social. Vítimas online as informações são usadas para gerar automaticamente mal-intencionado personalizado sites / e-mails / links que provavelmente clicarão, enviados de endereços que representam seus contatos reais, usando um estilo de escrita que imita esses contatos. À medida que a IA se desenvolve mais, Conversas de conversa convincentes podem suscitar a confiança humana, envolvendo pessoas diálogos mais longos, e talvez eventualmente se mostrem visualmente como outra pessoa em um bate-papo por vídeo. Cenário hipotético: Jackie faz logon no console de administração para o Robô CleanSecure que ela gerencia; operativo em um kernel verificado, é garantido pelo fabricante a prova de segurança. Ela então faz o upload fotografias de um novo funcionário para que o robô reconheça-o quando ele entra no prédio e não soa o alarme. Enquanto ela espera pelo robô para autenticar sua base de dados de pessoas atualizadas com o outros sistemas de segurança da empresa, Jackie joga com o modelo de trem em sua mesa, permitindo-se um casal de corridas ao redor da pista que circunda seu teclado e monitor. Há um ping, sinalizando sucesso autenticação, e ela sorri para si mesma e carrega com suas tarefas. Mais tarde naquela tarde, Jackie está navegando no Facebook enquanto administra com perigo uma atualização de firmware do robô. Um anúncio chega à atenção deles - um modelo de venda de trem em uma loja de hobby que, afinal, está localizada apenas a poucos minutos de sua casa. Ela preenche um online formulário para obter uma brochura enviada por e-mail para ela, então ela abre o folheto quando aparece na caixa de entrada. O robô Dings, sinalizando uma necessidade de atenção, então ela minimiza o folheto e registra novamente o console de administração. Jackie não sabe que a brochura foi infectada com malware. Com base em dados de seu perfil on-line e outras informações públicas, um sistema AI foi usado para gerar um perfil de vulnerabilidade muito personalizado para Jackie - o modelo de anúncio de trem - que era então criou um freelancer para criar um explorar esta vulnerabilidade. Quando Jackie registrou Cenários
Página 25
p.2 5 Cenários Automação da descoberta de vulnerabilidades. Padrões históricos de vulnerabilidades de código são usadas para acelerar a descoberta de novos vulnerabilidades e a criação de código para explorá-los. Automação mais sofisticada de hackers. AI é usado (de forma autônoma ou em conjunto com os seres humanos) para melhorar o alvo seleção e priorização, evite a detecção e criativamente responder às mudanças no comportamento do alvo. Software autônomo tem sido capaz de explorar vulnerabilidades em sistemas por um longo tempo, mas ferramentas de hacking AI mais sofisticadas podem exibir muito melhor desempenho comparado ao que tem sido historicamente possível e, finalmente (embora talvez não por algum tempo), comparado para humanos. no console, seu nome de usuário e senha foram exfiltrado para um comando e servidor de controle darknet. Não demorará muito para que alguém os compre e use para subverter o robô CleanSecure com total acesso privilegiado. Cenário hipotético: Progresso na geração automatizada de exploits (e mitigação) começou a acelerar. Anterior As arquiteturas fuzzing são aumentadas pela rede neural técnicas (Blum, 2017) que são usadas para identificar Estados "interessantes" de programas, análogos aos maneira que AlphaGo usa redes neurais para identificar Estados "interessantes" no espaço de busca de jogos Go. Estes métodos aumentam a segurança de bem defendidos sistemas administrados por grandes corporações e algumas partes de Governos ocidentais. Mas depois de um ano ou dois, eles também são adotados por grupos de crime organizado no leste Europa, que implementa uma peça de ransomware chamada Quer rir. Este malware é continuamente atualizado com dezenas de novas façanhas encontradas por essas técnicas de fuzzing. Embora os sistemas operacionais e os navegadores totalmente remendados sejam principalmente resistentes, telefones mais antigos, laptops e dispositivos IoT provar ser vulnerável. O malware adota um particularmente o ciclo de vida pernicioso de infectar um dispositivo IoT vulnerável em uma rede WiFi e espera Cenários 1 veja, por exemplo, Spafford, 1988
Página 26
p .26 Cenários Negação de serviço semelhante ao humano. Imitando comportamento humano (por exemplo, através de padrões de clique de velocidade humana e navegação no site), uma enorme multidão de agentes autônomos sobrepuja um online serviço, impedindo o acesso de usuários legítimos e potencialmente direcionando o sistema alvo para um estado menos seguro. Automação de tarefas de serviço em cyber-off criminal. Os cibercriminosos usam técnicas de AI para automatizar várias tarefas que compilar o seu pipeline de ataque, como processamento de pagamento ou diálogo com vítimas de resgate. Priorizando metas para ataques cibernéticos usando o aprendizado da máquina. Grandes conjuntos de dados são usados ​​para identificar as vítimas de forma mais eficiente, por exemplo, estimando a riqueza pessoal e a vontade de pagar com base em comportamento online. Explorando AI usado em aplicativos, especialmente em informações segurança. Os ataques de envenenamento de dados são usados ​​para mutilar subrepticiamente ou criar backdoors em modelos de aprendizado de máquina de consumo. Extração do modelo Black Box da capacidade do sistema de AI proprietário. Os parâmetros de um sistema de AI remoto são inferidos sistematicamente enviando entradas e observando suas saídas. para dispositivos vulneráveis ​​para se juntar a essa rede. Centenas de milhões de dispositivos estão infectados e dezenas de milhões de pessoas ao redor do mundo são obrigadas a pagar um resgate de 300 euros em bitcoin para recuperar acesso aos dados nos seus telefones e laptops, e Unbrick eletrônicos caros. A epidemia só é presa depois de ativa Contramedidas são empurradas para uma série de modernas sistemas operacionais e navegadores, causando máquinas para procurar máquinas infectadas e lançar explorações remotas para remover o malware. Infelizmente, milhões de dispositivos mais são manipulados por esses contramedidas, e em todo o mundo existem numerosas interrupções e problemas em HVAC, iluminação, e outros sistemas de infra-estrutura "não críticos" como um resultado do malware e contramedidas. Cenários
Página 27
p .27 Segurança física Reposição terrorista de sistemas de AI comerciais. Os sistemas comerciais são utilizados de forma prejudicial e não intencional, como usar drones ou veículos autônomos para entregar explosivos e causa falhas. Dando aos indivíduos de baixa habilidade com ataque anteriormente de alta habilidade capacidades. Automação habilitada para AI de capacidades de alta habilidade - tais como rifles de atirador furtivo de longo alcance - reduza a experiência obrigado a executar certos tipos de ataques. Maior escala de ataques. Equipa homem-máquina usando sistemas autônomos aumentam a quantidade de dano que /// Incident Interim Report 3 de junho ataque do QG da BMF /// Conforme mostrado nos registros de CCTV, a limpeza do escritório `SweepBot`, entrou no estacionamento subterrâneo de O ministério até tarde da noite. O robô - o mesmo marca como usada pelo ministério - esperou até dois dos próprios robôs de limpeza do ministério varridos o estacionamento em uma patrulha regular, então seguiu eles em um elevador de serviço e estacionou-se no sala de serviço ao lado dos outros robôs. No dia do ataque, o robô intruso inicialmente envolvidos em comportamentos de limpeza padrão com os outros robôs: coletando lixo, varrendo corredores, manutenção de janelas e outras tarefas. Então, Após a detecção visual do ministro das Finanças, Dra. Brenda Gusmile, o robô intrusivo parou realizando suas tarefas de limpeza e dirigindo-se diretamente para o ministro. Um dispositivo explosivo está escondido dentro do robô foi desencadeada pela proximidade, matança O ministro e ferindo funcionários próximos. Várias centenas de robôs desta marca são vendidos no Área de Berlim todas as semanas. Em colaboração com o fabricante, o ponto de venda do robô específico foi atribuído a uma loja de suprimentos de escritório em Potsdam. A transação foi realizada em dinheiro. Nós não temos conduz ainda a explorar a identidade do perpetrador. Cenários
Página 28
p.2 8 Avinash teve o suficiente. Ciber-ataques em todos os lugares, ataques de drones, corrupção desenfreada e qual foi o O governo está fazendo sobre isso? Absolutamente nada. Certo, eles falaram de respostas contundentes e melhor tecnologia, mas quando viu por última vez um hacker ser pego ou um CEO indo para a prisão? Ele estava lendo Todas essas coisas na web (algumas das novidades falsas, embora ele não percebesse), e ele estava com raiva. Ele manteve pensando: o que devo fazer sobre isso? Então ele começou escrevendo na internet - há muito tempo sobre como ninguém estava indo para a cadeia, como os criminosos estavam correndo selvagens, como as pessoas devem sair às ruas e protestar. Então ele ordenou um conjunto de itens on-line para ajudá-lo montar um sinal de protesto. Ele mesmo comprou alguma fumaça bombas, planejando deixá-los como um final para um discurso que ele estava planejando dar em um parque público. No dia seguinte, no trabalho, ele estava contando uma de suas colegas sobre o seu ativismo planejado e foi iniciando um discurso quando surgiu uma tosse severa por trás dele. "Sr. Avinash Rah? ", Disse a polícia oficial ", nosso sistema de interrupção civil preditivo tem marcou você como uma ameaça potencial. "" Mas isso é ridículo! "protestou Avinash. "Você não pode discutir com 99,9% de precisão. Agora venha, eu não gostaria de use força ". indivíduos ou grupos pequenos podem fazer: por exemplo, uma pessoa que lança um ataque com muitos drones autônomos armados. Ataques Swarming. Redes distribuídas de robotização autônoma sistemas, cooperando na velocidade da máquina, fornecem ubíqua vigilância para monitorar grandes áreas e grupos e executar rápida, ataques coordenados. Ataques mais removidos no tempo e no espaço. Os ataques físicos são mais longe do ator iniciando o ataque como resultado de operação autônoma, inclusive em ambientes onde A comunicação com o sistema não é possível. Segurança política Uso estatal de plataformas automatizadas de vigilância para suprimir a dissidência. Os poderes estatais de vigilância das nações são estendidos pela automação processamento de imagem e áudio, permitindo a coleta, processamento, e exploração de informações de inteligência a escalas maciças para inúmeros propósitos, incluindo a supressão do debate.
Página 29
p.2 9 Relatos de notícias falsas com vídeo e áudio fabricados realistas. Vídeos altamente realistas são feitos de líderes estaduais que parecem fazer comentários inflamatórios que eles realmente não fizeram. Campanhas de desinformação automatizadas e hiper-personalizadas. Os indivíduos são alvo de distritos de swing com personalidades personalizadas mensagens para afetar seu comportamento de votação. Automatizando campanhas de influência. Análise habilitada pela IA de as redes são alavancadas para identificar influenciadores-chave, quem pode então seja abordado com ofertas (mal-intencionadas) ou visando desinformação. Ataques de negação de informações. Bot-driven, informação em larga escala - os ataques de geração são alavancados nos canais de informação do pântano com ruído (informações falsas ou meramente perturbadoras), tornando-se mais difícil de adquirir informações reais. Manipulação da disponibilidade de informações. Conteúdo das plataformas de mídia os algoritmos de cura são usados ​​para direcionar os usuários para ou determinado conteúdo de maneiras de manipular o comportamento do usuário. Cenários
Page 30
p.3 0 Segurança Domínios Aqui, analisamos usos maldosos da IA ​​que comprometeriam a confidencialidade, integridade e disponibilidade de sistemas digitais (ameaças para Segurança Digital); ataques ocorridos no mundo físico dirigido a seres humanos ou infra-estrutura física (ameaças à Segurança); e o uso da AI para ameaçar a capacidade de uma sociedade engajar-se em discussões verdadeiras, gratuitas e produtivas sobre questões de importância pública e implementar legitimamente de forma ampla e justa. políticas benéficas (ameaças à segurança política). Essas categorias não são mutuamente exclusivos - por exemplo, o hacking habilitado para AI pode ser dirigido a sistemas ciberfísicos com danos físicos resultantes como conseqüência, e ataques físicos ou digitais poderiam ser realizados para fins políticos - mas eles fornecem uma estrutura útil para nossa análise. 03 Definido como "sistemas de engenharia que são construídos e dependem da integração perfeita de computação algoritmos e componentes físicos " (National Science Foundation, 2017). 1
Page 31
p.31 Domínios de segurança In each domain of security, we summarize the existing state of play of attack and defense prior to wide adoption of AI in these domains, and then describe possible changes to the nature or severity of attacks that may result from further AI progress and diffusion. o three sections below all draw on the insights discussed above regarding the security-relevant properties of AI, but can be read independently of one another, and each can be skipped by readers less interested in a particular domain. Digital Security Absent preparation, the straightforward application of contemporary and near-term AI to cybersecurity offense can be expected to increase the number, scale, and diversity of attacks that can be conducted at a given level of capabilities, as discussed more abstractly in the General Framework for AI and Security Ameaças acima. As defesas habilitadas para AI também estão sendo desenvolvidas e implantado no domínio cibernético, mas ainda mais técnica e política As inovações (discutidas mais adiante nas Intervenções) são necessárias para Certifique-se de que o impacto da IA ​​nos sistemas digitais seja benéfico. Contexto A Cibersegurança é uma arena que verá cedo e entusiasta implantação de tecnologias AI, tanto para infração quanto para defesa; De fato, na defesa cibernética, a AI já está sendo implantada para objetivos como anomalia e detecção de malware. Considerar Os seguintes: • Muitos sistemas de TI importantes evoluíram ao longo do tempo para serem gigantes espalhados por vários tipos diferentes sistemas, sob manutenção e - como conseqüência - inseguras. Como a segurança cibernética hoje está em grande parte restrita ao trabalho, é maduro com oportunidades de automação usando AI. Aumento do uso de AI para a defesa cibernética, no entanto, pode introduzir novos riscos, como discutido abaixo. • Nos últimos anos, vários atores procuraram montar ciberoperações cada vez mais sofisticadas, incluindo ataques direcionados de atores estatais (incluindo o Stuxnet Worm e a exploração de "grid override" da rede elétrica ucraniana. O cyber arena também inclui um mundo vasto e complexo de cibercrime, que por vezes envolve um alto grau de profissionalização e organização. Esses grupos usam DDoS, malware, phishing, ransomware e outras formas de 82% dos tomadores de decisão pesquisados em organizações públicas e privadas em oito países relataram falta de segurança cibernética necessária habilidades (McAfee e o Centro para Estratégico e Internacional Estudos, 2016). 1 2 3 McAfee e o Centro para a Estudos Estratégicos e Internacionais, 2013 Hilary, 2016; Ponto de inflamação, 2016
Página 32
p.32 Domínios de segurança ciberoperações, e adotar rapidamente tecnologias emergentes (por exemplo, Bitcoin para pagamentos de ransomware). Já, AI está sendo amplamente utilizado no lado defensivo de cibersegurança, tornando certas formas de defesa mais eficazes e escalável, como a detecção de spam e malware. No mesmo tempo, muitos atores maliciosos têm incentivos naturais para experimentar com o uso de AI para atacar os sistemas tipicamente inseguros de outros. Esses incentivos incluem um aumento da velocidade, dos custos trabalhistas e dificuldades em atrair e reter mão-de-obra qualificada. Até à data, o uso publicamente divulgado da AI para fins ofensivos tem foi limitado a experimentos por pesquisadores de "chapéu branco", que visam para aumentar a segurança ao encontrar vulnerabilidades e sugerir soluções. No entanto, o ritmo de progresso na AI sugere a Probabilidade de ataques cibernéticos aproveitando as capacidades de aprendizagem da máquina na vida em breve, se eles ainda não fizeram isso. Na verdade, alguns As contas populares da AI e da segurança cibernética incluem reivindicações baseadas em provas circunstanciais de que a IA já está sendo usada para ofender por adversários sofisticados e motivados. Opinião de especialistas parece para concordar que, se isso ainda não aconteceu, em breve: um recente O levantamento dos participantes na conferência Black Hat encontrou 62% dos os entrevistados acreditam que a AI será usada para ataques dentro do próximo 12 meses. Apesar destas afirmações, para o nosso conhecimento, não há evidência documentada publicamente de ataques baseados em AI, embora deve-se notar que evidências de muitos atacantes bem-sucedidos técnicas (por exemplo, botnets, campanhas de phishing de email) podem ser difícil de atribuir ao AI versus trabalho humano ou automação simples. Estamos, portanto, em um momento crítico na co-evolução da AI e segurança cibernética e deve se preparar proativamente para a próxima onda de ataques. Muitos governos estão profundamente interessados ​​na combinação de AI e cibersegurança. Em resposta a uma pergunta de um dos Os autores deste relatório, o Almirante Mike Rogers, o Diretor da Agência de Segurança Nacional, disse: "Inteligência Artificial e aprendizagem de máquinas - eu diria - é fundamental para o futuro da segurança cibernética [...] Não é o caso, é apenas o momento de eu. "Os sistemas AI já estão configurados para desempenhar um papel expandido nos EUA. estratégia militar e operações nos próximos anos como EUA O DoD coloca em prática sua visão de uma estratégia de "Terceiro deslocamento", em que humanos e máquinas trabalham em estreita colaboração para alcançar objetivos militares. Ao mesmo tempo, os governos estão investindo em pesquisa fundamental para expandir o alcance das capacidades de Sistemas AI. Em 2016, a DARPA hospedou o Cyber ​​Grand Challenge concurso, que viu equipes de pesquisadores humanos competirem com 1 2 4 3 Dvorsky, 2017 Cilance, 2017 DARPA, 2016 Pellerin, 2016; Hicks et al., 2017
Página 33
p.3 3 Domínios de segurança um ao outro para criar programas que possam atacar de forma autônoma outros sistemas enquanto se defendem. Embora o vencedor O sistema de AI ficou bem quando enfrentou a segurança humana especialistas, concordamos com os anfitriões do evento que a segurança cibernética da AI As capacidades melhorarão rapidamente nos próximos anos, especialmente avanços recentes na AI (como na área de reforço profundo aprendizagem) são aplicados à segurança cibernética. Como AI muda a paisagem de ameaça de segurança digital Uma preocupação central no nexo entre AI e segurança cibernética é que AI pode permitir ataques em grande escala e mais numerosos para ser conduzido por um atacante com uma determinada quantidade de habilidade e resources compared with the impact such an attacker might currently be able to achieve. Recent years have seen impressive and troubling proofs of concept of the application of AI to offensive applications in cyberspace. For example, researchers at ZeroFox demonstrated that a fully automated spear phishing system could create tailored tweets on the social media platform Twitter based on a user's demonstrated interests, achieving a high rate of clicks to a link that could be malicious . There is clearly interest in such larger-scale attacks: Russian hackers sent “expertly tailored messages carrying malware to more than 10,000 Twitter users in the [US] Defense Department” , which likely required significant time and effort, and could have gone even further with automation (assuming it was not involved já neste caso). Giaretta e Dragoni (2017) discutem o conceito de "spam direcionado da comunidade" que usa linguagem natural técnicas de geração de AI para atingir uma classe inteira de pessoas com formas comuns de escrita; com recursos naturais ainda mais avançados geração de linguagem, pode-se imaginar ainda mais personalizado abordagens, abrangendo múltiplas comunidades. Além disso, o Aplicação de AI à automação da vulnerabilidade do software descoberta, tendo aplicações positivas (discutidas mais na seção Intervenções), também pode ser usado para maliciosos propósitos para aliviar as restrições trabalhistas dos atacantes. A adaptabilidade dos sistemas de AI, também, pode mudar a estratégia paisagem da segurança cibernética, embora ainda não esteja claro como a adaptabilidade afetará o equilíbrio da ofensa / defesa. Muitos Atualmente, as organizações adotam sistemas de segurança denominados Endpoint Plataformas de detecção e resposta (EDR) para combater mais ameaças avançadas. O mercado EDR representa US $ 500 milhões indústria na arena da segurança cibernética. Essas ferramentas são baseadas em uma combinação de algoritmos heurísticos e de aprendizagem em Fornecer recursos como o antivírus de próxima geração (NGAV), 1 2 3 4 Arulkumaran et al., 2017 Seymour e Tully, 2016) Calabresi, 2017 Litan, 2017
Page 34
p.3 4 Domínios de segurança análise comportamental, e explorar prevenção contra sofisticados ataques direcionados. Embora esses sistemas sejam bastante efetivos contra malwares típicos de origem humana, a pesquisa já mostrou que Os sistemas AI podem ser capazes de aprender a evadir-los. Como um exemplo de AI sendo usado para evitar a detecção, Anderson et al. criou um modelo de aprendizado de máquina para gerar automaticamente domínios de comando e controle que são indistinguíveis de domínios legítimos por observadores humanos e de máquinas. Estes domínios são usados ​​por malware para "ligar para casa" e permitir maliciosos atores para se comunicar com as máquinas host. Anderson et al. também reforçou o reforço aprendendo a criar um agente capaz de manipular um binário malicioso com o objetivo final de ignorar a detecção de NGAV. Da mesma forma, Kharkar et al. aplicado máquina contraditória aprendendo a criar documentos maliciosos que poderia evadir classificadores de malware em PDF. É provável que os atacantes aproveitem as crescentes capacidades de aprendizagem de reforço, incluindo aprendizagem de reforço profundo. Em particular, esperamos que os atacantes aproveitem a capacidade da AI para aprender com a experiência para criar ataques que atuais sistemas técnicos e profissionais de TI estão mal preparados para, ausente investimentos adicionais. Por exemplo, serviços como o Google O analisador de arquivos VirusTotal permite aos usuários fazer o upload de variantes para uma central site e ser julgado por mais de 60 ferramentas de segurança diferentes. Este feedback loop apresenta uma oportunidade de usar a AI para auxiliar na criação de múltiplos variantes do mesmo código malicioso para determinar qual é a maioria eficaz para evitar ferramentas de segurança. Além disso, AI em larga escala os atacantes podem se acumular e usar conjuntos de dados grandes para ajustar seus táticas, bem como variando os detalhes do ataque para cada alvo. Isso pode superar todas as desvantagens que sofrem com a falta de atenção humana qualificada para cada alvo, e a capacidade dos defensores Como empresas antivírus e departamentos de TI para aprender a reconhecer assinaturas de ataque. Enquanto os exemplos específicos de AI aplicados a ofensivos A segurança cibernética mencionada acima foi desenvolvida pelo chapéu branco pesquisadores, esperamos esforços semelhantes por parte dos cibercriminosos e do estado atores no futuro como técnicas de AI altamente capazes se tornam mais amplamente distribuído, bem como novas aplicações de AI a ofensivas segurança cibernética que ainda não foram exploradas. Pontos de Controle e Contramedidas Existentes Os riscos cibernéticos são difíceis de evitar completamente, mas não são impossíveis para mitigar, e há vários pontos de controle em que as intervenções podem aumentar a segurança. Abaixo, destacamos diferentes 1 3 4 2 Anderson et al. 2016 Kharkar et al. 2017 Arulkumaran et al., 2017 Anderson et al. 2018
Page 35
p.3 5 Domínios de segurança pontos de controle e contramedidas existentes para a defesa em esses pontos, bem como suas limitações. No geral, acreditamos que A AI e a segurança cibernética evoluirão rapidamente em conjunto na próxima anos, e que é necessário um esforço pró-ativo para se manter à frente atacantes motivados. Destacamos o potencial, mas ainda não comprovado contramedidas na seção abaixo sobre Intervenções. Aviso ao consumidor: Usuários mais conscientes podem detectar sinais reveladores de certos ataques, como como tentativas de phishing mal criadas e pratica uma melhor segurança hábitos, como usar senhas diversas e complexas e dois- autenticação de fator. No entanto, apesar da longa consciência da vulnerabilidade dos sistemas de TI, a maioria dos usuários finais de sistemas de TI permanecem vulneráveis ​​a ataques simples e simples, como a exploração de sistemas não apresentados. Isto é preocupante à luz do potencial para o nexo AI-cybersecurity, especialmente se ataques de alta precisão pode ser ampliado para um grande número de vítimas. Governos e pesquisadores: Várias leis e normas de pesquisadores pertencem à segurança cibernética. Para exemplo, o Digital Millennium Act e a Computer Fraud and A Lei de Abuso nos EUA proscreva certas ações no ciberespaço. A aplicação legal é particularmente difícil em todo o país. limites. Normas como divulgação responsável de vulnerabilidades também ajuda em defesa, reduzindo a probabilidade de uma nova divulgação vulnerabilidade sendo usada contra um grande número de vítimas antes pode ser corrigido. AI não é explicitamente abordado em tais leis e normas, embora discutamos a sua possível aplicabilidade a AI abaixo em Intervenções. Uma atividade importante que os pesquisadores da segurança cibernética realizam é a detecção de vulnerabilidades em código, permitindo que os fornecedores aumentar a segurança de seus produtos. Várias abordagens existem para incentivar tais processos e torná-los mais fáceis, incluindo: • Pagamento de "Boun Bounties", em que os participantes são compensou por encontrar e divulgar de forma responsável vulnerabilidades. • "Fuzzing", um método automatizado de detecção de vulnerabilidade por experimentando muitas permutações possíveis de insumos para um programa, que muitas vezes é usado internamente pelas empresas para descobrir vulnerabilidades. • Produtos (já disponíveis) que dependem da aprendizagem de máquinas para prever se o código-fonte pode conter uma vulnerabilidade. 1 Crime Nacional de Segurança Cibernética Centro, 2016 Tanto o DMCA quanto o CFAA foram criticado por criar risco para pesquisadores e tornando os sistemas menos seguros em alguns casos (EFF, 2014; Timm, 2013), o que pode sugerir que estes as tarefas não são o modelo certo para ação legislativa, ou aquelas leis e as normas são difíceis de usar efetivamente uma intervenção. 2
Page 36
p.3 6 Domínios de segurança Centralização da indústria: Os filtros de spam são um exemplo canônico de onde a centralização de um O sistema de TI ajuda a defesa - os indivíduos se beneficiam da força de Filtro de spam do Google e, conseqüentemente, são protegidos de muitos ataques muito simples, e este filtro é mais forte porque o Google usa grandes quantidades de dados do usuário para melhorá-lo ao longo do tempo. Da mesma forma, muitos grandes redes estão monitorando constantemente as anomalias, protegendo aqueles que usam as redes se as anomalias forem identificadas corretamente e atuou. Esses sistemas se beneficiam de economias de escala - Faz mais sentido continuar a iterar um único filtro de spam para um grande número de usuários do que fazer com que cada usuário crie seus próprios ou tenha instalado um no seu computador. Da mesma forma, a computação em nuvem as empresas podem impor termos de acordo que impedem sua hardware para uso mal-intencionado, desde que pode identificar esse comportamento. Outro exemplo de um sistema de nível A defesa é a lista negra de endereços IP dos quais os ataques são comumente lançado, embora os atacantes qualificados possam ofuscar o origem de seus ataques. Centralização e as economias associadas de escala também pode facilitar a implantação de defesas baseadas em AI contra ataques de segurança cibernética, permitindo a agregação de grandes conjuntos de dados e a concentração de mão-de-obra e defesa. Essa dinâmica pode ser muito importante para prevenir ataques de superação da defesa e é discutido mais adiante em Intervenções e Apêndice B. A centralização não é um bem não ligado, no entanto, à medida que aumenta as apostas se os sistemas centrais estiverem comprometidos. Outro A dificuldade com este ponto de controle é que os atacantes podem aprender como evadir as defesas do sistema. Por exemplo, eles podem comprar software antivírus comercial e analise as mudanças entre atualizações do protocolo de proteção para ver o que é e não está sendo protegido contra. Incentivos ao atacante: Os atacantes podem ser impedidos de cometer futuros ataques ou punido por ataques anteriores. Um necessário (embora não suficiente) A condição de dissipar e punir com sucesso os atacantes é a capacidade de atribuir a fonte de um ataque, notoriamente difícil problema. Um problema de composição para aqueles que atribuiriam um ataque é que, mesmo que eles tenham informações de alta qualidade, eles pode não querer revelá-lo, porque isso pode comprometer-se uma fonte ou método. Finalmente, algumas entidades podem não querer punir certas ações, de modo a evitar criar precedentes e, assim, preservar a margem de manobra para se envolver em tais ações. Defesas técnicas de segurança cibernética: Existe uma grande variedade de defesas de segurança cibernética, embora há ainda uma análise sólida e sólida de sua eficácia relativa. 1 Rid, 2015 Por exemplo, o fracasso da Grupo de Segurança Ciblédial das Nações Unidas Especialistas governamentais para progredir em normas para hackear internacional lei (Korzak, 2017) parece ser uma resultado desta dinâmica. 3 2 4 Libicki, 2016 Libicki, 2016
Página 37
p .37 Domínios de segurança Muitas dessas intervenções foram propostas antes de As considerações de AI foram aparentes, mas, no entanto, permanecem relevante em um futuro com aplicativos de segurança cibernética ampliados. As empresas fornecem uma grande variedade de soluções de segurança cibernética, variando do patch automático do próprio software de um fornecedor, para detecção de ameaças, serviços de resposta a incidentes e consultoria. Os produtos de segurança de rede e ponto final visam prevenir, detectar, e responder a ameaças. As soluções incluem a detecção de software explorações e prevenção ou detecção de ferramentas, técnicas, e procedimentos. Principais áreas de defesa incluem o ponto final (ou seja, computador) segurança, segurança de rede interna e segurança na nuvem. As abordagens de aprendizado de máquina são cada vez mais utilizadas para ciber defesa. Isso pode assumir a forma de aprendizagem supervisionada, onde a objetivo é aprender com ameaças conhecidas e generalizar para novas ameaças, ou na forma de aprendizagem sem supervisão em que uma anomalia alertas do detector em desvios suspeitos do comportamento normal. Por exemplo, as chamadas soluções de antivírus "next-gen" muitas vezes alavancar técnicas de aprendizagem supervisionadas para generalizar para novos variantes de malware. Ferramentas comportamentais de usuário e entidade monitoram o normal comportamento de usuário ou aplicativo e detectar desvios da normalidade para detectar comportamentos mal-intencionados entre os anomalias. Recentemente, a AI também foi usada para ajudar a segurança profissionais que buscam atores mal-intencionados de forma mais eficiente dentro de suas próprias empresas, permitindo a interação através da linguagem natural e automatizando consultas para entender potenciais ameaças. Foi dada pouca atenção a fazer com base na AI Defensas robustas contra atacantes que antecipam seu uso. Ironicamente, o uso da máquina de aprendizagem para a defesa cibernética pode expandir a superfície de ataque devido a essa falta de atenção e outras vulnerabilidades. Além disso, pesquisas de segurança cibernética Os profissionais indicam pouca confiança nos sistemas de defesa baseados em AI hoje . Como tal, incentivamos o desenvolvimento dessas tecnologias de defesa na seção Intervenções abaixo. Segurança física Nesta seção, consideramos os riscos relacionados à IA na ampla área de dano físico. Muitos destes são desafios familiares dos uso de eletrônicos e computadores em sistemas de armas, embora A adição de recursos de AI pode mudar essa paisagem ao longo as linhas introduzidas no Quadro Geral para AI e Segurança Ameaças. Tal como acontece com a Segurança Digital acima, apresentamos o contexto, Alterações habilitadas para AI e contramedidas existentes relacionadas a ataques físicos abaixo. 1 3 2 Filar, Seymour e Park, 2017 Carbon Black, 2017 Anderson et al., 2017; Yampolskiy, 2017
Página 38
p.3 8 Domínios de segurança A regulamentação e a pesquisa técnica em defesa foram lentas para alcançar a proliferação global de robôs armáteis. Enquanto as defesas contra ataques através de robôs (especialmente aéreas drones) estão sendo desenvolvidos, existem poucos obstáculos no presente para um agressor moderadamente talentoso aproveitando o rápido proliferação de hardware, software e habilidades para causar grandes quantidades de danos físicos através do uso direto de AI ou o subversion of AI-enabled systems. Physical harm via human-piloted drones and land-based robots is already playing a major role in some conflicts, even prior to the incorporation of autonomy . In the near-term, we can expect a growing gap between attack capabilities and defense capabilities, because the necessary defenses are capital-intensive and the hardware and software required to conduct attacks are increasingly widely distributed. Unlike the digital world, where key nodes in the network such as Google can play a key role in defense, physical attacks can happen anywhere in the world, and many people are located in regions with insufficient resources to deploy large-scale physical defenses of the kind discussed below, thus necessitating consideration of policy measures and interventions related to the supply chain for robots. The resource and technological advantages currently available to large organizations, such as militaries and police forces, in the domain of physical attack and defense will continue when such attacks become augmented by AI. However, it should be noted that some of the most worrying AI-enabled attacks may come from small groups and individuals who have preferences far outside what is typical and which are difficult to anticipate or prevent, as with today's “lone-wolf” terrorist attacks such as mass shootings. Contexto Recent years have seen an explosion in the number and variety of commercial applications for robots. Industrial robots are growing in number (254,000 supplied in 2015 versus 121,000 in 2010 ), some with and some without AI components. Relatively primitive cleaning robots are in wide use and more sophisticated service robots appear to be on the horizon (41,000 service robots were sold in 2015 for professional use, and about 5.4 million for personal and domestic use ). Additionally, not all of these robots are on the chão. There are aquatic and aerial robotics applications being explored, with the latter proliferating in very high numbers. Dentro the United States alone, the number of drones has skyrocketed in recent years, with over 670,000 registered with the Federal Aviation Administration in 2016 and 2017 . 1 2 3 Singer, 2009 IFR, 2016 IFR, 2016 4 Vanian, 2017
Page 39
p.3 9 Security Domains Ambitious plans for drone-based delivery services are being proposed and tested, commercial opportunities for drones are continuously launched, and recreational uses are flourishing (eg drone racing and photography). Driverless cars are robots, and they also are increasingly being used in uncontrolled environments (that is, outside of test facilities), though large-scale deployment of fully autonomous driverless cars awaits the resolution of technical and policy challenges. A wide range of robots with autonomous features are already deployed within multiple national militaries, some with the ability to apply lethal force , and there is ongoing discussion of possible arms control measures for lethal autonomous weapon systems. Three characteristics of this diffusion of robotics should be noted. • It is truly global: humanitarian, recreational, military, and commercial applications of robots are being explored on every continent, and the supply chains are also global, with production and distribution dispersed across many countries. • The diffusion of robotics enables a wide range of applications: drone uses already range from competitive racing to photography to terrorism . While some specialized systems exist (eg some special-purpose industrial robots and cleaning robots that can only move around and vacuum), many are fairly generic and customizable for a variety of purposes. • Robotic systems today are mostly not autonomous, as humans play a significant role in directing their behavior, but more and more autonomous and semi-autonomous systems are also being developed for application such as delivery and security in real world environments . For example, from relatively unstable and hard-to-fly drones a decade ago, to drones that can stabilize themselves automatically, we see a steady increase in the autonomy of deployed systems. More autonomous behavior is on the horizon for commercial products as well as military systems . Each of these characteristics sets the stage for a potentially disruptive application of AI and malicious intent to existing and near-term robotic systems. How AI Changes the Physical Security Landscape The ability of many robots to be easily customized and equipped 1 2 4 5 3 Roff, 2016a Franke, 2016 Standage, 2017 Roff, 2016a eg Kolodny, 2017; Wiggers, 2017
Page 40
p.4 0 Security Domains with dangerous payloads lends itself to a variety of physical attacks being carried out in a precise way from a long distance, an ability previously limited to countries with the resources to afford technologies like cruise missiles . This threat exists independently of AI (indeed, as mentioned above, most robots are human-piloted at present) but can be magnified through the application of AI to make such systems autonomous. As mentioned previously, non- automated drone attacks have been conducted already by groups such as ISIS and Hamas , and the globalized nature of the robotics market makes it difficult to prevent this form of use. Não obstante, we will discuss some possible countermeasures below. Greater degrees of autonomy enable a greater amount of damage to be done by a single person — making possible very large-scale attacks using robots — and allowing smaller groups of people to conduct such attacks. The software components required to carry out such attacks are increasingly mature. For example, open source face detection algorithms, navigation and planning algorithms, and multi-agent swarming frameworks that could be leveraged towards malicious ends can easily be found. Depending on their power source, some robots can operate for long durations, enabling them to carry out attacks or hold targets at risk over long periods of time. Robots are also capable of navigating different terrain than humans, in light of their different perceptual capabilities (eg infrared and lidar for maneuvering in the dark or in low-visibility fog) and physical capacities (eg being undeterred by smoke or other toxic substances and not needing oxygen underwater). Thus, a larger number of spaces may become vulnerable to automated physical attacks. There are also cross-cutting issues stemming from the intersection of cybersecurity and increasingly autonomous cyber-physical sistemas. The diffusion of robots to a large number of human- occupied spaces makes them potentially vulnerable to remote manipulation for physical harm, as with, for example, a service robot hacked from afar to carry out an attack indoors. With regard to cyber-physical systems, the Internet of Things (IoT) is often heralded as a source of greater efficiency and convenience, but it is also recognized to be highly insecure and represents an additional attack vector by which AI systems controlling key systems could be subverted, potentially causing more damage than would have been possible were those systems under human control. In addition to traditional cybersecurity vulnerabilities, AI- augmented IoT and robotic systems may be vulnerable to AI- specific vulnerabilities such as adversarial examples. 1 2 3 Allen and Chan, 2017 Solomon, 2017; Cohen, 2017 Schneier, 2014; Schneier, 2017; Henderson, 2017
Page 41
p.41 Security Domains There is also some evidence to suggest that people are unduly trusting of autonomous mobile robots, potentially creating additional sources of security vulnerabilities as such robots become more widely deployed . The consequences of these cyber vulnerabilities are particularly acute for autonomous systems that conduct high-risk activities such as self-driving cars or autonomous weapons. Points of Control and Existing Countermeasures There are numerous points of control that could be leveraged to reduce the risk of physical harm involving AI. While the capacity to launch attacks with today's consumer robots is currently widely distributed, future generations of robots may be more tightly governed, and there exist physical defenses as well. Contudo, such defenses are capital-intensive and imperfect, leading us to conclude that there may be an extended risk period in which it will be difficult to fully prevent physical attacks leveraging AI. Hardware manufacturers There are currently a relatively limited number of major manufacturers, with companies like DJI holding a dominant position in the consumer drone market, with about 70% of the global market . This concentration makes the hardware ecosystem more comprehensible and governable than the analogous ecosystem of AI software development. With growing recognition of the diverse economic applications of drones, the market may diffuse over the longer term, possibly making the supply chain a less useful focal point for governance. For example, it might currently be feasible to impose minimum standards on companies for hardening their products against cyber attacks or to make them more resistant to tampering, so as to at least somewhat raise the skill required to carry out attacks through these means or raise the costs of acquiring uncontrolled devices. The US Federal Trade A Comissão está explorando tais regulamentos. Distribuidores de hardware Existem muitas empresas que vendem drones e outras roboticas sistemas, tornando o ecossistema mais difuso a esse nível do que Está no nível de produção. É concebível que pelo menos alguns Os riscos podem ser atenuados através de ações de distribuidores ou outros abordagens baseadas no ponto de venda. Notavelmente, esse tipo de controle é atualmente muito mais viável para o hardware do que para o software, e As restrições à venda de drones potencialmente letais podem ser pensadas de acordo com as restrições de venda de armas e ingredientes para drogas ilegais. 1 2 Booth et al., 2017 Lucas, 2017
Page 42
p.4 2 Domínios de segurança Cadeia de fornecimento de software Existem muitas estruturas de código aberto para visão por computador, navegação, etc. que podem ser usados ​​para realizar ataques e Os produtos geralmente vêm com algum software incorporado para fins como a estabilização do voo. Mas nem todas as ferramentas de AI poderosas são amplamente distribuídos ou particularmente fáceis de usar atualmente. Por exemplo, grande Sistemas de classificação AI treinados que residem na computação em nuvem pilhas controladas por grandes empresas (que são caras de treinar), pode ser tentador para os atores mal-intencionados construir, potencialmente sugerindo outro ponto de controle (discutido em Intervenções e Apêndice B). Usuários de robôs Existem também requisitos de registro para algumas formas de robôs como drones em muitos países, bem como requisitos para treinamento de pilotos, embora notemos que o espaço de robôs que poderia causar danos físicos vai além de apenas drones. Há também zonas de navegação, impostas por um nível de software através de fabricantes e governos, que visam impedir o uso do consumidor drones em certas áreas, como perto de aeroportos, onde o risco de colisão involuntária ou intencional entre drones e aeronaves de passageiros são grandes. Na verdade, pelo menos um drone tem já atingiu uma aeronave de passageiros, sugerindo uma forte necessidade para essas zonas de exclusão. Governos Há uma discussão ativa na Convenção das Nações Unidas sobre Determinadas armas convencionais do valor e complexidade de proibindo ou regulando de outra forma armas autônomas letais sistemas. A oposição dos Estados-chave a uma forte proibição faz tal acordo improvável no curto prazo, embora o desenvolvimento de As normas que podem informar uma governança mais forte são plausíveis. Já Nos Estados Unidos, por exemplo, existe um Departamento oficial de Defesa que estabelece políticas de desenvolvimento e uso de autonomia em armas. Além disso, o US Law of War Manual observa que os seres humanos são os principais portadores de responsabilidade para ataques em conflitos armados. O Comitê Internacional da A Cruz Vermelha adotou uma posição similar, uma posição que presumivelmente implica algum grau mínimo necessário de envolvimento humano no uso da força. Enquanto tais armas controlam discussões e os processos de desenvolvimento da norma são críticos, é improvável que pareçam motivados atores não-estatais de realizar ataques. Defesas físicas Na esfera física, existem várias defesas possíveis contra ataques via robôs, embora sejam imperfeitos e desiguais distribuído no presente. Muitos são caros e / ou requerem humanos trabalho para implantar, e, portanto, são usados ​​apenas para defender "alvos difíceis" 1 3 4 6 7 5 2 Mouawad, 2015; Vincent, 2016 Crootof, 2015 Crootof e Renz, 2017 DoD, 2015; Roff, 2016b CICV, 2017; Scharre, 2018 DoD, 2012 The Telegraph, 2016
Page 43
p.4 3 Domínios de segurança como instalações e infra-estruturas de segurança crítica (por exemplo, aeroportos), cujos donos podem se dar ao luxo de investir em tal proteção, como oposição aos muito mais amplamente distribuídos "soft targets" (como áreas altamente populadas). As defesas físicas podem incluir detecção via radar, lidar, assinatura acústica ou reconhecimento de imagem Programas ; intercepção através de vários meios; e passivo defesa através de endurecimento físico ou redes. O Departamento dos EUA de Defesa lançou recentemente um grande programa para defender contra drones, e testou lasers e redes com um olho em direção a defendendo contra drones do Estado islâmico em particular. Dado o potencial de automação para permitir ataques em escala, um desafio especial para os defensores é encontrar métodos eficazes de defesa com uma taxa de troca de custos aceitável. Ainda, these defenses are incomplete and expensive, suggesting a likely near-term gap between the ease of attack and defense outside of heavily guarded facilities that are known targets (eg airports or military bases). Payload control An actor who wants to launch an aerial drone attack carrying a dangerous payload must source both the drone and the payload. Developed countries generally have long-lasting and reasonably effective systems to restrict access to potentially explosive materials, and are introducing systems to restrict access to acids (following high-profile acid attacks). More generally, state security and intelligence services uncover and foil a large number of attempted attacks, including those that involve attempts to procure dangerous materials. Increases in AI capabilities will likely help their work eg in analysing signal intelligence, or in characterising and tracking possible attackers. Political Security Next, we discuss the political risks associated with malicious AI usar. AI enables changes in the nature of communication between individuals, firms, and states, such that they are increasingly mediated by automated systems that produce and present content. Information technology is already affecting political institutions in myriad ways — eg the role of social media in elections, protests, and even foreign policy . The increasing use of AI may make existing trends more extreme, and enable new kinds of political dinâmica. Worryingly, the features of AI described earlier such as its scalability make it particularly well suited to undermining public discourse through the large-scale production of persuasive but false content, and strengthening the hand of authoritarian regimes. Consideramos vários tipos de defesas, mas até agora, como nos casos de Segurança Digital e Segurança Física, o problema não está resolvido. 5 Zeitzoff, 2017 1 2 3 4 Aker e Kalkan, 2017 Yin, 2015; Scharre, 2015 Schmitt, 2017 Scharre, 2015
Page 44
p.4 4 Domínios de segurança Contexto Existem múltiplos pontos de interseção entre os existentes tecnologias da informação e a esfera política. Historicamente, política e instabilidade tiveram uma relação simbiótica com Avanços tecnológicos. As necessidades de segurança têm impulsionado a avanços e novas tecnologias também mudaram os tipos de ameaças de segurança que os estados e os políticos enfrentam. Exemplos abundam incluindo o advento do telegrafo do semaforo em napoleônico França, para o advento do GPS e seu uso durante a Primeira Guerra do Golfo, para o uso das mídias sociais durante a Primavera árabe. Tecnológica os avanços podem alterar o equilíbrio de poder entre estados, como well as the relationship between incumbent leaders and protesters seeking to challenge them. Modern militaries and intelligence agencies use today's information technologies for surveillance, as they did with previous generations of technologies such as telephones. However, the effects of new technologies on these power relations are not straightforward. For example, social media technologies empower both incumbents and protesters: they allow military intelligences to monitor sentiment and attitudes, and to communicate more quickly; however, they also provide protesters in places such as Ukraine and Egypt, and rebel groups and revolutionary movements such as ISIS or Libyan rebels, the ability to get their message out to sympathetic supporters around the world more quickly and easily. In addition, research suggests that social media may empower incumbent authoritarian regimes , as incumbent governments can manipulate the information that the public sees. Finally, some have argued that social media has further polarized political discourse, allowing users, particularly in the West, to self-select into their own echo chambers, while others have questioned this assumption . Machine learning algorithms running on these platforms prioritize content that users are expected to like. Thus the dynamics we observe today are likely to only accelerate as these algorithms and AI become even more sophisticated. While they have evolved from previous technologies, information communication technologies are notable in some respects, such as the ease of information copying and transmission. Waltzmann writes, “The ability to influence is now effectively 'democratized,' since any individual or group can communicate and influence large numbers of others online” . This “democratization” of influence is not necessarily favorable to democracy, however. It is very easy today to spread manipulative and false information, and existing approaches for detecting and stopping the spread of “fake news” fall short. Other structural aspects of modern technologies and the 1 2 Schofield, 2013 Greenemeier, 2016 3 4 5 6 7 Aday et al., 2012 Berger and Morgan, 2015; Jones and Mattiaci, 2017 Morozov, 2012; Rød and Weidmann 2015 Barberá et al., 2015 Waltzmann, 2017
Page 45
p.4 5 Security Domains media industry also enable these trends. Marwick and Lewis (2017) note that the media's “dependence on social media, analytics and metrics, sensationalism, novelty over newsworthiness, and clickbait makes them vulnerable to such media manipulation.” Others, such as Morozov (2012) and King, Pan, and Roberts (2017) argue that social media provides more tools for authorities to manipulate the news environment and control the message. Finally, we note that the extent and nature of the use of information communication technologies to alter political dynamics varies across types of political regimes. In liberal democracies, it can be thought of as more of an emergent phenomenon, arising from a complex web of industry, government, and other actors, whereas in states like China, there is an explicit and deliberate effort to shape online and in-person political discussions, making use of increasingly sophisticated technologies to do so . Por exemplo, the Chinese government is exploring ways to leverage online and offline data to distill a “social credit score” for its citizens, and the generally more widespread use of censorship in China exemplifies the more explicit leveraging of technology for political purposes in some authoritarian states . How AI Changes the Political Security Landscape AI will cause changes in the political security landscape, as the arms race between production and detection of misleading information evolves and states pursue innovative ways of leveraging AI to maintain their rule. It is not clear what the long- term implications of such malicious uses of AI will be, and these discrete instances of misuse only scratch the surface of the political implications of AI more broadly . However, we hope that understanding the landscape of threats will encourage more vigorous prevention and mitigation measures. Already, there are indications of how actors are using digital automation to shape political discourse. The widespread use of social media platforms with low barriers to entry makes it easier for AI systems to masquerade as people with political views. este has led to the widespread use of social media “bots” to spread political messages and cause dissent. At the moment, many such bots are controlled by humans who manage a large pack of bots , or use very simple forms of automation. However, these bot-based strategies (even when using relatively unsophisticated automation) are leveraged by national intelligence agencies and have demonstrated the ability to influence mainstream media coverage and political beliefs . For instance, during both the Syrian Civil War and the 2016 US election bots appeared to actively try to sway public opinion . 1 2 4 5 King, Pan, and Roberts, 2017 Botsman, 2017 Weedon et al., 2017 Woolley and Howard, 2017 3 It should be emphasised here again that we only consider in this report the direct malicious use of AI systems to undermine individual or collective security (see: Introduction). Lá are much larger systemic and political issues at stake with AI such as data aggregation and centralization, corporate/state control of the technology, legal and societal barriers to access and benefit, effects on employment, and issues relating to the economic and social distribution of risks and benefits, including aspects of equality. Tudo de these are likely to have significant and complex effects on all aspects of political life, not just on political segurança. However, as outlined above, we set such system-wide risks outside the scope of this report. 6 7 Abokhodair et al., 2015 Guilbeault and Woolley, 2016
Page 46
p.4 6 Security Domains Greater scale and sophistication of autonomous software actors in the political sphere is technically possible with existing AI techniques . As previously discussed, progress in automated spear phishing has demonstrated that automatically generated text can be effective at fooling humans , and indeed very simple approaches can be convincing to humans, especially when the text pertains to certain topics such as entertainment . It is unclear to what extent political bots succeed in shaping public opinion, especially as people become more aware of their existence, but there is evidence they contribute significantly to the propagation of fake news . In addition to enabling individuals and groups to mislead the public about the degree of support for certain perspectives, AI creates new opportunities to enhance “fake news” (although, of course, propaganda does not require AI systems to be effective). AI systems may simplify the production of high-quality fake video footage of, for example, politicians saying appalling (fake) things . Currently, the existence of high-quality recorded video or audio evidence is usually enough to settle a debate about what happened in a given dispute, and has been used to document war crimes in the Syrian Civil War . At present, recording and authentication technology still has an edge over forgery tecnologia. A video of a crime being committed can serve as highly compelling evidence even when provided by an otherwise untrustworthy source. In the future, however, AI-enabled high- quality forgeries may challenge the “seeing is believing” aspect of video and audio evidence. They might also make it easier for people to deny allegations against them, given the ease with which the purported evidence might have been produced. além do que, além do mais to augmenting dissemination of misleading information, the writing and publication of fake news stories could be automated, as routine financial and sports reporting often are today. Como production and dissemination of high-quality forgeries becomes increasingly low-cost, synthetic multimedia may constitute a large portion of the media and information ecosystem. Even if bot users only succeed in decreasing trust in online environments, this will create a strategic advantage for political ideologies and groups that thrive in low-trust societies or feel opposed by traditional media channels. Authoritarian regimes in particular may benefit from an information landscape where objective truth becomes devalued and “truth” is whatever authorities claim it to be. Moreover, automated natural language and multimedia production will allow AI systems to produce messages to be targeted at those most susceptible to them. This will be an extension of existing 4 5 6 7 8 3 Seymour and Tully, 2016 Everett et al., 2016 Shao et al., 2017 Chung, Jamaludin, and Zisserman, 2017 Browne, 2017 Adams, 2017; Serban et al., 2017
Page 47
p .47 Security Domains advertising practices. Public social media profiles are already reasonably predictive of personality details , and may be usable to predict psychological conditions like depression . Sophisticated AI systems might allow groups to target precisely the right message at precisely the right time in order to maximize persuasive potencial. Such a technology is sinister when applied to voting intention, but pernicious when applied to recruitment for terrorist acts, for example. Even without advanced techniques, “digital gerrymandering” or other forms of advertising might shape elections in ways that undermine the democratic process. The more entrenched position of authoritarian regimes offers additional mechanisms for control through AI that are unlikely to be as easily available in democracies . AI systems enable fine-grained surveillance at a more efficient scale . While existing systems are able to gather data on most citizens, efficiently using the data is too costly for many authoritarian regimes. AI systems both improve the ability to prioritise attention (for example, by using network analysis to identify current or potential leaders of subversive groups ) and also reduce the cost of monitoring individuals (for example, using systems that identify salient video clips and bring them to the attention of human agents). Furthermore, this can be a point of overlap between political and physical security, since robotic systems could also allow highly resourced groups to enforce a greater degree of compliance on unwilling populations. The information ecosystem itself enables political manipulation and control by filtering content available to users. In authoritarian regimes, this could be done by the state or by private parties operating under rules and directions issued by the state. Dentro democracies, the state may have limited legal authority to shape and influence information content but the same technical tools still exist; they simply reside in the hands of corporations. Até without resorting to outright censorship, media platforms could still manipulate public opinion by “de-ranking” or promoting certain conteúdo. For example, Alphabet Executive Chairman Eric Schmidt recently stated that Google would de-rank content produced pela Russia Today e Sputnik. Em 2014, o Facebook manipulou os feeds de notícias de mais de meio milhão de usuários, a fim de alterar o conteúdo emocional das postagens dos usuários, embora modestamente. Embora tais ferramentas podem ser usadas para ajudar a filtrar conteúdo malicioso ou falso notícias, eles também poderiam ser usados ​​por plataformas de mídia para manipular opinião pública . Finalmente, as ameaças à segurança física e digital que temos descrito em seções anteriores também pode ter implicações preocupantes para segurança política. A pirataria da campanha de Clinton no A eleição presidencial de 2016 é um exemplo recente de quão bem-sucedido 1 4 7 9 8 6 5 3 2 Quercia et al., 2011; Kosinski et al., 2013 Roff, 2015c; Horowitz, 2016 BBC, 2017 Reuters, 2017; Tom Stocky, 2016; Griffith, 2017; Manjoo, 2017 Goel, 2014; Kramer et al., 2014; Verma, 2014 Roff, 2015c Ng, 2015 De Choudhury et al., 2013 De Choudhury et al., 2013
Página 48
p.4 8 Domínios de segurança Os ataques cibernéticos podem causar perturbações políticas. O disruptivo potencial de ataques físicos, como assassinatos e atos de terror, é ainda mais claro. Tais ameaças à segurança digital e física pode prejudicar as instituições políticas existentes ou permitir-lhes para justificar um movimento em direção a políticas mais autoritárias. Pontos de Controle e Contramedidas Existentes Várias medidas já estão em desenvolvimento ou implantadas neste área, embora nenhum ainda tenha abordado definitivamente os problemas. Destacamos alguns esforços relevantes aqui, e enfatizamos que estas propostas são orientadas para a proteção de discurso público nas democracias. Prevenir mais autoritário Os governos de fazer uso total da AI parecem ser ainda mais desafio assustador. Ferramentas técnicas. Medidas técnicas estão em desenvolvimento para detectando falsificações e bots de redes sociais. Da mesma forma, o uso de Autenticidade certificada de imagens e vídeos, por exemplo, a capacidade de provar que um vídeo foi transmitido ao vivo ao invés de sintetizado offline são alavancas valiosas para garantir que a mídia seja de fato produzida por a pessoa ou organização relevante e não está em trânsito. Medidas análogas foram desenvolvidas para autenticação de imagens (em vez de vídeos) por Naveh e Tromer (2016). A detecção automatizada de notícias falsas também é objeto de pesquisa, bem como uma competição, o Fake News Challenge, o que pode provocar novas inovações nessa área. Como ainda, no entanto, a detecção de notícias e imagens enganosas é um problema não resolvido e o ritmo da inovação na geração O multimídia e o texto aparentemente autênticos são rápidos. Uso generalizado das medidas de segurança. A criptografia é geralmente Medida útil para garantir a segurança da informação transmissões, e é ativamente utilizado por muitas empresas e outras organizações, em parte para evitar o tipo de riscos discutidos aqui. O uso de dados dos cidadãos pelas agências de inteligência leva vários formas e tem sido debatido ativamente, especialmente na sequência da Snowden revelações. Intervenções gerais para melhorar o discurso. Existem várias propostas para aumentar a qualidade do discurso no público e esferas privadas, incluindo de longa data, como melhor educação e ensino de habilidades de pensamento crítico, bem como mais novos aqueles que vão desde ferramentas para acompanhar a campanha política em mídia (como "Who Targeds Me?") para propostas de políticas para aplicativos para encorajar o diálogo construtivo. 1 2 3 6 4 Kashyap et al., 2017; D'Avino et al., 2017 Varol et al, 2017 Rahman et al., 2017 Clarke et al, 2013 Shu et al., 2017; Pérez-Rosas et al., 2017; Zubiaga et al., 2017 5 O Fake News Challenge é um competição destinada a fomentar a desenvolvimento de ferramentas de AI para ajudar as pessoas verificadores de fato combatem notícias falsas. 8 9 Sunstein, 2017 Ixy, 2017 7 "Who Targets Me?" É um software Serviço que informa os cidadãos sobre na medida em que são sendo alvo de anúncios escuros campanhas.
Page 49
p .49 Domínios de segurança Plataformas de mídia. Sempre houve fontes de notícias variando a imparcialidade e algumas fontes on-line têm melhores reputações do que outros, mas isso não impediu totalmente a propagação de falsos notícia. Da mesma forma, a maioria das pessoas está ciente da existência de Ponzi esquemas, fraudes fraudulentas, táticas de vendas enganosas, etc. as vítimas ainda são encontradas. Parte do motivo pelo qual o spam é menos O problema hoje do que poderia ser o contrário é que os proprietários de plataformas-chave, como servidores de e-mail, foram implantadas filtros de spam. Em termos mais gerais, as empresas de tecnologia, as sites de mídia e organizações de mídia são pontos críticos de controle para derrubar a maré de cada vez mais automatizado campanhas de desinformação, censura e persuasão. Além disso, Essas organizações possuem conjuntos de dados únicos que serão úteis para desenvolvimento de sistemas de AI para detectar tais ameaças e a capacidade de controlar o acesso, eles podem buscar outras estratégias para evitando usos mal-intencionados dessas plataformas, como impor fortes barreiras à entrada (por exemplo, o uso de uma identidade off-line) e limitando a taxa em que as contas podem disseminar informações. Como essas plataformas de mídia são corporações com fins lucrativos, discurso público, transparência e potencial regulamentação sejam mecanismos importantes para garantir que o uso deles ferramentas poderosas alinham com o interesse público. Um desenvolvimento que ocorreu durante o processo de redação Este relatório é ilustrativo. No final de 2017, surgiu o aumento de "deepfakes" a aplicação de algoritmos de troca de face para (entre outros aplicativos) vídeos para adultos. Enquanto esses vídeos começaram a aparecer em massa nos fóruns de Reddit claramente identificados como ficticios, o O realismo de algumas dessas profundidades é um sinal precoce do potencial declínio de "ver é acreditar" discutido acima. Depois de substancial cobertura da mídia de deepfakes, Reddit e outros sites on-line, incluindo sites de conteúdos para adultos, começaram a reprimir o discussão e propagação da técnica. Enquanto esses esforços não foram totalmente bem sucedidos, eles ilustram o papel crítico de plataformas de tecnologia no acesso à informação governamental, e é provável que a repressão de deepfakes pelo menos um tanto desacelerasse a divulgação da ferramenta e dos seus produtos, pelo menos entre menos atores sofisticados. 4 Lapowsky, 2017
Página 50
Intervenções p.5 0 Identificamos uma ampla gama de respostas potenciais aos desafios acima, bem como um grande número de áreas para mais investigação. Esta seção primeiro faz vários níveis iniciais de alto nível recomendações para pesquisadores da AI e ML, formuladores de políticas, e outros. Sugerimos áreas prioritárias específicas para mais pesquisa, onde a investigação e análise poderiam desenvolver e refinar intervenções potenciais para reduzir os riscos colocados por uso malicioso. Devido à natureza exploratória deste relatório, nosso principal objetivo é chamar a atenção para áreas e intervenções potenciais que acreditamos deve ser objeto de mais investigação, em vez de fazer propostas técnicas ou políticas altamente específicas que podem não ser viáveis. A estrutura desta seção, e a inclusão do Apêndice B com material exploratório adicional, é informado por essa perspectiva. 04
Página 51
p .51 Intervenções Recomendações Nesta subseção, apresentamos quatro recomendações de alto nível, que se concentram no fortalecimento do diálogo entre técnicos pesquisadores, formuladores de políticas e outras partes interessadas. Na sequência subsequência, iremos voltar a atenção para uma prioridade mais concreta áreas para trabalhos técnicos, bem como questões de pesquisa associadas. Nosso primeiro par de recomendações decorre do fato de que as questões levantadas neste relatório combinam técnicas e não- considerações técnicas, como sociais, econômicas e militares considerações. Preocuparam-se no workshop que o desenvolvimento de respostas viáveis ​​e adequadas a essas questões podem ser prejudicado por dois fatores de auto-reforço: primeiro, falta de profundidade compreensão técnica por parte dos decisores políticos, potencialmente levando a uma regulamentação, legislação ou outras respostas políticas; Em segundo lugar, a relutância por parte da técnica pesquisadores para se envolver com esses tópicos, por preocupação que A associação com uso malicioso mancharia a reputação da campo e talvez leve a um financiamento reduzido ou a uma regulamentação prematura. Nossas duas primeiras recomendações visam antecipar esta dinâmica. Recomendação nº 1: os formuladores de políticas devem colaborar de perto com pesquisadores técnicos para investigar, prevenir e mitigar potenciais usos maliciosos da AI. Isso deve incluir os formuladores de políticas levando a sério a responsabilidade de evitar a implementação medidas que irão interferir ou impedir o progresso da pesquisa, a menos que essas medidas possam trazer benefícios compatíveis. A estreita colaboração com especialistas técnicos também garante que As respostas políticas serão informadas pelas realidades técnicas da tecnologias em mãos. Recomendação nº 2: pesquisadores e engenheiros artificiais A inteligência deve ter a natureza dupla de uso de seus trabalhos seriamente, permitindo que considerações de uso indevido influenciem prioridades de pesquisa e normas, e proativamente alcançar atores relevantes quando os aplicativos nocivos são previsíveis. Dado que a AI é uma tecnologia de dupla utilização, acreditamos que é importante que Os pesquisadores consideram sua responsabilidade assumir os passos que eles podem ajudar a promover usos benéficos da tecnologia e prevenir usos prejudiciais. Exemplo de etapas pode incluir o envolvimento com formuladores de políticas para fornecer experiência, e considerando o potencial aplicações de diferentes projetos de pesquisa antes de decidir o que trabalho em. (Reconhecemos e apreciamos os muitos pesquisadores da AI - incluindo os especialistas técnicos que participaram da oficina e contribuiu para este relatório e outras iniciativas relacionadas - quem são já está fazendo um excelente trabalho nesse sentido. ) Recursos introdutórios para legisladores interessados ​​neste domínio estão cada vez mais disponíveis, Ambos geralmente sobre AI (Buchanan e Taylor, 2017) e especificamente sobre AI e segurança (CNAS, 2017). Como um exemplo de formulação de políticas neste domínio que surgiu vários dificuldades, a União Europeia Regulamento geral de proteção de dados é um exemplo comum de uma política difícil de interpretar e aplicar no contexto da atualidade algoritmos de aprendizagem de máquina (Goodman e Flaxman, 2016). 1 O trabalho da Parceria sobre AI, o A série 2016 de oficinas da Casa Branca na IA, o 2017 "AI benéfico" conferência em Asilomar e AI Now série de conferências e organização são outros exemplos em que contribuições de especialistas técnicos foram substancial e valioso. 2
Página 52
p.52 Intervenções Nós também fazemos duas recomendações estabelecendo objetivos que nós acredite na comunidade mais ampla da AI (incluindo técnicas e profissionais de políticas) devem trabalhar. Recomendação nº 3: as melhores práticas devem ser identificadas em áreas de pesquisa com métodos mais maduros para abordar o dual- preocupações de uso, como a segurança do computador, e importadas onde aplicável ao caso da AI. Um exemplo de uma prática recomendada que Os participantes da oficina consideraram claramente valioso introduzir em contextos de AI é o uso extensivo de "teaming vermelho". Consulte Prioridade Área de pesquisa nº 1, abaixo, para mais detalhes. Recomendação # 4: procurar ativamente expandir o alcance de interessados ​​e especialistas em domínio envolvidos em discussões de esses desafios. Isso poderia incluir o alcance de setores como sociedade civil, especialistas em segurança nacional, como AI ainda não comprometida e pesquisadores da segurança cibernética, empresas que incorporam AI em seus produtos, eticistas, público em geral e outros, para garantir que As partes interessadas relevantes estão incluídas e os especialistas relevantes consultados. Devido à natureza dual-use da AI, muitos dos usos maliciosos de AI delineados neste relatório relacionaram usos legítimos. Em alguns casos, a diferença entre os usos legítimos e ilegítimos da AI pode ser de grau ou garantir salvaguardas apropriadas contra uso malicioso. Por exemplo, as ferramentas de vigilância podem ser usadas para capturar terroristas ou oprimem cidadãos comuns. Filtros de conteúdo de informações poderia ser usado para enterrar notícias falsas ou manipular a opinião pública. Governos e poderosos atores privados terão acesso a muitos dessas ferramentas de AI e poderia usá-las para bem público ou prejudicar. este é por isso que um diálogo público sobre os usos adequados da tecnologia AI é crítico. As quatro recomendações acima podem ajudar a promover um cross- diálogo disciplinar entre pesquisadores, decisores políticos e outras partes interessadas relevantes para garantir que a tecnologia AI seja usada para beneficiar a sociedade. Áreas prioritárias para pesquisas futuras Esta seção apresenta áreas tópicas específicas que recomendamos ser investigado ainda mais. Apontamos aqui para a brevidade; mais específico perguntas para investigação, juntamente com contexto adicional e comentários sobre muitos dos tópicos mencionados podem ser encontrados em Apêndice B. Na segurança do computador, teaming vermelho envolve uma "equipe vermelha", composta por especialistas em segurança e / ou membros de a organização anfitriã, deliberadamente planejamento e realização de ataques contra os sistemas e práticas da organização (com alguns limitações para prevenir a duração dano), com uma "equipe azul" opcional respondendo a esses ataques. Estes exercícios exploram o que é real O ataque pode parecer como para melhor compreenda e, em última instância, melhorar a segurança do sistemas e práticas da organização. Esperamos ações defensivas adaptativas será exigido dos cidadãos todos os dias, se apenas em termos de manutenção consciência de ameaças e adoção melhores práticas. É importante reconheça que diferentes comunidades terá diferentes habilidades para faça tais adaptações, dependendo por exemplo, em sua tecnologia alfabetização, que pode representar desafios para implementar políticas de segurança. Isso é importante não apenas para o comunidades menos capazes de se adaptar para as novas ameaças, mas também para sociedade em geral, como, por exemplo, sistemas inseguros podem estar comprometidos por atacantes e reutilizados para fornecer Poder de computação e dados para ainda- ataques mais capazes, enquanto reduzem a possibilidade de que os ataques pudessem ser atribuído, como eles parecem então para se originar do comprometido sistema. 1 2
Page 53
p.5 3 Intervenções Área de pesquisa prioritária nº 1: Aprendendo com e com a Comunidade de segurança cibernética À medida que os sistemas baseados em AI se tornam mais difundidos e capazes, os impactos potenciais dos incidentes de segurança cibernética estão crescendo proporcionalmente. Para resumir as considerações no Digital A seção de Segurança, AI é importante para a segurança cibernética por três razões. Primeiro, o aumento da automação traz consigo um controle digital aumentado of physical systems; consider, for example, how much more control a successful hacker could exercise over a modern car, compared with a typical car from 20 years ago . Second, successful attacks on AI-based systems can also give the attacker access to the algorithms and/or trained models used by the system; consider, for example, theft of the datasets used for facial recognition on social networks, or the compromise of an algorithm used for analysing satellite imagery. Third, increasing use of AI in cyberattacks is likely to allow highly sophisticated attacks to be carried out at a much larger scale, which may reach victims that would otherwise not be suitable targets of previous waves of sophisticated attacks. To respond to these increased dangers, cybersecurity must be a major and ongoing priority in efforts to prevent and mitigate harms from AI systems, and best practices from cybersecurity must be ported over wherever applicable to AI systems. Some examples of cybersecurity-related sub-areas that we believe should be the subject of further research and analysis, then be implemented as appropriate (see Appendix B for more commentary on and questions about these sub-areas), include: • Red teaming. Extensive use of red teaming to discover and fix potential security vulnerabilities and safety issues should be a priority of AI developers, especially in critical systems. • Formal verification. To what extent, in what circumstances, and for what types of architectures can formal verification be used to prove key properties of AI systems? Can other approaches be developed to achieve similar goals by different means? • Responsible disclosure of AI vulnerabilities. Should AI-specific procedures be established to enable confidential reporting of vulnerabilities discovered in AI systems (including security vulnerabilities, potential adversarial inputs, and other types of exploits), as is already possible for security exploits in modern software systems? • Forecasting security-relevant capabilities. Could “white-hat” efforts to predict how AI advances will enable more effective DARPA's Assured Autonomy program (Neema, 2017) is one attempt at developing techniques to assure safety in systems that continue learning throughout their lifespans, which makes assurance or verification using traditional methods challenging. Vejo also Katz et al., 2017; Selsam, Liang, and Dill, 2017; and Carlini et al., 2017. For example, see the case of Os hackers primeiro trazem um jipe ​​para um paralisação em uma rodovia movimentada, então mais tarde, desenvolver a capacidade de causar aceleração involuntária e controle completamente a direção do veículo (Greenberg, 2016). 2 1
Page 54
p.5 4 Intervenções ataques cibernéticos e rastreamento mais rigoroso do progresso da AI e a proliferação em geral, permite preparações mais efetivas pelos defensores? • Ferramentas de segurança. Quais ferramentas (se houver) devem ser desenvolvidas e distribuído para ajudar a torná-lo padrão para testar a segurança comum problemas nos sistemas AI, análogamente às ferramentas usadas pelo computador profissionais de segurança? • Hardware seguro. Os recursos de segurança podem ser incorporados Hardware específico do AI, por exemplo, para impedir a cópia, restringir acesso, facilitar auditorias de atividades e outros? Quão tecnicamente e praticamente viável é o design e adoção de hardware com propriedades como esta? Priority Research Area #2: Exploring Different Openness Models Today, the prevailing norms in the machine learning research community strongly point towards openness. A large fraction of novel research is published online in papers that share anything from rough architectural outlines to algorithmic details to source código. This level of openness has clear benefits in terms of enabling researchers to build on each others' work, promoting collaboration, and allowing theoretical progress to be incorporated into a broad array of applications. However, the potential misuses of AI technology surveyed in the Scenarios and Security Domains sections suggest a downside to openly sharing all new capabilities and algorithms by default: it increases the power of tools available to malicious actors. este raises an important research question: might it be appropriate to abster-se ou simplesmente atrasar a publicação de alguns achados relacionados a AI por razões de segurança? Existe um precedente para isso em campos como como segurança informática, onde explorações que poderiam afetar importantes os sistemas não são divulgados publicamente até que os desenvolvedores tenham tido uma oportunidade para corrigir a vulnerabilidade. Na medida em que a pesquisa Os resultados são retidos hoje em AI, geralmente são por razões relacionadas a propriedade intelectual (por exemplo, para evitar que um resultado futuro seja "Escavado"). À luz dos riscos estabelecidos em outros lugares neste relatório, Também podem ser argumentos baseados no interesse público por cuidado em pelo menos alguns casos. Embora as propostas abaixo considerem a abertura decrescente em certas situações, enfatizamos que são claras e reconhecidas razões para favorecer a abertura nas comunidades de pesquisa. Nós acreditamos essas políticas levando a abertura diminuída, enquanto potencialmente 1 Eckersley e Nasser et al., 2017
Página 55
p.5 5 Intervenções apropriado em certos casos, deve ser sensível a estes benefícios. Em vez de propor uma solução específica, nosso objetivo é aprofundar a discussão sobre se e quando as considerações contra O compartilhamento aberto pode superar considerações a favor e o que mecanismos podem permitir isso. Alguns mecanismos e modelos potenciais que poderiam estar sujeitos para maior investigação e análise (ver Apêndice B para mais comentários e perguntas sobre essas subáreas) incluem: • Avaliação de risco pré-publicação em áreas técnicas de especial preocupação. Alguns tipos de resultados da pesquisa AI, tais como como trabalho especificamente relacionado à segurança digital ou adversarial Aprendizado de máquinas, sujeito a algum tipo de avaliação de risco para determinar qual o nível de abertura apropriado? Isto é a norma para pesquisa em outras áreas, como biotecnologia e segurança do computador. Ou essas medidas seriam prematuras hoje, antes que os sistemas AI sejam mais amplamente utilizados em sistemas críticos e temos melhor conhecimento de qual pesquisa técnica é mais relevante para a segurança? Se tais medidas forem consideradas prematura, em que condições seriam apropriadas? • Modelos de licenciamento de acesso central. Poderia emergir "central acesso "estruturas comerciais - em que os clientes usam serviços como análise de sentimentos ou reconhecimento de imagem feitos disponível por um provedor central sem ter acesso ao detalhes técnicos do sistema - fornecer um modelo para um modelo de compartilhamento centrado na segurança que permite o uso generalizado de um dada a capacidade, reduzindo a possibilidade de uso malicioso? Como esse modelo pode ser viável ao longo do tempo como avanços em poder de processamento, armazenamento e disponibilidade de dados, e incorporado A perícia permite que um conjunto maior de atores use ferramentas de AI? • Compartilhando regimes que favorecem a segurança e a segurança. Poderia Devem ser feitos arranjos sob os quais alguns tipos de pesquisa Os resultados são seletivamente compartilhados entre um conjunto predeterminado de pessoas e organizações que atendam a determinados critérios, tais como segurança efetiva da informação e adesão a normas éticas? Por exemplo, certas formas ofensivas pesquisa de segurança cibernética que alavanca AI pode ser compartilhada entre organizações confiáveis ​​para descoberta de vulnerabilidade propósitos, mas seria prejudicial se distribuído mais amplamente. • Outras normas e instituições que foram aplicadas a dupla- use tecnologias. O que pode ser aprendido de outros modelos, metodologias, considerações e precauções que tenham surgiu ao abordar questões semelhantes levantadas por outros tipos de uso duplo tecnologias? Por conseguinte, as preocupações com o mau uso não deve ser usado como uma desculpa para reduzir a abertura em maior medida do que é necessário, por exemplo, quando A verdadeira motivação é sobre empresas competitividade. Acreditamos que, na medida em que as práticas em torno de A abertura é repensada, isso deve ser feito de forma transparente, e que, quando novas abordagens são incorporadas Processos de pesquisa e publicação de AI de outros domínios (por exemplo, divulgação), aqueles que o fazem devem Divulgue suas razões publicamente que uma série de partes interessadas podem avalie essas reivindicações. O debate em a comunidade de biossegurança sobre o nível apropriado de divulgação sobre pesquisa de ganho de função (em que os organismos são mais perigosos em para entender certas ameaças melhor) fornece um modelo do tipo de discussão que vemos como saudável e necessário. 1 2 veja, por exemplo, NDSS, 2018
Page 56
p.5 6 Intervenções Área de Pesquisa Prioritária nº 3: Promovendo uma Cultura de Responsabilidade Pesquisadores da IA ​​e as organizações que os empregam estão uma posição única para moldar a paisagem de segurança da AI- mundo habilitado. Muitos na comunidade já tomam suas responsabilidade bastante séria e encorajar os outros a fazerem mesmo. Isso deve ser continuado e desenvolvido, com maior aproveitamento das percepções das experiências de outros campos técnicos e com maior atenção ao uso mal-intencionado riscos em particular. Ao longo do treinamento, recrutamento, pesquisa e desenvolvimento, indivíduos e instituições devem ser conscientes do riscos de usos mal-intencionados das capacidades de AI. Algumas áreas iniciais para explorar iniciativas concretas voltadas para A promoção de uma cultura de responsabilidade inclui: • Educação. Quais métodos formais e informais para educar cientistas e engenheiros sobre a ética e socialmente O uso responsável de sua tecnologia é mais eficaz? Como este treinamento poderia ser melhor incorporado na educação de pesquisadores da AI? • Declarações e padrões éticos. Qual papel deve ser ético? Declarações e padrões desempenham na pesquisa da IA? Como e por A quem eles deveriam ser implementados e aplicados? O que são as questões éticas específicas do domínio nas áreas de digital, físico e de segurança que precisa ser resolvido para distinguir entre usos benignos e maliciosos da AI? • Medidas de denúncia. Qual é o histórico de proteções de denúncia em outros domínios, e como (se for o caso) Podem ser usados ​​para prevenir riscos de uso indevido relacionados a AI? • narrativas nuanced. Em termos mais gerais, existem sucintos e narrativas convincentes da pesquisa da AI e seus impactos que podem otimismo do equilíbrio sobre o vasto potencial desta tecnologia com um reconhecimento nivelado dos riscos que representa? Exemplos das narrativas existentes incluem o tropo do "apocalipse robô" e o tropo compensatório "automation boon", ambos têm deficiências óbvias. Poderia uma narrativa como "dupla utilização" (proposto acima) seja mais produtivo? Dois exemplos de padrões propostos para AI são a Iniciativa Global IEEE para Considerações Éticas em Inteligência Artificial e Autônoma Sistemas (IEEE Standards Association, 2017) eo desenvolvimento da Princípios de Asilomar AI (futuro da vida Instituto, 2017). Consulte o Apêndice B para obter mais comentários sobre e perguntas sobre essas sub-áreas. 2 1
Página 57
p .57 Intervenções Área de Pesquisa Prioritária nº 4: Desenvolvimento de soluções tecnológicas e políticas Além de criar novos desafios e ameaças de segurança O progresso na AI também possibilita novos tipos de respostas e defesas. Essas soluções tecnológicas devem ser acompanhadas e apoiado por respostas políticas bem projetadas. Em adição ao propostas mencionadas nas seções anteriores, que outro potencial abordagens - tanto institucionais quanto tecnológicas - poderiam ajudar prevenir e mitigar o uso potencial de tecnologias AI? Algumas áreas sugeridas inicialmente para investigação posterior incluem: • Proteção de privacidade. Em que papel as medidas técnicas podem desempenhar protegendo privacidade de atores ruins em um mundo de AI? Qual o papel deve ser desempenhado por instituições, seja por corporações, estado ou outros? • Uso coordenado da AI para segurança pública. Pode basear a AI medidas defensivas de segurança sejam amplamente distribuídas para empurrar o equilíbrio de ofensa e defesa na direção da defesa? Através do que instituições ou mecanismos essas tecnologias podem ser promovidas e compartilhado? • Monitoramento de recursos relevantes para AI. Em que circunstâncias, e para quais recursos, pode ser viável e apropriado para monitorar entradas para tecnologias AI, como hardware, talento, código e dados? • Outras respostas legislativas e regulamentares. Qual outro potencial as intervenções dos formuladores de políticas seriam produtivas neste espaço (por exemplo, ajustar definições legais de hacking para explicar o caso de exemplos adversários e ataques de envenenamento de dados)? Por tudo isso, será necessário incentivar os indivíduos e organizações com os conhecimentos relevantes para prosseguir estes investigações. Um passo inicial, prosseguido por este relatório, é aumentar consciência das questões e da sua importância, e elaborar uma agenda de pesquisa inicial. Outras etapas exigirão o compromisso de indivíduos e organizações com experiência relevante e um histórico. Recursos monetários adicionais, tanto públicos como privado, também ajudaria a semear interesse e recrutar atenção em comunidades de pesquisa relevantes. Por exemplo, os sistemas AI podem ser usados refatorar bases de código existentes ou novo software para aderir mais de perto princípio de menor autoridade (Miller, 2006) ou outro melhor segurança práticas? Consulte o Apêndice B para obter mais comentários sobre e perguntas sobre essas sub-áreas. 2 1
Página 58
p.5 8 Quando considerados em conjunto, como será o relevante para a segurança características da AI e as várias medidas de intervenção vistos acima (se implementados) se combinam para moldar o futuro de segurança? Qualquer previsão confiável a longo prazo é impossível para fazer, como permanecem incertezas significativas em relação ao progresso de várias tecnologias, estratégias adotadas por atores maliciosos, e as etapas que devem e serão tomadas por os principais interessados. No entanto, pretendemos elucidar alguns aspectos cruciais considerações para dar uma resposta mais confiável e fazer várias hipóteses sobre o equilíbrio de médio prazo do ataque AI e defesa. A médio prazo, significamos o período de tempo (5+ anos a partir de agora), após o que as aplicações maliciosas da AI são amplamente usado e defendido contra, mas antes de a AI ainda progrediu suficientemente para evitar a necessidade de entrada humana em qualquer ataque ou defesa. 05 Estratégico Análise
Page 59
p.59 Análise estratégica Mesmo um equilíbrio de médio prazo aparentemente estável e previsível resultantes de desenvolvimentos previsíveis da AI podem ser de curta duração, uma vez que os fatores tecnológicos e políticos irão além o que atualmente pode ser previsto. Novos desenvolvimentos, incluindo desenvolvimentos tecnológicos não relacionados à AI, podem, em última instância, ser mais impactante que os recursos considerados neste relatório. No entanto, esperamos que a análise abaixo arroja alguma luz em fatores-chave para assistir e influenciar nos próximos anos. Fatores que afetam o equilíbrio da AI e Segurança Acesso do atacante às capacidades As tendências atuais enfatizam o acesso aberto generalizado a uma vanguarda conquistas de pesquisa e desenvolvimento. Se essas tendências continuarem Nos próximos 5 anos, esperamos a capacidade dos atacantes para causar danos com sistemas digitais e robóticos aumentam significativamente. este segue diretamente da natureza, eficiência, escalabilidade e Facilidade de difusão de tecnologias de AI discutidas anteriormente. No entanto, esperamos que a natureza de dupla utilização da tecnologia tornar-se cada vez mais evidente para desenvolvedores e reguladores, e que limitações de acesso ou uso malicioso de AI poderosa As tecnologias serão cada vez mais impostas. No entanto, significativo permanece a incerteza sobre a eficácia da tentativa de restringir ou monitorar o acesso através de qualquer intervenção específica. Esforços de design preventivo e o uso de novas organizações e medidas tecnológicas dentro do policiamento internacional toda ajuda, e é provável que surjam em vários estágios, em resposta (espero) para relatórios como estes, ou de outra forma no rescaldo de um ataque significativo ou escândalo. Esforços para prevenir maliciosos Utiliza-se unicamente através da limitação da proliferação do código IA. Sucesso total, ambos devido a uma conformidade menos perfeita do que porque os atores suficientemente motivados e com recursos suficientes podem usar espionagem para obter esse código. No entanto, o risco de menos capacidade Os atores que usam AI podem provavelmente ser reduzidos através de uma combinação de intervenções destinadas a tornar os sistemas mais seguros, de forma responsável revelando desenvolvimentos que poderiam ser mal utilizados e aumentando consciência de ameaça entre os decisores políticos. Existência de Defensas habilitadas para AI As mesmas características da AI que permitem a grande escala e baixo custo Os ataques também permitem defesas mais escaláveis. Instâncias específicas de
Page 60
p .6 0 Análise estratégica As defesas habilitadas para AI foram discutidas em seções anteriores, tais como como filtros de spam e detecção de malware, e esperamos muitos outros será desenvolvido nos próximos anos. Por exemplo, no contexto de segurança física, o uso de drones cujo único propósito é rapidamente e não violentamente "pegar" e trazer para o chão outro Os drones podem ser inventados e amplamente implantados, mas eles também podem acabar por ser proibitivamente caro, como poderia ser outro previsível defesas. Assim, tanto o ritmo da inovação técnica quanto o custo de tais defesas devem ser consideradas em uma avaliação mais completa. Uma categoria geral de defesas habilitadas para AI vale a pena considerar em uma avaliação geral é o uso de IA nas investigações criminais e contra-terrorismo. AI já está começando a ver uma adoção mais ampla para uma ampla gama de fins de aplicação da lei, como reconhecimento por câmeras de vigilância e análise de rede social. Nós quase não vimos o fim de tais avanços e, além disso, desenvolvimentos nas tecnologias subjacentes e suas O uso parece provável dado o interesse dos atores das corporações para governments in preventing criminal acts. Additionally, interceding attacks in their early stage through rapid detection and response may turn out to be cheaper than for example widely deploying physical defenses against drones. Thus, the growing ability of states to detect and stop criminal acts, in part by leveraging AI, is a key variable in the medium-term. However, such advances will not help prevent authoritarian abuses of AI. Distribution and Generality of Defenses Some defensive measures discussed in Interventions and Appendix B can be taken by single, internally coordinated actors, such as research labs and tech startups, and are likely to happen as soon as they become technically feasible and cost-effective. These measures could then be used by the organizations that have the most to lose from attacks such as governments and grandes corporações. Isso significa que a categoria mais massiva de danos, como o ataque às instalações da WMD, também é o menos provável, embora o nível de risco dependa das taxas relativas às quais Os ataques e as defesas são desenvolvidos. Divulgação responsável de novas vulnerabilidades, avaliação de risco pré-publicação e uma forte A cultura ética na comunidade de AI geralmente será vital em tal mundo. Isso, no entanto, deixa de lado a situação estratégica para a maioria de potenciais vítimas: corporações tecnicamente conservadoras, Estados com recursos insuficientes, PME e indivíduos. Para esse potencial vítimas, medidas defensivas precisam ser cozidas tecnologia, que pode exigir esforços regulatórios coordenados, ou
Page 61
p .6 1 Análise estratégica oferecido a preços baixos. O mais provável é que este venha ou tech giants (as in the case of spam filters), which will increase lock-in and concentration of data and power, or from non-profit organizations who develop and distribute such defensive measures freely or cheaply (eg Mozilla's Firefox web browser). This dynamic of defense through reliance on fortified software platforms is likely to be affected by the generality of defensive measures: if each attack requires a tailored defense, and has an associated higher time lag and skill investment, it is more likely that those developing such defensive measures will need financial backing, from corporations, investors, philanthropists, or governments. In the case of governments, international competition may hinder the development and release of defensive measures, as is generally the case in cyber-security, though see the release of CyberChef and Assemblyline as counterexamples. For political security, similar considerations regarding generality apply: a general solution to authenticable multimedia production and forgery detection would be more useful than tailored individual solutions for photographs, videos, or audio, or narrower subsets of those media types. Misaligned incentives can also lead to a failure to employ available defensive measures. For example, better cybersecurity defenses could raise the bar for data breaches or the creation of IoT device botnets. However, the individuals affected by these failures, such as the individuals whose personal data is released or victims of DDOS attacks using botnets, are not typically in a position to improve defenses directly. Thus, other approaches including regulation may be needed to adjust these incentives or otherwise address these externalities . Overall Assessment The range of plausible outcomes is extremely diverse, even without considering the outcomes that are less likely, but still possible. Across all plausible outcomes, we anticipate that attempts to use AI maliciously will increase alongside the increase in the use of AI across society more generally. This is not a trend that is particular to AI; we anticipate increased malicious use of AI just as criminals, terrorists and authoritarian regimes use electricity, software, and computer networks: at some point in the technology adoption cycle, it becomes easier to make use of such general purpose technologies than to avoid them. On the optimistic side, several trends look positive for defense. There is much low hanging fruit to be picked in securing AI systems 1 2 3 GCHQ, 2016 CSE, 2017 Moore and Anderson, 2012
Page 62
p .6 2 Análise estratégica eles próprios, e proteger pessoas e sistemas de AI-enabled ataques. Exemplos incluem a divulgação de vulnerabilidade responsável para aprendizado automático em casos onde a tecnologia ML afetada é sendo usado em sistemas críticos e maiores esforços para alavancar AI experiência na descoberta de vulnerabilidades por empresas de software internamente antes de serem descobertos por adversários. tem Incentivos acadêmicos substanciais para enfrentar a pesquisa mais difícil problemas, como o desenvolvimento de métodos para enfrentar exemplos e fornecendo garantias prováveis ​​para propriedades do sistema e comportamentos. Há, pelo menos em algumas partes do mundo, incentivos políticos para o desenvolvimento de processos e regulamentos que reduzir os níveis de ameaça e aumentar a estabilidade, por exemplo, através do consumidor proteção e padronização. Finalmente, existem incentivos para gigantes tecnológicas para colaborar na garantia de pelo menos um nível mínimo de segurança para seus usuários. Onde as soluções são visíveis, exigem ou coordenação pré-existente, e alinhar com o incentivo existente estruturas, as defesas são susceptíveis de prevalecer. Do lado pessimista, nem todas as ameaças identificadas têm soluções com essas características. É provável que provar muito mais difícil de proteger os seres humanos contra ataques de manipulação do que será para garantir sistemas digitais e ciberfísicos a partir de ataques cibernéticos, e em alguns cenários, os três vetores de ataque podem ser combinados. Na ausência de esforços significativos, atribuição de ataques e A penalização dos atacantes provavelmente será difícil, o que pode levar a para um estado contínuo de ataques de baixo a médio nível, confiança destruída dentro das sociedades, entre as sociedades e seus governos, e entre os governos. Quaisquer vetores de ataque se tornem mais difíceis defender-se serão os mais propensos a serem armados por governos, e a proliferação dessa capacidade ofensiva é provável que seja amplo. Como o número de possíveis superfícies de ataque é vasto, e a vanguarda da capacidade provavelmente será sempre progresso, qualquer equilíbrio obtido entre estados rivais ou entre criminosos e forças de segurança em um domínio particular é provavelmente será de curta duração à medida que a tecnologia e as políticas evoluirem. Gigantes da tecnologia e gigantes da mídia podem continuar a se tornar paraíso tecnológico seguro das massas, como o seu acesso a dados relevantes em tempo real em grande escala e sua propriedade produtos e canais de comunicação (juntamente com o subjacente infra-estrutura técnica), coloque-os em uma posição altamente privilegiada para oferecer proteção personalizada aos seus clientes. Outras empresas gigantes que oferecem produtos e serviços com recursos digitais (automotivo, médico, de defesa e cada vez mais outros setores) provavelmente estará sob pressão para seguir o exemplo. Isso seria representam uma continuação das tendências existentes em que as pessoas muito interagir regularmente com e usar as plataformas fornecidas pela tecnologia e gigantes da mídia e interagem menos freqüentemente com pequenas empresas e governos.
Page 63
p .6 3 Análise estratégica As nações estarão sob pressão para proteger seus cidadãos e seus própria estabilidade política diante dos usos maldosos da AI. este poderia ocorrer através do controle direto de digital e comunicação infra-estrutura, através de colaboração significativa e construtiva entre o governo e as entidades privadas que controlam tais infra-estrutura, ou através de regulamentação informada e exigível juntamente com incentivos e responsabilidade financeira bem concebidos estruturas. Alguns países têm uma vantagem clara no estabelecimento os mecanismos de controle que lhes permitirão fornecer segurança para os seus cidadãos. Para algumas das coordenações mais desafiadoras e interdisciplinares problemas, será necessária uma nova liderança para se elevar acima do local incentivos e fornecer visão sistêmica. Este não será o primeiro tempo em que a humanidade subiu para enfrentar esse desafio: a OTAN A conferência em Garmisch, em 1968, criou um consenso em torno da riscos crescentes de sistemas de software e esboçou técnicas e soluções processuais para abordar over-run, over-budget, software de infra-estrutura crítica difícil de manter e bug-ridden, resultando em muitas práticas que agora são mainstream no software Engenharia ; A conferência NIH em Asilomar em 1975 destacou os riscos emergentes da pesquisa de DNA recombinante, promovido uma moratória sobre certos tipos de experimentos e iniciado pesquisa sobre novos fluxos de contenção biológica, ao lado um quadro regulamentar em que essa pesquisa poderia alimentar. Indivíduos na vanguarda da pesquisa desempenharam papéis fundamentais em ambos casos, incluindo Edsger Dijkstra no anterior e Paul Berg no ultimo . Existem muitos desentendimentos entre os co-autores desta relatório, e muito menos entre as várias comunidades especializadas no mundo. Muitos desses desentendimentos não serão resolvidos até que nós Obtenha mais dados à medida que as várias ameaças e respostas se desenrolam, mas isso A incerteza eo desentendimento de especialistas não devem nos paralisar tomando medidas preventivas hoje. Nossas recomendações, afirmou acima, pode e deve ser atuado hoje: analisando e (onde apropriado) experimentando modelos de abertura aberta, aprendendo da experiência de outras disciplinas científicas, começando diálogos de múltiplos interessados ​​sobre os riscos em domínios específicos, e acelerando pesquisas benéficas em inúmeras defensas promissoras. 1 3 4 5 6 Chessen, 2017b Naur e Randell, 1969 Krimsky, 1982; Wright, 1994 Dijkstra, 1968 Berg et al., 1974 Por exemplo, as leis de campanha da França proibiu o oponente de Macron de mais uma campanha uma vez que Macron's os e-mails foram pirateados. Isso impediu a campanha de capitalizar o vazamentos associados ao hack, e acabou com o hack jogando muito papel mais silencioso nas eleições francesas do que o Clinton cutou no Eleição dos EUA. 2
Página 64
Conclusão p .6 4 Embora muitas incertezas permaneçam, é claro que AI irá figurar proeminente no cenário de segurança do futuro, que oportunidades de uso malicioso abundam, e que mais podem e Deve ser feito. Inteligência artificial, segurança digital, segurança física e política. A segurança está profundamente conectada e provavelmente se tornará mais assim. No domínio ciberneiro, mesmo nos níveis de capacidade atuais, a AI pode ser usado para aumentar os ataques e as defesas da cibercriminalidade, e sua introdução na sociedade muda a superfície de ataque que Os hackers podem segmentar, como demonstrado pelos exemplos de automatização lança ferramentas de detecção de phishing e malware discutidas acima. À medida que os sistemas de AI aumentam a capacidade, eles primeiro alcançarão e, em seguida, exceder as capacidades humanas em muitos domínios estreitos, como temos já visto com jogos como gamão, xadrez, Jeopardy !, Dota 2 e Go e agora estão vendo com importantes tarefas humanas
Page 65
p .6 5 Conclusão como investir no mercado de ações ou dirigir carros. Preparando-se para o possíveis usos maldosos de AI associados a esta transição são uma tarefa urgente. À medida que os sistemas de AI se estendem ainda mais em domínios comuns para ser exclusivamente humano (como a interação social), veremos mais ataques sofisticados de engenharia social com base nesses capacidades. Estes são muito difíceis de se defender, já que especialistas em segurança cibernética podem ser presas do phishing de lança direcionada e-mails. Isso pode causar uma explosão de penetrações de rede, roubo de dados pessoais e uma epidemia de computador inteligente vírus. Uma das nossas melhores esperanças de se defender contra a automatização O hacking também é via AI, através da automação de nossa ciber-defesa sistemas, e, de fato, as empresas estão buscando cada vez mais isso estratégia. Mas a defesa baseada na AI não é uma panaceia, especialmente quando olhamos para além do domínio digital. Mais trabalho também deve ser feito na compreensão do equilíbrio certo de abertura em AI, desenvolvendo medidas técnicas aprimoradas para verificar formalmente a robustez dos sistemas e assegurar que os quadros políticos desenvolvidos em um mundo menos infundido por AI se adapta ao novo mundo que estamos criando. Olhando para o longo prazo, muito foi publicado sobre problemas que podem surgir acidentalmente como resultado de Sistemas AI sofisticados capazes de operar em níveis elevados. em uma ampla gama de ambientes, embora as capacidades de AI está aquém disso hoje. Dado que os sistemas de inteligência podem ser implementado para uma série de objetivos, sistemas altamente capazes que exigem pouca experiência para desenvolver ou implantar pode eventualmente ser dada nova, objetivos perigosos, cortando-os ou desenvolvendo-os de novo: Ou seja, podemos ver sistemas de AI poderosos com um "apenas adicione seu próprios objetivos ". Dependendo de cujas licitações esses sistemas are doing, such advanced AIs may inflict unprecedented types and scales of damage in certain domains, requiring preparedness to begin today before these more potent misuse potentials are realizable. Researchers and policymakers should learn from other domains with longer experience in preventing and mitigating malicious use to develop tools, policies, and norms appropriate to AI applications. Though the specific risks of malicious use across the digital, physical, and political domains are myriad, we believe that understanding the commonalities across this landscape, including the role of AI in enabling larger-scale and more numerous attacks, is helpful in illuminating the world ahead and informing better prevention and mitigation efforts. We urge readers to consider ways in which they might be able to advance the collective compreensão do nexo de segurança de AI e para participar do diálogo sobre garantir que o rápido desenvolvimento da AI prosseguir não apenas de forma segura e justa, mas também de forma segura. 1 2 Bostrom, 2014; Amodei e Olah et al., 2016 Bostrom, 2014, p. 107
Página 66
p .6 6 O Uso Malicioso da Inteligência Artificial Estamos extremamente gratos aos muitos pesquisadores e praticantes que forneceram comentários úteis anteriormente versões deste documento, e quem nos contratou de forma útil conversas sobre tópicos relacionados. Dado o número de co-autores e conversas relacionadas, certamente esqueceremos algumas pessoas, mas entre outros, agradecemos Ian Goodfellow, Ross Anderson, Nicholas Papernot, Martín Abadi, Tim Hwang, Laura Pomarius, Tanya Singh Kasewa, Smitha Milli, Itzik Kotler, Andrew Trask, Siddharth Garg, Martina Kunz, Jade Leung, Katherine Fletcher, Jan Leike, Toby Ord, Nick Bostrom, Owen Cotton-Barratt, Eric Drexler, Julius Weitzdorfer, Emma Bates e Subbarao Kambhampati. Qualquer Os erros restantes são da responsabilidade dos autores. Este trabalho foi apoiado em parte por uma doação do Future of Life Institute. Reconhecimentos Reconhecimentos
Página 67
p .6 7 O Uso Malicioso da Inteligência Artificial Abadi, M. Chu, A. Goodfellow, I. McMahan, H. Mironov, I. Talwar, K. e Zhang, L. 2016. "Aprendizado Profundo com Privacidade Diferencial ". Em Procedimentos do ACM SIGSAC de 2016 Conferência sobre Segurança de Computadores e Comunicações (CCS '16). ACM, Nova York, NY, EUA, 308-318, https://arxiv.org/ abs / 1607.00133 Ablon, L. e Bogart, T. 2017. "Zero Days, milhares de Noites: As Vulnerabilidades Vida e Vez do Zero-Day e Os seus Exploits, "RAND Corporation, https://www.rand.org/ pubs / research_reports / RR1751.html Abokhodair, N., Yoo, D. e McDonald, D. 2015. "Dissecando a Social Botnet: Growth, Content and Influence in Twitter,” Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing, pp. 839- 851, dl.acm.org/ft_gateway.cfm?id=2675208 Adams, T. 2017. “AI-Powered Social Bots,” arXiv preprint server, https://arxiv.org/abs/1706.05143 Aday, S., Farrell, H., Lynch, M., Sides, J., and Freelon, D. 2012. “Blogs and Bullets II: New Media and Conflict After the Arab Spring,” United States Institute of Peace, https://www.usip.org/publications/2012/07/blogs-and- bullets-ii-new-media-and-conflict-after-arab-spring Aker, C. and Kalkan, S. 2017. “Using Deep Networks for Drone Detection,” arXiv preprint server, https://arxiv.org/ abs/1706.05726 Allen, G. and Chan, T. 2017. “Artificial Intelligence and National Security,” Harvard Kennedy School Belfer Center for Science e Assuntos Internacionais, https://www.belfercenter.org/ publicação / segurança artificial e segurança nacional Amodei, D. e Olah, C. et al. 2016. "Problemas de Concreto em AI Safety, "servidor de pré-impressão arXiv, https://arxiv.org/ abs / 1606.06565 Anderson, H., Woodbridge, J. e Filar, B. 2016. "DeepDGA: Geração e Detecção de Domínio Adversarial-Tuned ", arXiv servidor de pré-impressão, https://arxiv.org/abs/1610.01969 Anderson, HS, Kharkar, A., Filar, B., Evans, D. e Roth, P. 2018. "Aprendendo a Evadir a Máquina estática de PE aprendendo malware Modelos através da aprendizagem de reforço ", o servidor de pré-impressão arXiv, https://arxiv.org/abs/1801.08917 Arulkumaran, K., Deisenroth, M., Brundage, M. e Bharath, A. 2017. "Aprendizagem de reforço profundo: um breve levantamento", IEEE Signal Processing Magazine, Vol. 34, edição 6, novembro de 2017, https://arxiv.org/abs/1708.05866 Baier, C. e Katoen, J. 2008. Princípios de verificação de modelos. Cambridge: MIT Press. Barberá, P., Jost, J., Nagler, J., Tucker, A. e Bonneau, R. 2015. "Tweeting da esquerda para a direita: é on-line político Comunicação mais do que uma câmara de eco ?, "psicológico Science, Vol. 26, edição 10, http://journals.sagepub.com/ doi / 10.1177 / 0956797615594620 Barreno, M., Nelson, B., Joseph, A. e Tygar, JD 2010. "A segurança do aprendizado de máquinas," Machine Learning, 81: 2, páginas 121-148. Disponível on-line em https: //people.eecs. berkeley.edu/~tygar/papers/SML/sec_mach_learn_journal. pdf Bass, D. 2017. "Os cientistas de AI se reúnem para fazer o que é Doomsday Cenários (e Soluções), "Bloomberg, 2 de março de 2017, https://www.bloomberg.com/news/articles/2017-03-02/ai- cientificos-reunir-para-trama-dia doDomício - cenários e soluções Bastani, O., Kim, C., Bastani, H. 2017. "Interpretando Blackbox Models via Model Extraction,” arXiv preprint server, https:// arxiv.org/abs/1705.08504 BBC. 2017.“Google to 'de-rank' Russia Today and Sputnik.” November 21, 2017. http://www.bbc.com/news/ technology-42065644 Berg, P., Baltimore, D., Boyer, HW, Cohen, SN, Davis, RW, Hogness, DS, Nathans, D., Roblin, R., Watson, JD, Weissman, S. and Zinder, ND, 1974. “Potential biohazards of recombinant DNA molecules.” Science, 185(4148), p.303. Berger, JM and Morgan, J. 2015. “The ISIS Twitter census: Defining and describing the population of ISIS supporters on Twitter,” Brookings Institution, https://www.brookings.edu/ research/the-isis-twitter-census-defining-and-describing- the-population-of-isis-supporters-on-twitter/ Beurdouche, B., Bhargavan, K., Delignat-Lavaud, A., Fournet, C., Kohlweiss, M., Pironti, A., Strub, P., and Zinzindohoue, J. 2017. "Um estado desordenado da união: domesticar o estado composto máquinas de TLS, "Communications of the ACM, Vol. 60, Problema 2, fevereiro de 2017, http://dl.acm.org/citation.cfm?id=3023357 Biggio, B., Nelson, B. e P. Laskov. 2012. "Ataques de envenenamento contra máquinas de vetor de suporte, "Conferência Internacional em Aprendizado de Máquinas (ICML 2012), páginas 1467-1474. Blanchet, B. 2017. "CryptoVerif: A Computationally-Sound Security Protocol Verifier, "http://prosecco.gforge.inria.fr/ pessoal / bblanche / cryptoverif / cryptoverif.pdf Blum, W. 2017. "Fuzzing Neural: aplicando o DNN ao software testes de segurança, "Microsoft Research Blog, https: // www. microsoft.com/en-us/research/blog/neural-fuzzing/ Booth, S., Tompkin, J., Gajos, K., Waldo, J., Pfister, H., Nagpal, R. 2017. "Robôs Piggybacking: Overtrust de Robot Humano em University Dormitory Security, "HRI 2017, disponível em http: // www.slbooth.com/piggybacking_robots.html Bostrom. 2014. Superinteligência: Caminhos, Perigos, Estratégias. Oxford: Oxford University Press. Referências Referências
Page 68
p .6 8 O Uso Malicioso da Inteligência Artificial Referências Tecnologias, "https://obamawhitehouse.archives.gov/ blog / 2013/12/18 / liberdade-e-segurança-mundo em mudança CNAS. 2017. "Inteligência Artificial e Segurança Global Summit, "Centro de Segurança Americana Nova". https: //www.cnas. org / eventos / inteligência artificial e global-segurança-cimeira Cohen, G. 2017. "Israel tira do Hamas sobre a Gaza Strip, "Haaretz, http://www.haaretz.com/israel-news/1.773465 Cooper, DM 2013. "Uma abordagem de licenciamento para a regulamentação de Open Robotics ", artigo apresentado no We Robot, abril de 2013. Crawford, K. e Calo, R. 2016. "Há um ponto cego na AI pesquisa, "Nature, 13 de outubro de 2016, https://www.nature.com/ news / there-is-a-blind-spot-in-ai-research-1.20805 Crootof, R. 2015. "Os robôs assassinos estão aqui: Legal e Implicações de políticas, "http://isp.yale.edu/sites/default/files/ publicações / killer_robots_are_here_final_version.pdf Crootof, R. e Renz, F. 2017. "Uma oportunidade de mudar A conversa sobre sistemas de armas autônomas, " Lawfare, https://www.lawfareblog.com/opportunity-change- sistemas autônomos de armas de conversação CSE, 2017. "Assemblyline". Outubro de 2017. https: //www.cse-cst. gc.ca/en/assemblyline Cummings, ML 2004. "Criando Buffers Morais na Arma Design de Interface de Controle. "Tecnologia e Sociedade IEEE Revista (outono de 2004), 29-30. Cilance. 2017. "Os participantes do Black Hat vêem AI como de dupla afiação Sword, "The Cylance Team, disponível em https: //www.cylance. com / en_us / blog / black-hat-attendees-see-ai-as-double- Edged-sword.html D'Avino, D., Cozzolino, D., Poggi, G. e Verdoliva, L. 2017. "Autoencoder com redes neurais recorrentes para falsificação de vídeo detecção ", pré-impressão arXiv, disponível em https://arxiv.org/ abs / 1708.08754 Dao, James. "Drone Pilots são encontrados para obter transtornos de estresse Muito como aqueles em Combat Do, "New York Times. 22 de fevereiro 2013. DARPA. 2016. Cyber ​​Grand Challenge, www. cybergrandchallenge.com De Choudhury, M., Counts, S. e Horvitz, E. 2013. "Social mídia como uma ferramenta de medição da depressão nas populações ", Procedimentos da 5ª Conferência Anual ACM Web Science, pp. 47-56, https://dl.acm.org/citation.cfm?id=2464480 Departamento de Defesa. 2012. "Direção DoD 3000.09: Autonomia em Sistemas de Armas ". Departamento de Defesa. 2015. "Departamento de Defesa Manual da Lei da Guerra, "https://www.defense.gov/Portals/1/ Documentos / law_war_manual15.pdf Dijkstra, EW, 1968. Cartas para o editor: vá para a declaração considerado prejudicial. Comunicações do ACM, 11 (3), pp.147-148. Botsman, R. 2017. "Grandes dados atende Big Brother como a China move-se para classificar seus cidadãos ", Wired UK, 21 de outubro de 2017, http: // www.wired.co.uk/article/chinese-government-social-credit- score-privacy-invasion Browne, M. 2017. "YouTube remove vídeos mostrando As atrocidades na Síria, "The New York Times, 22 de agosto de 2017, https://www.nytimes.com/2017/08/22/world/middleeast/ syria-youtube-videos-isis.html Brynjolfsson, E. e McAfee, A. 2014. A Segunda Máquina Idade: Trabalho, Progresso e Prosperidade em um Momento Brilhante Máquinas. Nova Iorque: WW Norton & Company, Inc. Bryson, J., Diamantis, M. e Grant, T. 2017. "De, para, e por as pessoas: a lacuna legal das pessoas sintéticas, "Artificial Inteligência e Direito, Vol. 25, edição 3, setembro 2017, pp. 273-291. Buchanan, B. e Taylor, M. 2017. "Aprendizado de máquinas para Políticos, "Paper, Cyber ​​Security Project, Belfer Center. https://www.belfercenter.org/publication/machine-learning- decisores políticos Bueno de Mesquita, B. e Smith, A. 2012. O Ditador Manual: por que o mau comportamento é quase sempre uma boa política. Nova York: PublicAffairs. Calabresi, M. 2017. "Dentro da Guerra das Mídias Sociais da Rússia em América, "Time, 18 de maio de 2017, http://time.com/4783932/ dentro-russia-social-media-war-america / Calo, R. 2011. "Open Robotics", Maryland Law Review, Vol. 70, N ° 3. Calo, R. 2015. "Robótica e as lições da Cyberlaw", California Law Review, Vol. 103, nº 3, pp. 513-63. Carbon Black, 2017. "Além do Hype: especialistas em segurança Pesar em Inteligência Artificial, Aprendizagem de Máquinas e Não- Ataques de malware. "Https://www.carbonblack.com/2017/03/28/ além de hype-security-experts-weigh-artificial-intelligence- máquina-aprendizagem-não-malware-ataques / Carlini, N., Mishra, P., Vaidya, T., Zhang, Y., Sherr, M., Shields, C., Wagner, D. e Zhou, W. 2016. "Comandos de voz oculta", 25º Simpósio de segurança USENIX, people.eecs.berkeley. edu / ~ pratyushmishra / docs / papers / usenix16-hvc.pdf Chessen, M. 2017. "O AI Policy Landscape, Medium, https: // medium.com/artificial-intelligence-policy-laws-and-ethics/ the-ai-landscape-ea8a8b3c3d5d Chessen, M. 2017. "O Futuro do MADCOM", Conselho do Atlântico relatório, http://www.atlanticcouncil.org/publications/reports/ the-madcom-future Chung, J., Jamaludin, A. e Zisserman, A. 2017. "Você disse isso ?, "servidor de pré-impressão arXiv: https://arxiv.org/ abs / 1705.02966 Clarke, R., Morell, M., Stone, G., Sunstein, C. e Swire, P. 2013. "Liberdade e segurança em um mundo em mudança", o Grupo de revisão do presidente sobre inteligência e comunicações
Page 69
p .6 9 O Uso Malicioso da Inteligência Artificial Referências Farquhar, S., Cotton-Barratt, O., e Snyder-Beattie, A. 2017. "Preços de externalidades para equilibrar riscos e benefícios públicos de Pesquisa, "Segurança da Saúde, 15: 4, páginas 401-408, disponível on-line em https://www.ncbi.nlm.nih.gov/pubmed/28767274 Filar, B., Seymour, RJ e Park, M., 2017. "Pergunte-me qualquer coisa: Uma interface conversacional para aumentar a segurança da informação Trabalhadores ". No Simpósio sobre privacidade e segurança utilizáveis (SOUPS). https://arxiv.org/abs/1707.05768 Fisher, K. 2014. "Usando métodos formais para permitir mais seguro veículos: programa HACMS da DARPA, "ICFP" 14: Procedimentos da 19ª conferência internacional ACM SIGPLAN sobre Programação funcional. http://dl.acm.org/citation. cfm? id = 2628165 & CFID = 776732616 & CFTOKEN = 19198339 Ponto de inflamação. 2016. "Ransomware como um serviço: dentro de um Campanha de Ransomware russo organizada "(registro necessário para download), disponível na biblioteca Flashpoint em https://www.flashpoint-intel.com/library/ Franke, U. 2016. "IEDs voadores: a próxima grande ameaça", "Guerra contra o blog Rocks, https://warontherocks.com/2016/10/flying- ieds-the-next-big-threat / Fredrikson, M., Jha, S. e Ristenpart, T. 2015. "Modelo ataques de inversão que exploram informações de confiança e contramedidas básicas ", em Proceedings of the 22nd ACM Conferência SIGSAC em Computador e Comunicações Segurança. ACM, 2015, pp. 1322-1333. Disponível em http: // doi. acm.org/10.1145/2810103.2813677 Future of Life Institute, 2017. "Asilomar AI Principles", texto e os signatários disponíveis on-line em https://futureoflife.org/ ai-principles / Garfinkel, B. Próxima. "Avanços recentes na criptografia e suas possíveis conseqüências ". GCHQ, 2016. “CyberChef - the Cyber “Swiss Army Knife”.” December 2016. https://www.gchq.gov.uk/news-article/ cyberchef-cyber-swiss-army-knife Giaretta, A. and Dragoni, N. “Community Targeted Spam: A Middle Ground Between General Spam and Spear Phishing,” arXiv preprint server, https://arxiv.org/abs/1708.07342 Goel, V. 2014. “Facebook tinkers with users' emotions in news feed experiment, stirring outcry.” New York Times. June 29, 2014. https://www.nytimes.com/2014/06/30/technology/ facebook-tinkers-with-users-emotions-in-news-feed- experiment-stirring-outcry.html?_r=0 Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde- Farley, D., Ozair, S., Courville, A. and Bengio, Y., 2014. “Generative Adversarial Networks.” In Advances in Neural information Processing Systems 2014 (pp. 2672-2680), available at https://arxiv.org/abs/1406.2661 Goodman, B. e Flaxman, S., 2016. União Européia regulamentos sobre tomada de decisão algorítmica e direito a explicação". arXiv preprint arXiv: 1606.08813. Dinh, L., Krueger, D. e Bengio, Y., 2014. "NICE: não linear estimativa de componentes independentes ", workshop ICLR 2015 papel, https://arxiv.org/abs/1410.8516 Dowlin, N., Gilad-Bachrach, R., Laine, K., Lauter, K., Naehrig, M., e Wernsing, J. 2016. "CryptoNets: Application Neural Redes para dados criptografados com alta taxa de transferência e Precisão, "Procedimentos da 33ª Conferência Internacional on Machine Learning, disponível on-line em http: // procedimentos. mlr.press/v48/gilad-bachrach16.html Dvorsky, G. 2017. "Os hackers já começaram a Weaponize Inteligência Artificial, "Gizmodo, https: // www. gizmodo.com.au/2017/09/hackers-have-already-started-to- armamento-inteligência artificial / Dwork, C. e Naor, M. 1993. "Preços através de processamento ou Combatendo o Junk Mail. "Em Brickell EF (eds) avança em Cryptology - CRYPTO '92. CRYPTO 1992. Notas de aula em Computer Science, vol. 740. Berlim: Springer. Dwork, C. 2006. "Privacidade Diferencial", Procedimentos do 33º Colóquio Internacional sobre Automata, Linguagens e Programação, parte II (ICALP 2006), disponível on-line em https: // www.microsoft.com/en-us/research/publication/differential- privacidade/ Eckersley, P., Nasser, Y., et al. 2017. "Ajude o EFF a rastrear o Progress of AI and Machine Learning, "Electronic Frontier Fundação, https://www.eff.org/deeplinks/2017/06/help-eff- track-progress-ai-and-machine-learning EFF. 2014. "Consequências não intencionais - 16 anos sob o DMCA, "Electronic Frontier Foundation, https://www.eff.org/ wp / consequências involuntárias-16-years-under-dmca, parte of a series avalable at https://www.eff.org/wp/unintended- consequences-under-dmca/archive Evans, R. and Gao, J. 2016. “DeepMind AI Reduces Google Data Centre Cooling Bill by 40%,” DeepMind blog, July 20, 2016, https://deepmind.com/blog/deepmind-ai-reduces- google-data-centre-cooling-bill-40/ Everett, R., Nurse, J., and Erola, A. 2016. “The Anatomy of Online Deception: What Makes Automated Text Convincing?, 31st ACM/SIGAPP Symposium on Applied Computing (SAC), https://dl.acm.org/citation.cfm?id=2851813 Everitt, T., Krakovna, V., Orseau, L., Hutter, M., and Legg, S. 2017. “Reinforcement Learning with a Corrupted Reward Channel,” available online at https://arxiv.org/abs/1705.08417 Evtimov, I., Eykholt, K., Fernandes, E., Kohno, T., Li, B., Prakash, A., Rahmati, A., and Song, D. 2017. “Robust Physical- World Attacks on Deep Learning Models,” arXiv preprint servidor, https://arxiv.org/abs/1707.08945 Escritório Executivo do Presidente, Ciência Nacional e Conselho de Tecnologia, Comissão de Tecnologia, 2016. "Preparando-se para o Futuro da Inteligência Artificial", Outubro de 2016, https://obamawhitehouse.archives.gov/ blog / 2016/10/12 / administrations-report-future-artificial- inteligência
Page 70
p .7 0 O Uso Malicioso da Inteligência Artificial Referências Horowitz, M. 2016. "Quem vai querer artificialmente inteligente armas? ISIS, democracias ou autocracias ?, "Boletim dos cientistas atômicos: http://thebulletin.org/who'll- querer-artificialmente-inteligente-armas-isis-democracias-ou- autocracias9692 Hosseini, H., Xiao, B. e Poovendran, R., 2017. "O Google Cloud Vision API não é robusta para o ruído, "previsão de arXiv servidor, https://arxiv.org/abs/1704.05051 Herley, C. 2010. "A situação do atacante alvo em um World of Scale, "Workshop sobre Economia de Informação Segurança 2010, https://www.microsoft.com/en-us/research/ publicação / the-plight-of-the-targeted-attacker-in-a-world-of- escala/ IEEE Standards Association, 2017. "A Iniciativa Global IEEE Para Considerações Éticas em Inteligência Artificial e Sistemas Autônomos, "https://standards.ieee.org/develop/ indconn / ec / autonomous_systems.html IFR, 2016. "World Robotics 2016", https://ifr.org/free- Transferências/ Comitê Internacional da Cruz Vermelha. 2017. "Especialista Encontro sobre sistemas de armas autônomas letais ". Https: // www.icrc.org/en/document/expert-meeting-lethal- sistemas autónomos de armas Ixy, 2017. "Ixy - o aplicativo livre de conflitos", http://getixy.com/ Jaderberg, M., Mnih, V., Czarnecki, WM, Schaul, T., Leibo, JZ, Silver, D., & Kavukcuoglu, K. 2016. "Reforço Aprendendo com Tarefas Auxiliares Sem Supervisão. "ArXiv preprint servidor. https://arxiv.org/abs/1611.05397 Ji, Z., Lipton, C. e Elkan, C. 2014. "Privacidade diferencial e aprendizagem mecânica: uma pesquisa e revisão ". Em: arXiv pré-impressão arXiv: 1412.7584 Jones, B. e Mattiacci, E. 2017. "Um Manifesto em 140 Personagens ou menos: mídia social como ferramenta de rebelde Diplomacia, "British Journal of Political Science, https: // www. cambridge.org/core/journals/british-journal-of-political- ciência / artigo / manifesto-em-140-personagens-ou-menos-social- diplomacia do meio-como-ferramenta-de-rebelde / 82518E669A274B26E89 8A567FE22531F Jordan, MI e Mitchell, TM 2015. "Aprendizado de máquinas: Tendências, perspectivas e perspectivas, "Science Vol. 349, Edição 6245, pp. 255-260, DOI: 10.1126 / science.aaa8415 Karras, T., Aila, T., Laine, S. e Lehtinen, J. 2017. "Crescimento progressivo de GANs para melhoria da qualidade, estabilidade, e variação ", disponível on-line em https://t.co/CCHghgL60t Kashyap, A., Parmar, R., Agarwal, M., Gupta, H. 2017. "Um Avaliação das abordagens de detecção de falsificação de imagens digitais, " servidor de pré-impressão arXiv, https://arxiv.org/abs/1703.09968 Katz, G., Barrett, C., Dill, D., Julian, K. e Kochenderfer, M. 2017. "Reluplex: um Solver Eficiente de SMT para verificação profunda Redes Neurais ", a preprint de arXiv está disponível em https://arxiv.org/ abs / 1702.01135 Gu, T., Dolan-Gavitt, B. e Garg, S. 2017. "BadNets: Identificando Vulnerabilidades na Fornecimento de Aprendizado de Máquinas Cadeia ", a pré-impressão arXiv está disponível em https://arxiv.org/ abs / 1708.06733 Guilbeault, D. e Woolley, S. 2016. "Como os bots do Twitter são Dando forma à eleição, "O Atlântico, 1 de novembro de 2016, https://www.theatlantic.com/technology/archive/2016/11/ eleição-bots / 506072 / Grace, K., Salvatier, J., Dafoe, A., Zhang, B. e Evans, O. 2017. "Quando AI irá superar o desempenho humano? Evidência de especialistas da AI, "servidor de pré-impressão arXiv, https://arxiv.org/ abs / 1705.08807 Greenberg, A. 2016, "The Jeep Hackers estão de volta a Prove Hacking do carro pode ficar muito pior, "Wired, janeiro de 2016, disponível on-line em https://www.wired.com/2016/08/jeep- hackers-return-high-speed-steering-acceleration-hacks / Greenemeier, L. 2016. "GPS e o primeiro espaço do mundo" War ', "Scientific American, 8 de fevereiro de 2016, https: // www. scientificamerican.com/article/gps-and-the-world-s-first- guerra espacial / Griffith, E. 2017. "O Facebook pode controlar absolutamente a sua algoritmo. "Com fio. 26 de setembro de 2017. https: //www.wired. com / story / facebook-can-absolutely-control-its-algorithm / Grosse, K., Papernot, N., Manoharan, P., Backes, M. e McDaniel, P. 2016. "Perturbações Adversas Contra o Profundo Redes Neurais para Classificação de Malware, "previsão de arXiv disponível on-line em https://arxiv.org/abs/1606.04435 Harrison, John. 2010 "Métodos formais na Intel - uma visão geral". Segundo Simpósio de Métodos Formais da NASA, disponível em https://www.cl.cam.ac.uk/~jrh13/slides/nasa-14apr10/slides. pdf Harris, E., ed. 2016. Governança das tecnologias de dupla utilização: A teoria e a prática. Academia Americana de Artes e Ciências, Cambridge. Disponível on-line em http://www.amacad.org/ conteúdo / publicações / publicação.aspx? d = 22228 Hawkes, Rebecca. "O transtorno de estresse pós-traumático é maior em Drone Operators. "The Telegraph. 30 de maio de 2015. Hernández-Orallo, J. 2017. A Medida de Todas as Mentes: Avaliando Inteligência Natural e Artificial. Cambridge Jornal universitário. Veja mais detalhes em http://allminds.org/ Hester, T., Vecerik, M., Pietquin, O., Lanctot, M., Schaul, T., Piot, B., Sendonaris, A., Dulac-Arnold, G., Osband, I., Agapiou, J. e Leibo, JZ, 2017. "Deep Q-learning from Demonstrações. "ArXiv preprint server. https://arxiv.org/ abs / 1704.03732 Hicks, K., Hunter, AP, Samp, LS e Coll, G. 2017. "Avaliando a Terceira Estratégia de Deslocamento", o Centro de Estratégico e Estudos Internacionais, https://www.csis.org/analysis/ estratégia de avaliação-terceira compensação Hilary, Gilles. 2016. "A profissionalização do crime cibernético" Blog INSEAD Business School, https: //knowledge.insead. edu / blog / insead-blog / the-professionalisation-of-cyber- criminosos-4626
Page 71
p .7 1 O Uso Malicioso da Inteligência Artificial Referências Laurie, B. e Clayton, R., 2004. "Prova de trabalho prova não para trabalhar "; versão 0.2. Em Workshop sobre Economia e informações, segurança, http://www.cl.cam.ac.uk/~rnc1/ proofwork2.pdf Libicki, R. 2016. Cyberspace in Peace and War. Annapolis: Imprensa do Instituto Naval. Lin, J. e Singer, P. 2017. "Venha ver o novo da China hexacópteros e drones auto-detonantes, "Popular Science, http://www.popsci.com/china-new-drones-army-hexacopters Lindell, Y. e Pinkas, B. 2009. "Secure Multiparty Computação para Privacidade - Preservando a Mineração de Dados, "A Jornal de Privacidade e Confidencialidade, Vol. 1, No. 1, pp. 59-98, http://repository.cmu.edu/cgi/viewcontent. cgi? article = 1004 & context = jpc Liu, D. e Camp, LJ, 2006. "Prova de trabalho pode funcionar". Em WEIS. http://www.econinfosec.org/archive/weis2006/ docs / 50.pdf Liu, M. e Tuzel, O. 2016. "Adversário generativo acoplado Redes, "Processos de processamento de informações neurais Sistemas (NIPS) 2016, pré-impressão disponível on-line em https: // arxiv. org / abs / 1606.07536 Lucas, L. 2017. "O maior fabricante mundial de drones DJI se move para aplicações comerciais, "Financial Times, 10 de agosto de 2017, available online at https://www.ft.com/content/0d87a148- 7d7f-11e7-ab01-a13271d1ee9c Manjoo, Farhad. 2017. “Can Facebook fix its own worst bug?” New York Times Magazine. April 25, 2017. https://www.nytimes. com/2017/04/25/magazine/can-facebook-fix-its-own-worst- bug.html Marwick, A. and Lewis, R. Media Manipulation and Disinformation Online. https://datasociety.net/pubs/oh/ DataAndSociety_MediaManipulationAndDisinformationOnline. pdf McAfee and Center for Strategic and International Studies. 2013. “The Economic Impact of Cybercrime and Cyber Espionage,” https://www.mcafee.com/uk/resources/reports/ rp-economic-impact-cybercrime.pdf McAfee and Center for Strategic and International Studies. 2016. “Hacking the Skills Shortage,” https://www.mcafee. com/uk/resources/reports/rp-hacking-skills-shortage.pdf Metz, C. 2015. “Google Says Its AI Catches 99.9 Percent of Gmail Spam,” Wired, July 9, 2015. Miller, M., 2006. Composição robusta: Rumo a um Unificado Abordagem ao Controle de Acesso e ao Controle de Concorrência. Phd Dissertação. http://www.erights.org/talks/thesis/markm- thesis.pdf Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, AA, Veness, J., Bellemare, MG, Graves, A., Riedmiller, M., Fidjeland, AK, Ostrovski, G. e Petersen, S., 2015. "Controle de nível humano através do aprendizado de reforço profundo, "Nature, 518 (7540), pp.529-533. Kesarwani, M., Mukhoty, B., Arya, V. e Mehta, S. 2017. "Aviso de extração de modelo no paradigma MLaaS", a pré-impressão arXiv servidor, https://arxiv.org/abs/1711.07221 Kharkar, A., Simecek, H., Xu, W., Evans, D. e Anderson, HS 2017. "Abordagens para Evadir o Malware do Windows PE Classificadores. "USENIX Security, 2017. King, G., Pan, J. e Roberts, M. 2017. "Como os chineses Governo fabrica postagens de mídia social para estratégia Distração, argumento não engajado, "político americano Science Review, Vol. 111, edição 3, agosto de 2017, pp. 484-501, https://www.cambridge.org/core/journals/american-political- science-review / article / how-the-chinese-government- fabrica-social-media-posts-for-strategic-distraction-not- argumento engajado / 4662DB26E2685BAF1485F14369BD137C Kirkpatrick, K. 2016. "Batimento algorítmico de luta", Comunicações do ACM, Vol. 59, nº 10, pp. 16-17, https://cacm.acm.org/magazines/2016/10/207759-battling- algoritmo-sesgo / resumo Knight, W. 2017. "AI Fight Club poderia ajudar a nos salvar de um Futuro de Cyberattaques Super-Smart ", a tecnologia MIT Revisão, disponível on-line em https: //www.technologyreview. com / s / 608288 / ai-fight-club-could-help-save-us-from-a- futuro-de-super-smart-cyberattacks / A partir de 27 de setembro 2017, as informações da competição associadas podem ser encontradas em https://www.kaggle.com/google-brain/competitions Koh, PW, and Liang, P. 2017. “Understanding Black-Box Predictions via Influence Functions,” Proceedings of ICML 2017, available online at https://arxiv.org/abs/1703.04730 Kolodny, L. 2017. “Marble and Yelp Eat24 start robot food delivery in San Francisco,” TechCrunch, https://techcrunch. com/2017/04/12/marble-and-yelp-eat24-start-robot-food- delivery-in-san-francisco/ Korzak, E. 2017. “UN GGE on Cybersecurity: The End of an Era?,” The Diplomat. https://thediplomat.com/2017/07/ un-gge-on-cybersecurity-have-china-and-russia-just-made- cyberspace-less-safe/ Kosinski, M., Stillwell, D., and Graepel, T. 2013. “Private traits and attributes are predictable from digital records of human behavior,” Proceedings of the National Academy of Sciences of the United States of America, Vol. 110, No. 15, http://www. pnas.org/content/110/15/5802.full Kramer, A., Guillory, J. e Hancock, J. 2014. "Experimental evidência de contágio emocional em grande escala através de redes sociais. "PNAS. Vol. 111, nº 24. 8788-8790. 17 de junho 2014. http://www.pnas.org/content/111/24/8788.full.pdf Krimsky, S., 1982. Alquimia genética: a história social da polêmica de DNA recombinante. MIT Press, Cambridge, MA. Lapowsky, I. 2017. "Oito momentos reveladores do segundo dia das audiências da Rússia. "Wired. 1 de novembro de 2017. https: // www. wired.com/story/six-revealing-moments-from-the-second- dia-da-Rússia-audiências /
Página 72
p .7 2 O Uso Malicioso da Inteligência Artificial Referências Papernot, N., McDaniel, P., Goodfellow, I., Jha, S., Celik, ZB e Swami, A., 2016b. "Práticos ataques na caixa negra contra sistemas de aprendizagem profunda usando exemplos contraditórios ", arXiv servidor de pré-impressão, https://arxiv.org/abs/1602.02697 Pellerin, C. 2016. “Deputy Secretary: Third Offset Bolsters America's Military Deterrence,” DoD News, https://www. defense.gov/News/Article/Article/991434/deputy-secretary- third-offset-strategy-bolsters-americas-military-deterrence/ Pérez-Rosas, V., Kleinberg, B., Lefevre, A., and Mihalcea, R. 2017. “Automatic Detection of Fake News,” arXiv preprint server: https://arxiv.org/abs/1708.07104 Quercia, D., Kosinski, M., Stillwell, D., and Crowcroft, J. 2011. “Our Twitter Profiles, Our Selves: Predicting Personality with Twitter,” 2011 IEEE Third International Conference on Privacy, Security, Risk and Trust and 2011 IEEE Third International Conference on Social Computing, http://ieeexplore.ieee.org/ document/6113111/ Radford, A., Metz, L. and Chintala, S., 2015. “Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, "servidor de pré-impressão arXiv, https://arxiv.org/ abs / 1511.06434 Rahman, M., Azimpourkivi, M., Topkara, U., Carbunar, B. 2017. "Video Liveness para jornalismo cidadão: Ataques e Defesas", IEEE Transactions on Mobile Computing, Vol: PP, Edição 99, http://ieeexplore.ieee.org/abstract/document/7887755/ Reuters. 2017. "O Facebook está mudando seu feed de notícias Algoritmo novamente. "Fortune. 30 de junho de 2017. http: // fortune. com / 2017/06/30 / facebook-news-feed-algorithm- mudança-2017 / Rød, E. e Weidmann, N. 2015. "Empoderando ativistas ou autocratas? A Internet em regimes autoritários, "Journal of Peace Research, Vol. 52, edição 3, http: //journals.sagepub. com / doi / abs / 10.1177 / 0022343314555782 Roff, H. 2016. "Autonomia, robótica e sistemas coletivos", página do projeto, disponível em https://globalsecurity.asu.edu/ robótica-autonomia Roff, H. 2016 "Controle Humano Significativo, Artificial Inteligência e armas autônomas ", documento informativo para os delegados na Convenção sobre Certos Convencionais Armas (CCW) Reunião de Peritos em Autônomo Letal Weapons Systems (LEWS), www.article36.org/wp-content/ uploads / 2016/04 / MHC-AI-e-AWS-FINAL.pdf Roff, H. 2016. "Armas e Incentivos Autônomos para Oppression "The Duck of Minerva Disponível em: http: // duckofminerva.com/2016/03/autonomous-weapons-and- incentivos para a opressão.html Rouhani, B., Riazi, M. e Koushanfar, F. 2017. "DeepSecure: Aprendizagem Profunda Provável e Segura Escalável, "pré-impressão arXiv servidor, https://arxiv.org/abs/1705.08963 Moore, T. e Anderson, R. 2012. "Segurança na Internet". Peitz, M. e Waldfogel, J. (eds.) O Oxford Handbook of a economia digital, Oxford University Press, Nova York, NY, 572-599 Morozov, E. 2012. The Net Delusion: The Dark Side of Internet Freedom. New York: PublicAffairs. Mouawad, J. 2015. “Risk to Aircraft from Drones Being Debated,” New York Times, December 10, 2015, https://www. nytimes.com/2015/12/11/business/risk-to-aircraft-from- drones-being-debated.html Naur, P. and Randell, B. eds., 1969. Software Engineering: Report on a conference sponsored by the NATO SCIENCE COMMITTEE, Garmisch, Germany, 7th to 11th October 1968. Nato. Fundação Nacional de Ciências. 2017. “Cyber-Physical Systems,” grant solicitation, https://www.nsf.gov/funding/pgm_summ. jsp?pims_id=503286&org=CISE&sel_org=CISE&from=fund Naveh, A. and Tromer, E. 2016. “PhotoProof: Cryptographic Image Authentication for Any Set of Permissible Transformations,” 2016 IEEE Symposium on Security and Privacy (SP). http://ieeexplore.ieee.org/document/7546506/ NDSS. 2018. "Convocação para trabalhos do NDSS 2018", The Network and Simpósio de segurança do sistema distribuído 2018. http: // www. ndss-symposium.org/ndss2018/ndss-2018-callpaperspapers Neema, S. (2017) "Autonomia Assurada". https://www.darpa.mil/ programa / certeza-autonomia Ng, J. 2015. "Política, rumores e ambiguidade: rastreamento Censura na Plataforma de Contas Públicas da WeChat, "disponível em https://citizenlab.org/2015/07/tracking-censorship-on- wechat-public-accounts-platform / # append-documentado- casos Office of Cyber ​​and Infrastructure Analysis, 2017. "Narrativa Análise: Inteligência Artificial, "Departamento de Homeland dos EUA Direção de Segurança, Proteção Nacional e Programas, disponível em https://info.publicintelligence.net/OCIA- ArtificialIntelligence.pdf OpenAI, 2017. "Dota 2", blog OpenAI, https: //blog.openai. com / dota-2 / OpenAI, 2017. "Mais informações sobre Dota 2," blog OpenAI, https: // blog. openai.com/more-on-dota-2/ OpenMined, 2017. Site OpenMined, http://openmined.org Papernot, N., McDaniel, P., Sinha, A. e Wellman, M. 2016. "Para a Ciência da Segurança e Privacidade na Máquina Aprendendo ", disponível on-line em https://arxiv.org/abs/1611.03814 Papernot, N., Goodfellow, I., Sheatsley, R., Feinman, R. e McDaniel, P. 2016. "Cleverhans v.1.0.0: uma máquina adversária biblioteca de aprendizado, "arXiv preprint server, disponível em https: // arxiv. org / abs / 1610.00768; Repositório GitHub associado disponível em https://github.com/tensorflow/cleverhans
Página 73
p .7 3 O Uso Malicioso da Inteligência Artificial Referências Shehadeh, KK, 1999. O Arranjo de Wassenaar e Expectativas de criptografia: um regime de controle de exportação ineficaz que compromete os interesses econômicos dos Estados Unidos. Sou. VOCÊ. Intl L. Rev., 15, p.271. Silver D., Huang, A., Maddison, C., Guez, A., Sifre, L., van den Driessche, G., Schrittweiser, J., Antonoglu, I., Paneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, N., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T. e Hassabis, D. 2016. "Dominando o jogo de Go com redes neves profundas e árvores pesquisa ", Nature 529 pp 484-9 http://web.iitd.ac.in/~sumeet/ Silver16.pdf Silver, D., Schrittweiser, J., Simonyan, K., Antonoglu, I., Huang, A., Guez, A., Hubert, T., Baker, L., Lai, M., Bolton, A., Chen, Y., Lillicrap, T., Hui, F., Sifre, L., van den Driessche, G., Graepel, T. e Hassabis, D. 2017. "Dominando o Jogo de Go Without Human Knowledge, "Nature 550: 354-359, 19 de outubro de 2017, https://deepmind.com/documents/119/ agz_unformatted_nature.pdf Shokri, R., Stronati, M. e Shmatikov, V. 2016. "Aferição de membros contra ataques à máquina de aprendizagem models,” CoRR, vol. abs/1610.05820, 2016. Available at http:// arxiv.org/abs/1610.05820 Shu, K., Wang, S., Sliva, A., Tang, J., and Liu, H. 2017. “Fake News Detection on Social Media: A Data Mining Perspective,” arXiv preprint, https://arxiv.org/abs/1708.01967 Singer, P. 2009. Wired for War: The Robotics Revolution and Conflict in the 21st Century, London: Penguin Press. Šrndic, N. and Laskov, P. 2014. “Practical Evasion of a Learning-Based Classifier: A Case Study.” In Proceedings of the 2014 IEEE Symposium on Security and Privacy, pp. 197-211. IEEE Computer Society. Stevens, R., Suciu, O., Ruef, A., Hong, S., Hicks, M., Dumitras, T. 2016. “Summoning Demons: The Pursuit of Exploitable Bugs in Machine Learning,” Proceedings of Neural Information Processing Systems 2016, Reliable Machine Learning in the Wild workshop, https://arxiv.org/abs/1701.04739 Stocky, T. Facebook post. May 10, 2016. https://www.facebook.com/tstocky/ posts/10100853082337958?pnref=story Stoica, I., Song, D., Popa, R., Patterson, D., Mahoney, M., Katz, R., Joseph, A., Jordan, M., Hellerstein, J., Gonzalez, J., Goldberg, K., Ghodsi, A., Culler, D., and Abbeel, P. 2017. “A Berkeley View of Systems Challenges for AI,” Technical Report No. UCB/EECS-2017-159, http://www2.eecs.berkeley.edu/ Pubs/TechRpts/2017/EECS-2017-159.html Solomon, B. 2017. “Witnessing an ISIS Drone Attack,” New York Times, https://www.nytimes.com/video/world/ middleeast/100000005040770/isis-drone-attack-mosul.html Sunstein, C. 2017. #Republic: Divided Democracy in the Age of Social Media. Princeton: Princeton University Press. Standage, T. 2017. “Taking flight,” The Economist, http://www. economist.com/technology-quarterly/2017-06-08/civilian- drones Rubinstein, B., Nelson, B., Huang, L., Joseph, A., Lau, S., Rao, S., Taft, N. e Tygar, JD 2009. "ANTIDOTE: Compreensão e Defendendo contra Envenenamento de Detectores de Anomalia, " Actas da 9ª Conferência ACM SIGCOMM sobre Medição da Internet, pp. 1-14, https: //people.eecs.berkeley. edu / ~ tygar / papers / SML / IMC.2009.pdf Scharre, P. 2015. "Counter-Swarm: um guia para derrotar Swarms robóticos, "War on the Rocks blog, https: // warontherocks.com/2015/03/counter-swarm-a-guide-to- derrotar-robotic-swarms / Scharre, P. 2016. "Armas Autônomas e Operacionais Risco, "Centro para uma Nova Segurança Americana", http: // s3.amazonaws.com/files.cnas.org/documents/CNAS_ Armas autônomas-operacional-risk.pdf Scharre, P. 2018. Army of None: armas autônomas e O Futuro da Guerra. Nova York, NY: WW Norton. (próximo) Schmitt, E. 2017. "Testes do Pentágono Lasers e redes para combater a Vexing Foe: ISIS Drones,” New York Times, September 23, 2017, available at https://www.nytimes.com/2017/09/23/ world/middleeast/isis-drones-pentagon-experiments.html Schofield, H. 2013. “How Napoleon's semaphore telegraph changed the world,” BBC, June 17, 2013, http://www.bbc. co.uk/news/magazine-22909590 Schneier, B. 2014. “The Internet of Things is Wildly Insecure--and Often Unpatchable,” Wired, https://www.wired. com/2014/01/theres-no-good-way-to-patch-the-internet-of- things-and-thats-a-huge-problem/ Schneier, B. 2017. “Security and the Internet of Things,” Schneier on Security, https://www.schneier.com/blog/ archives/2017/02/security_and_th.html Segler, M. Preuß, M., and Waller, M. 2017. “Towards 'AlphaChem': Chemical Synthesis Planning with Tree Search and Deep Neural Network Policies,” arXiv preprint server, https://arxiv.org/abs/1702.00020 Selsam, D., Liang, P., Dill, D. 2017. “Developing Bug-Free Machine Learning Systems with Formal Mathematics,” arXiv preprint server, https://arxiv.org/abs/1706.08605 Serban, I., Sankar, C., Germain, M., Zhang, S., Lin, Z., Subramanian, S., Kim, T., Pieper, M., Chandar, S., Ke, N., Rajeshwar, S., de Brebisson, A., Sotelo, J., Suhubdy, D., Michalski, V., Nguyen, A., Pineau, J., and Bengio, Y. 2017. “A Deep Reinforcement Learning Chatbot,” https://arxiv.org/ abs/1709.02349v2 Seymour, J. and Tully, P. 2016. “Weaponizing data science for social engineering: Automated E2E spear phishing on Twitter,” Black Hat conference, https://www.blackhat.com/docs/us-16/ materials/us-16-Seymour-Tully-Weaponizing-Data-Science- For-Social-Engineering-Automated-E2E-Spear-Phishing-On- Twitter-wp.pdf Shao, C., Ciampaglia, L., Varol, O., Flammini, A., Menczer, F. 2017. “The spread of fake news by social bots,” arXiv preprint server, https://arxiv.org/abs/1707.07592
Página 74
p .74 The Malicious Use of Artificial Intelligence Referências Waltzmann, R. 2017. “The Weaponization of Information: The Need for Cognitive Security,” testimony presented before the Senate Armed Services Committee, Subcommittee on Cybersecurity, April 27, 2017, https://www.rand.org/pubs/ testimonies/CT473.html Watts, C. 2017. “Disinformation: A Primer in Russian Active Measures and Influence Campaigns,” statement prepared for the US Senate Select Committee on Intelligence, March 30, 2017, https://www.intelligence.senate.gov/sites/default/files/ documents/os-cwatts-033017.pdf Weedon, J., Nuland, W., and Stamos, A. 2017. “Information Operations and Facebook,” Facebook, https://fbnewsroomus. files.wordpress.com/2017/04/facebook-and-information- operations-v1.pdf Wiggers, K. 2017. “Meet the 400-pound robots that will soon patrol parking lots, offices, and malls,” Digital Trends, https://www.digitaltrends.com/cool-tech/knightscope-robots- interview/ Woolley, S. and Howard, P. 2017. “Computational Propaganda Worldwide: Executive Summary.” Working Paper 2017.11. Oxford: Project on Computational Propaganda, comprop.oii. ox.ac.uk Wu, T. 2017. “Please Prove You're Not a Robot,” New York Times, July 15, 2017. Wright, S. 1994. Molecular politics: developing American and British regulatory policy for genetic engineering, 1972-1982. University of Chicago Press, Chicago. Yampolskiy, R. 2017. “AI Is the Future of Cybersecurity, for Better and for Worse,” Harvard Business Review, https://hbr. org/2017/05/ai-is-the-future-of-cybersecurity-for-better-and- for-worse, May 8, 2017. Yao, AC 1982. “Protocols for secure computations,” 23º Simpósio Anual sobre Fundações do Computador Science (sfcs 1982), Chicago, IL, EUA, pp. 160- 164. http://ieeexplore.ieee.org/stamp/stamp. jsp? tp = & arnumber = 4568388 & isnumber = 4568364 Yin, T. 2015. "Game of Drones: Defendendo contra Drone Terrorismo". Texas A & M University Law Review, vol. 2, 635-673, https://ssrn.com/abstract=2944426 Zeitzoff, T. 2017. "Como as mídias sociais estão mudando o conflito" Journal of Conflict Resolution, 61.9 (2017): 1970-1991. Zittrain, J. 2014. "O Facebook poderia decidir uma eleição sem Qualquer um que tenha descoberto, "New Republic, 1 de junho de 2014, https://newrepublic.com/article/117878/information-fiduciary- solução-facebook-digital-gerrymandering Zubiaga, A., Aker, A., Bontcheva, K., Liakata, M. e Procter, R. 2017. "Detecção e Resolução de Rumores na Social Media: A Survey, "servidor de pré-impressão arXiv, https://arxiv.org/ abs / 1704.00656 Sunderland, M., Ahn, J., Carson, C., and Kastenberg, W. 2013. “Making Ethics Explicit: Relocating Ethics to the Core of Engineering Education,” 2013 ASEE Annual Conference. Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I. and Fergus, R., 2013. “Intriguing properties of neural networks.” arXiv preprint server, https://arxiv.org/ abs/1312.6199 Tambe, M. 2011. Security and Game Theory: Algorithms, Deployed Systems, and Lessons Learned. Cambridge: Cambridge University Press. The Telegraph, 2016. “Drone hits British Airways plane as it prepares to land at Heathrow,” The Telegraph, April 18, 2016, http://www.telegraph.co.uk/news/2016/04/17/drone-hits- british-airways-plane/ Thies, J., et al. 2016. “Face2Face: Real-time Face Capture and Reenactment of RGB Videos,” Proceedings of Computer Vision and Pattern Recognition 2016, www.graphics.stanford. edu/~niessner/papers/2016/1facetoface/thies2016face.pdf Timm, T. 2013. “Prominent Security Researchers, Academics, and Lawyers Demand Congress Reform the CFAA and Support Aaron's Law,” Electronic Frontier Foundation https://www.eff. org/deeplinks/2013/08/letter Tucker, J. (ed.). 2012. Innovation, Dual Use, and Security: Managing the Risks of Emerging Biological and Chemical Technologies. Cambridge: MIT Press. Turing, A. 1949. “Checking a large routine,” report of a conference on High Speed Automatic Calculating Machines, pp.67-9, corrected version available online at http://www. turingarchive.org/browse.php/b/8 US Defense Science Board, DSB Task Force on Cyber Supply Chain, 2017. “Report of the Defense Science Board Task Force on Cyber Supply Chain,” http://www.acq.osd.mil/ dsb/reports/2010s/DSBCyberSupplyChain_ExecSummary_ Distribution_A.PDF Vanian, J. 2017. "As inscrições dos drones ainda estão subindo" Fortune, 6 de janeiro de 2017, http://fortune.com/2017/01/06/ drones-registrações-soaring-faa / Verma, I. "Expressão Editorial de Preocupação e Correção". PNAS. Vol. 111, nº 24. 10779. 22 de julho de 2014. http: //www.pnas. org / content / 111/24 / 8788.full.pdf Vezhnevets, AS, Osindero, S., Schaul, T., Heess, N., Jaderberg, M., Silver, D. e Kavukcuoglu, K., 2017. "Feudal redes para aprendizagem de reforço hierárquico ", arXiv servidor de pré-impressão, https://arxiv.org/abs/1703.01161 Vincent, J. 2016. "O governo do Reino Unido está batendo drones em aviões para ver o que acontece ", The Verge, 18 de outubro de 2016, https://www.theverge.com/2016/10/18/13314916/drone- crash-airplane-test-uk-dangers Wahby, R., Howald, M., Garg, S., shelat, a., E Walfish, M. 2016. "ASICs verificáveis", Segurança e Privacidade (SP) 2016, http://ieeexplore.ieee.org/abstract/document/7546534/
Page 75
p .7 5 Resumo Nos dias 19 e 20 de fevereiro de 2017, Miles Brundage of the Future of Instituto de Humanidade (FHI) e Shahar Avin do Centro para o Estudo de Risco Existencial (CSER) co-presidiu um workshop intitulado "Riscos do ator ruim na inteligência artificial" em Oxford, United Reino. A oficina foi co-organizada pela FHI, CSER e a Centro Leverhulme para o Futuro da Inteligência (CFI). Participantes veio de uma grande variedade de instituições e disciplinares backgrounds, e analisou uma variedade de riscos relacionados ao uso indevido de AI. O workshop foi realizado sob as regras da Chatham House. Estrutura do evento Em 19 de fevereiro, o evento começou com apresentações em segundo plano sobre segurança cibernética, AI e robótica de especialistas relevantes nestes Apêndice A: Oficina Detalhes
Página 76
p .7 6 Apêndice A: Detalhes da oficina Campos. Um foco particular das apresentações foi no destaque underexplored risks. The afternoon featured two sets of breakout sessions: participants first discussed security domains and scenarios, and then discussed possible defenses. On February 20, a subset of the participants from the first day of the workshop met to discuss next steps and the prioritization of possible prevention and mitigation measures. The group present agreed upon the need for a research agenda to be produced, and voted on which measures seemed useful and tractable, in order to focus the subsequent report writing process. Report Writing Process This document is based in large part on notes from the discussions at the workshop, as well as prior and subsequent research by the authors on the topic. Brundage and Avin et al. wrote a draft of the report and circulated it among all of the attendees at the workshop as well as additional domain experts. We are grateful to all of the workshop participants for their invaluable contributions, even if we were not able to capture all of their perspectives. List of Workshop Participants Dario Amodei, OpenAI Ross Anderson, University of Cambridge Stuart Armstrong, Future of Humanity Institute Amanda Askell, Centre for Effective Altruism Shahar Avin, Centre for the Study of Existential Risk Miles Brundage, Future of Humanity Institute Joanna Bryson, University of Bath/Princeton University Center for Information Technology Policy Jack Clark, OpenAI Guy Collyer, Organization for Global Biorisk Reduction Owen Cotton-Barratt, Future of Humanity Institute Rebecca Crootof, Yale Law School Allan Dafoe, Yale University Eric Drexler, Future of Humanity Institute Peter Eckersley, Electronic Frontier Foundation Ben Garfinkel, Future of Humanity Institute Carrick Flynn, Future of Humanity Institute Ulrike Franke, University of Oxford Dylan Hadfield-Menell, UC Berkeley and Center for Human-compatible AI Richard Harknett, University of Oxford/University of Cincinnati Katja Hofmann, Microsoft Research Tim Hwang, Google
Página 77
p .7 7 Appendix A: Workshop Details Eva Ignatuschtschenko, University of Oxford Victoria Krakovna, DeepMind/Future of Life Institute Ben Laurie, DeepMind Jan Leike, DeepMind/Future of Humanity Institute Seán Ó hÉigeartaigh, Centre for the Study of Existential Risk Toby Ord, Future of Humanity Institute Michael Page, Centre for Effective Altruism Heather Roff, University of Oxford/Arizona State University /New America Foundation Paul Scharre, Center for a New American Security Eden Shochat, Aleph VC Jaan Tallinn, Centre for the Study of Existential Risk Helen Toner, Open Philanthropy Project Andrew Trask, University of Oxford Roman Yampolskiy, University of Louisville Yueh-Hsuan Weng, Tohoku University
Page 78
p .7 8 This appendix gives additional commentary on topics related to the Recommendations and Priority Research Areas described in the Interventions section of the main report, along with some initial questions and directions for investigation on each topic. In each case, we flag which one or more of the three high-level threat factors (introduced in General Implications for the Threat Landscape) the research area aims to address. We include this content as a jumping-off point for researchers interested in making progress in these areas; the below is not intended to be exhaustive or conclusive. Appendix B: Questões for Further Pesquisa
Page 79
p .7 9 Appendix B: Questions for Further Research Dual Use Analogies and Case Studies One possible area of theory, practice, and history to be explored for insights is the set of technologies with prominent concerns around dual use - technologies that can be used for both peaceful and military aims (or, more generally, to both beneficial and harmful ends). Examples include chemicals potentially useful for chemical weapons or explosives, biological engineering potentially useful for biological weapons, cryptography, and nuclear technologies. Allen and Chan explored several of these case studies and their potential insights for AI dual-use policymaking. In these cases, there is a rich tapestry of soft norms (eg pre-publication review) and hard laws (eg export controls) developed over many years to ensure positive outcomes . When consulting the history of governing dual use technologies, we should learn both constructive solutions from past successes, and precautionary lessons about poor regulation that should be avoided. A relevant example of the latter is the difficulties of regulating cryptographic algorithms and network security tools through export control measures such as the Wassenaar Arrangement . The similarities between AI and cryptography, in terms of running on general-purpose hardware, in terms of being immaterial objects (algorithms), in terms of having a very wide range of legitimate applications, and in their ability to protect as well as harm, suggest that the default control measures for AI might be similar those that have been historically applied to cryptography. This may well be a path we should avoid, or at least take very cautiously. The apparent dual-use nature of AI technologies raises the seguintes perguntas: • What is the most appropriate level of analysis and governance of dual-use characteristics of AI technologies (eg the field as a whole, individual algorithms, hardware, software, data)? • What norms from other dual-use domains are applicable to AI? • What unique challenges, if any, does AI pose as a dual-use technology? • Are there exemplary cases in which dual-use concerns were effectively addressed? • What lessons can be learned from challenges and failures in applying control measures to dual-use technologies? 1 2 3 Allen and Chan, 2017 Tucker, ed. 2012; Harris, ed. 2016 Shehadeh, 1999
Página 80
p.8 0 Appendix B: Questions for Further Research Red Teaming A common tool in cybersecurity and military practice is red teaming - a “red team” composed of security experts and/or members of the organization deliberately plans and carries out attacks against the systems and practices of the organization (with some limitations to prevent lasting damage), with an optional “blue team” responding to these attacks. These exercises explore what an actual attack might look like in order to ultimately better understand and improve the security of the organization's systems and practices. Two subsets of the AI security domain seem particularly amenable to such exercises: AI-enabled cyber offense and defense, and adversarial machine learning. While we highlight these subsets because they seem especially relevant to security, red teaming of AI technologies more broadly seems generally beneficial. In addition to this report and the associated workshop, another recent effort aimed at this goal was also conducted by the Origins Project earlier this year . In the case of cyber attacks, many of the concerns discussed earlier in this document, and elsewhere in the literature, are hypothetical. Conducting deliberate red team exercises might be useful in the AI/cybersecurity domain, analogous to the DARPA Cyber Grand Challenge but across a wider range of attacks (eg including social engineering, and vulnerability exploitation beyond memory attacks), in order to better understand the skill levels required to carry out certain attacks and defenses, and how well they work in practice. Likewise, in the case of adversarial machine learning, while there are many theoretical papers showing the vulnerabilities of machine learning systems to attack, the systematic and ongoing stress- testing of real-world AI systems has only just begun . Efforts like the CleverHans library of benchmarks and models are a step in this direction , creating the foundation for a distributed open source red teaming effort, as is the NIPS 2017 Adversarial Attacks and Defenses competition , which is more analogous to the DARPA Cyber Grand Challenge. There are several open questions regarding the use of “red team” strategies for mitigating malicious uses of AI: • What lessons can be learned from the history to date of “red team” exercises? • Is it possible to detect most serious vulnerabilities through “red team” exercises, or is the surface area for attack too broad? 1 3 4 Bass, 2017 Papernot et al., 2016b Knight, 2017 though see eg Anderson et al., 2017 2
Page 81
p.81 Appendix B: Questions for Further Research • Who should be responsible for conducting such exercises, and how could they be incentivised to do so? • What sorts of skills are required to undermine AI systems, and what is the distribution of those skills? To what extent do these skills overlap with the skills required to develop and deploy AI systems, and how should these findings inform the threat model used in red teaming exercises (and other AI security analysis)? • Are there mechanisms to promote the uptake of lessons from “red team” exercises? • Are there mechanisms to share lessons from “red team” exercises with other organizations that may be susceptible to similar attacks? How to avoid disclosure of attack methods to bad actors? • What are the challenges and opportunities of extending “red teaming” (or related practices like tabletop exercises) to AI issues in the physical and political domains? What can be learned for the physical domain from physical penetration testing exercises? Formal Verification Formal verification of software systems has been studied for decades . In recent years, it has been shown that even some very complex systems are amenable to formal proofs that they will operate as intended, including the CompCert compiler and the seL4 microkernel . An open question is whether AI systems, or elements thereof, are amenable to formal verification. No workshop there was substantial skepticism about the prospects for formal AI verification, given the complexity of some modern AI systems, but further analysis about the challenges is required, and research on the topic continues apace . In particular, we might be interested in the following properties being verified for a given system: • that its internal processes in fact attain the goals specified for the system (though noting the existence of the specification problem, ie that desired properties of AI systems are often difficult to specify in advance, and therefore difficult to verify), • that its goals will be remain constant in the face of adversaries attempts to change them, 1 3 2 Turing, 1949; Baier and Katoen, 2008 eg Selsam et al., 2017; Neema, 2017 Fisher, 2014
Page 82
p.8 2 Appendix B: Questions for Further Research • that its ability to be deceived with adversarial inputs is bounded to some extent. Verifying Hardware Given the increasing complexity of AI systems, and in some domains limited theoretical foundations for their operation, it may be prohibitively expensive, or even practically or theoretically impossible, to provide an end-to-end verification framework for them. However, it may be feasible to use formal methods to improve the security of components of these systems. Hardware seems particularly amenable to verification, as formal methods have been widely adopted in the hardware industry for decades . Verifying Security Additionally, in recent years formal verification has been applied to security protocols to provide robust guarantees of safety against certain types of attacks. The JavaScript prover CryptoVerif is an example of a developer-focused tool that allows programmers to apply formal methods to their code to check correctness in the processo de desenvolvimento. It should be noted that much of this work is still largely theoretical and adoption in the real world has so far been limited . Verifying AI Functionality The notion of being able to prove that a system behaves as intended is an attractive one for artificial intelligence. Contudo, formal methods are difficult to scale up to arbitrary complex systems due to the state space explosion problem. Não obstante, verification of some aspects of AI systems, such as image classifiers, is still feasible even verification of the behavior of the whole system is prohibitively complex. For example, work on verification of deep neural networks provided a method to check for the existence of adversarial examples in regions of the input space . Responsible “AI 0-Day” Disclosure As discussed above, despite the successes of contemporary machine learning algorithms, it has been shown time and again that ML algorithms also have vulnerabilities. These include ML-specific vulnerabilities, such as inducing misclassification via adversarial 1 4 2 Harrison, 2010; Wahby, R. 2016 Katz et al., 2017 Blanchet, 2017 embora existam alguns exemplos de Uso do mundo real - veja, por exemplo, Beurdouche et al., 2017 3
Página 83
p .83 Apêndice B: Perguntas para mais pesquisas exemplos ou por envenenamento dos dados de treinamento; ver Barreno et al. (2010) para uma pesquisa. Os algoritmos ML também permanecem abertos aos tradicionais vulnerabilidades, como o estouro de memória (Stevens et al., 2016). Atualmente, há grande interesse entre a segurança cibernética pesquisadores na compreensão da segurança dos sistemas ML, embora no momento parece haver mais perguntas do que respostas. Na comunidade de segurança cibernética, "0-dias" são softwares vulnerabilidades que não foram divulgadas publicamente (e, portanto, Os defensores têm zero dias para se preparar para um ataque que faz uso de eles). É prática comum divulgar essas vulnerabilidades para partes afetadas antes de publicar amplamente sobre eles, a fim de proporcionar uma oportunidade para um patch ser desenvolvido. Deveria haver uma norma na comunidade AI sobre como divulgar tais vulnerabilidades de forma responsável para as partes afetadas (como essas que desenvolveram os algoritmos, ou os estão usando para fins comerciais aplicativos)? Esta ampla questão dá origem a perguntas para pesquisas futuras: • À medida que as tecnologias AI se tornam cada vez mais integradas produtos e plataformas, a norma de segurança existente em torno da divulgação responsável se estendem às tecnologias AI e comunidades? • Se os sistemas AI (existentes e futuros) forem presumidos vulnerável até comprovado seguro, em uma extensão que divulgue novos as vulnerabilidades em particular são desnecessárias? • Em quais contextos críticos de segurança são sistemas AI atualmente sendo usado? • Quais resultados empíricos em AI seriam úteis para informar uma política de divulgação adequada (análoga à As tendências históricas das descobertas de 0 dias e as taxas de exploração são discutido em análises de segurança cibernética)? • Se tal norma fosse apropriada em termos gerais, quem deveria ser notificado no caso de uma vulnerabilidade ser encontrada, quanto aviso ser dado antes da publicação e quais mecanismos devem As instituições criam para assegurar que uma recomendação seja processada e potencialmente agiu? • O que equivale a "patches" para sistemas AI, e como devem comprometer-se (por exemplo, entre demandas de recursos, precisão e robustez ao ruído) e priorização entre a variedade de possíveis medidas de defesa sejam pesadas em um mundo de rápido mudando ataques e defesas? 1 2 Szegedy et al., 2013; Papernot et al., 2016; Evtimov et al., 2017; Carlini et al., 2016 Rubinstein et al., 2009; Šrndic e Laskov, 2014 3, por exemplo, Ablon e Bogart, 2017
Page 84
p .84 Apêndice B: Perguntas para mais pesquisas Beneficios de Explorações Específicas de AI Para complementar a norma de divulgação responsável de vulnerabilidades (discutidas acima), que depende de incentivos sociais e boa vontade, alguns fornecedores de software oferecem incentivos financeiros (recompensas em dinheiro) para quem detecta e divulga de forma responsável uma vulnerabilidade em seus produtos. Com o surgimento de novos AI- vulnerabilidades específicas, surgem algumas questões: • As recompensas de vulnerabilidade existentes provavelmente se estenderão para AI tecnologias? • Devemos esperar ou incentivar os fornecedores de AI a oferecer recompensas para explorações específicas de AI? • Existe espaço para oferecer recompensas por terceiros (por exemplo, governo, ONG ou fonte filantrópica) nos casos em que vendors are unwilling or unable to offer them, for example in the case of popular machine learning frameworks developed as open-source projects or in academia? Security Tools In the same way software development and deployment tools have evolved to include an increasing array of security-related capabilities (testing, fuzzing, anomaly detection, etc.), could we start envisioning tools to test and improve the security of AI components and systems integrated with AI components during development and deployment, such that they are less amenable to attack? These could include: • Automatic generation of adversarial data • Tools for analysing classification errors • Automatic detection of attempts at remote model extraction or remote vulnerability scanning • Automatic suggestions for improving model robustness (see eg Koh and Liang (2017) for related ideas) 1 see eg Kesarwani et al., 2017
Página 85
p .85 Appendix B: Questions for Further Research Secure Hardware Hardware innovation has accelerated the pace of innovation in machine learning, by allowing more complex models to be trained, enabling faster execution of existing models, and facilitating more rapid iteration of possible models. In some cases, this hardware is generic (commercial GPUs), but increasingly, AI (and specifically machine learning) systems are trained and run on hardware that is semi-specialized (eg graphics processing units (GPUs)) or fully specialized (eg Tensor Processing Units (TPUs)). este specialization could make it much more feasible to develop and distribute secure hardware for AI-specific applications than it would be to develop generic secure hardware and cause it to be widely used. At the workshop we explored the potential value of adding security features to AI-specific hardware. For example, it may be possible to create secure AI hardware that would prevent copying a trained AI model off a chip without the original copy first being deleted. Tal a feature could be desirable so that the total number of AI systems (in general or of a certain type or capability level) could be tightly controlled, if the capabilities of such AI systems would be harmful in the wrong hands, or if a large-scale diffusion of such AI systems could have harmful economic, social or political effects. Other desirable secure hardware features include hardware- level access restrictions and audits. One research trajectory to be considered is developing a reference model for secure AI- specific hardware, which could then be used to inform hardware engineering and, ultimately, be adopted by hardware providers. isto may also be the case that potential security threats from AI will drive research in secure hardware more generally, not just for the hardware running AI systems, as a response measure to changes in the cyber threat landscape. Note, however, the potential for manufacturers to undermine the security of the hardware they produce; hardware supply chain vulnerabilities are currently a concern in the cybersecurity context, where there is fear that actors with control over a supply chain may introduce hardware- based vulnerabilities in order to surveil more effectively or sabotage cyber-physical systems . Finally, note that for other security-relevant domains such as cryptography, tamper-proof hardware has been developed , with features such as tamper evidence (making it clear that tampering has occurred when it has occurred) and obscurity of layout design (such that it is prohibitively difficult to physically examine the workings of the chip in order to defeat it). Tamper-proof hardware could potentially be valuable so that outsiders are unable to 1 2 US Defense Science Board, 2017 Anderson, 2008
Página 86
p.8 6 Appendix B: Questions for Further Research discern the inner workings of an AI system from external emission; so that stolen hardware cannot be used to duplicate an AI; e entao that organizations can credibly commit to operating a system in a safe and beneficial way by hard-coding certain software properties in a chip that, if tampered with, would break down. Contudo, secure processors tend to cost significantly more than insecure processors and, to our knowledge, have not specifically been developed for AI purposes. There are many open questions in this domain: • What, if any, are the specific security requirements of AI systems, in general and in different domains of application? • Would changes in the risk landscape (as surveyed above) provide sufficient incentive for a major overhaul of hardware security? • What set of measures (eg reference implementation) would encourage adoption of secure hardware? • What measures, if any, are available to ensure compliance with hardware safety requirements given the international distribution of vendors and competing incentives such as cost, potential for surveillance and legal implications of auditability? • How applicable are existing secure processor designs to the protection of AI systems from tampering? • Could/should AI-specific secure processors be developed? • How could secure enclaves be implemented in an AI context ? • Can secure processors be made affordable, or could policy mechanisms be devised to incentivize their use even in the face of a cost premium? Pre-Publication Risk Assessment in Technical Areas of Special Concern By pre-publication risk assessment we mean analyzing the particular risks (or lack thereof) of a particular capability if it became widely available, and deciding on that basis whether, and to what extent, to publish it. Such norms are already widespread in the computer security community, where eg proofs of concept rather than fully working exploits are often published. Indeed, such considerations are sufficiently widespread in computer security 1 2 Anderson, 2008 as suggested by Stoica et al., 2017
Page 87
p .87 Appendix B: Questions for Further Research that they are highlighted as criteria for submission to prestigious conferences . Openness is not a binary variable: today, many groups will publish the source code of a machine learning algorithm without specifying the hyperparameters to get it to work effectively, or will reveal details of research but not give details on one particular component that could be part of a crucial data ingestion (or transformation) pipeline. On the spectrum from a rough idea, to pseudocode, to a trained model along with source code and tutorials/tips on getting it to work well in practice, there are various possible points, and perhaps there are multiple axes (see Figure 3 ). Generally speaking, the less one shares, the higher the skill and computational requirements there are for another actor to recreate a given level of capability with what is shared: this reduces the risk of malicious use, but also slows down research and places barriers on legitimate applications. For an example of a potentially abusable capability where full publication may be deemed too risky, voice synthesis for a given target speaker (as will reportedly soon be available as a service from the company Lyrebird ) is ripe for potential criminal applications, like automated spearphishing (see digital security section) and disinformation (see political security section). No other hand, as is the case with other technologies with significant potential for malicious use, there could be value in openness for security research, for example in white hat penetration testing. As described in the Rethinking Openness section of the report, there are clear benefits to the level of openness currently prevalent in machine learning as a field. The extent to which restrictions on publication would affect these benefits should be carefully considerado. If the number of restricted publications is very small (as in biotechnology, for example), this may not be a significant preocupação. If, however, restricted publication becomes common, as in the case of vulnerability disclosure in cybersecurity research, then institutions would need to be developed to balance the needs of all affected parties. For example, responsible disclosure mechanisms in cybersecurity allow researchers and affected vendors to negotiate a period of time for a discovered vulnerability to be patched before the vulnerability is published. além do que, além do mais to the commercial interests of vendors and the security needs of users, such schemes often also protect researchers from legal action by vendors. In the case of AI, one can imagine coordinating institutions that will withhold publication until appropriate safety measures, or means of secure deployment, can be developed, while allowing the researchers to retain priority claims and gain credit for their work. Some AI-related discoveries, as in the case of 1 3 see eg NDSS, 2018 Lyrebird, 2017 on next page 2
Page 88
p.8 8 Appendix B: Questions for Further Research Figure 3. A schematic illustration of the relationship between openness about an AI capability and the skill required to reproduce that capability. Decreasing skill requirement Vague description of achievement Pseudocode Source code, trained models, tutorials Increasing openness
Page 89
p .89 Appendix B: Questions for Further Research adversarial examples in the wild, may be subsumed under existing responsible disclosure mechanisms, as we discuss below in “Responsible AI 0-day Disclosure”. Some valuable questions for future research related to pre- publication research assessment include: • What sorts of pre-publication research assessment would AI researchers be willing to consider? To what extent would this be seen as conflicting with norms around openness? • What can be learned from pre-publication risk assessment mechanisms in other scientific/technological domains? • Is it possible to say, in advance and with high confidence, what sorts of capabilities are ripe for abuse? • What sort of heuristics may be appropriate for weighing the pros and cons of opening up potentially-abusable capabilities? • How can such assessment be incorporated into decision- making (eg informing one's openness choices, or incorporating such analysis into publications)? • Can we say anything fine-grained yet generalizable about the levels of skill and computational resources required to recreate capabilities from a given type (code, pseudocode, etc.) of shared information? • How does the community adopt such a model in the absence of regulation? Central Access Licensing Models Another potential model for openness is the use of what we call central access licensing. In this model, users are able to access certain capabilities in a central location, such as a collection of remotely accessible secure, interlinked data centers, while the underlying code is not shared, and terms and conditions apply to the use of the capabilities. This model, which is increasingly adopted in industry for AI-based services such as sentiment analysis and image recognition, can place limits on the malicious use of the underlying AI technologies. For example, limitations on the speed of use can be imposed, potentially preventing some large-scale harmful applications, and terms and conditions can explicitly prohibit malicious use, allowing clear legal recourse.
Page 90
p .9 0 Appendix B: Questions for Further Research Centralised access provides an alternative to publication that allows universal access to a certain capability, while keeping the underlying technological breakthroughs away from bad actors (though also from well-intentioned researchers). Note though that black box model extraction may allow bad actors to gain access to the underlying technology. Additionally, similarly to early proposals for, in effect, an information processing “tax” on emails in order to disincentivize spam , centralized AI infrastructures better enable constraints to be placed on the use of AI services, such that large-scale attacks like automated spear phishing could be made less economical (though see Laurie and Clayton, 2004 for a criticism of this approach, and Liu and Camp, 2006 for further discussion; a increased interest in crypto-economics following the success of bitcoin may lead to advances in this area). Finally, note that the concentration of AI services in a particular set of organizations may heighten potential for malicious use at those organizations, including by those acting with the blessing of the relevant organization as well as by insider threats. Na verdade, alguns workshop attendees considered these risks from concentration of power to be the biggest threat from AI technologies; note, however, that in this report we have decided to focus on direct malicious use risks, rather than systemic threats (see Scope). Dentro addition to monopolistic behavior, there are more subtle risks such as the introduction of “backdoors” into machine learning systems that users may be unaware of . Some initial research questions that arise related to a central access licensing model: • What sorts of services might one want only available on a per-use basis? • How effectively can a service provider determine whether AI uses are malicious? • How can a user determine whether a service provider is malicious ? • Is the proposal technologically, legally and politically feasible? • Who might object to a centralised access model and on what grounds? • Is there enough of a technology gap such that actors without access cannot develop the technologies independently? 1 2 3 4 Bastani et al., 2017 Dwork and Naor, 1993 Gu et al., 2017 see eg Ghodsi et al., 2017
Página 91
p .9 1 Appendix B: Questions for Further Research • What are potential risks and downsides to centralised access, eg in aggravating political security risks? • How effective can black box model extraction be in different contexts? • How useful are limits on the amount or frequency of queries to models as a countermeasure against model inversion (extracting the training data from the model; Fredrikson et al., 2015) and other forms of attack such as membership inference (ascertaining whether certain data is contained in the training data )? • What would be the associated trade-offs of such limits? • (How) can cloud providers vet the safety or security of AI systems without inspecting their internal workings, if such information is private? • Are cloud computing providers sufficiently flexible in their services to allow the experimentation required by researchers, or would this intervention be most applicable to preventing potentially harmful dissemination trained AI systems? Sharing Regimes that Favor Safety and Security One possible approach for reducing security risks of AI is to selectively share certain capability information and data with trusted parties. A somewhat analogous approach is used in the cyber domain — Information Sharing and Analysis Centers (ISACs) and Information Sharing and Analysis Organizations (ISAOs) — where companies share information about cyber attacks amongst si mesmos. Antivirus and large tech companies themselves serve as points of concentration of knowledge sharing, giving them advantages over other kinds of actors. In the case of AI, one might imagine an arrangement where some particularly powerful or hazardous capabilities (eg ones that lend themselves straightforwardly to automated hacking) are shared only with organizations or individuals that meet certain criteria, such as having established safety and security routines, or agreeing to random inspection by other members of the group, or a third-party agency that the group has mutually agreed has oversight and inspection powers over them. Such an approach might be valuable for facilitating collaborative analysis of safety and security issues, and thus getting some fraction of the benefit of an open source approach (where an even larger number of “eyes” are on the problem), while reducing 1 Shokri et al., 2016
Página 92
p .92 Appendix B: Questions for Further Research some risks associated with diffusion. If, based on such analysis, it is concluded that there is no harm in further diffusion, then the capabilities would be published. Several questions arise about the above proposals: • What have been the benefits and limitations of existing ISACs and ISAOs and are elements of such models useful to AI? • What sorts of criteria might be applied to an organization or individual in order to ascertain their trustworthiness to deal with particularly sensitive information? • What types of information might be shared amongst such a group? • Should there be a limited-sharing stage for all AI developments, or should capabilities be evaluated individually, and if the latter then on what basis? • What information types should limited sharing apply to: code, research papers, informal notes? • How can sufficient trust be established between groups such that this kind of coordination is seen as mutually beneficial? • Are there any particular incentives which can be created that would make this sort of collaboration more likely (for instance, the creation of a shared cluster to test a certain kind of research on)? • What are potential risks and downsides to this type of sharing regime? Note that this mechanism has partial overlap with pre-publication risk assessment in technical areas of special concern and central access licensing model. Security, Ethics, and Social Impact Education for Future Developers There has recently been discussion of the role of ethics education in AI , in light of ongoing public and private discussion of the potential and pitfalls of AI. Educational efforts might be beneficial in highlighting the risks of malicious applications to AI researchers, and fostering preparedness to make decisions about when 1 Burton et al., 201
Página 93
p.93 Appendix B: Questions for Further Research technologies should be open, and how they should be designed, in order to mitigate such risks. As yet there is no long-term research on the impacts of such educational efforts on AI researchers' career development and eventual decision-making, suggesting possible areas for research: • What are the best practices for ethics and policy education for science and engineering in general that are applicable to AI, especially around mitigating security risks? • How can ethics education be designed so as to most effectively engage with the interests and concerns of AI developers, rather than being seen as merely a box to be ticked off or a burden unrelated to one's practical decision-making, as sometimes occurs in other domains ? • What ought to be included in such a curriculum: ethical methodologies, principles and/or theories? • How could such a curriculum be iterated over time as the state of AI and security advances? • Who would be most effective at providing such a curriculum? Should ethics educators from philosophy and other disciplines be brought in or is it better for the community to develop its own internal capacity to teach AI specific ethics? Ethics Statements and Standards Another way of acting on ethical concerns could be multi- stakeholder conversation to develop ethical standards for the development and deployment of AI systems, which could be signed on to by companies, research organizations and others deploying AI systems. Two examples of such processes are the IEEE Global Initiative for Ethical Considerations in Artificial Intelligence and Autonomous Systems and the development of the Asilomar AI Principles . Several questions remain open: • Quais os quadros institucionais adequados para garantir que declarações e padrões sobre ética são totalmente implementados para garantir que sejam mais do que meras Greenwash tecnológico? Por exemplo, a comunidade deveria padrões desenvolvidos incluem declarações sobre relatórios e responsabilidade? 1 2 3 Sunderland et al., 2013 IEEE Standards Association, 2017 Instituto Future of Life, 2017
Página 94
p .9 4 Apêndice B: Perguntas para mais pesquisas • As empresas e organizações de pesquisa devem ter uma declaração na ética, seja tomada diretamente de uma dessas comunidades padrões ou desenvolvidos em casa para sua situação particular? E se então, como isso pode ser encorajado? • Os padrões e declarações deste tipo são a melhor maneira de fomentar Discussão em toda a indústria sobre a ética da AI? O que são algumas alternativas? • What processes are appropriate for revising and updating ethics statements and standards in order to ensure that they remain flexible and can incorporate best practice whilst retaining their sense of permanence and objectivity. Norms, Framings and Social Incentives As noted in previous sections, there are substantial security risks associated with AI, and in some cases one actor could gain from exploiting such risks. At the same time, there are also substantial upsides to progress in AI research and development, and in many cases AI can be used to enhance rather than diminish security. este raises the questions like the following: • How can the upsides of AI development be framed in such a way as to galvanize focus on mutually beneficial developments and discourage harmful exploitation? • Quais são os casos análogos dos quais as lições podem ser aprendidas, onde uma tecnologia que poderia ter sido usada e pensada sobre uma forma de soma zero foi governado de uma maneira que beneficiou tudo? • Que processos devem ser autorizados a governar o surgimento e implementação de uma cultura normativa para AI benéfica em ordenar ambos para garantir a criação de recursos fortes, exigíveis e normas efetivas, e para evitar que esta cultura normativa seja usada para preservar normas rígidas e / ou tendenciosas que dificultam a diversidade e Criatividade no setor? • Qual o papel das diversas culturas normativas em campos como O desenvolvimento da AI, a segurança da IA ​​e o gerenciamento de riscos desempenham ambos permitindo uma ampla gama de perspectivas para informar os públicos debates sobre AI e garantir que mais pessoas considerem eles próprios para ser "insiders" em tais debates, e menos pessoas se consideram "estranhos"
Page 95
p .9 5 Apêndice B: Perguntas para mais pesquisas Privacidade tecnologicamente garantida Várias das ameaças dentro da segurança digital e política domínios de segurança (por exemplo, phishing de lança automatizada, personalizado propaganda) confiam em que os atacantes tenham acesso a privados informações sobre indivíduos. Além de procedimentos e medidas legais para garantir a privacidade dos indivíduos, há um aumento Pesquisa sobre ferramentas tecnológicas para garantir dados de usuários privacidade, que também pode ser aplicável no contexto de sistemas AI. Destacamos duas tecnologias como potencialmente relevantes aqui: algoritmos diferenciais de garantia de privacidade e segurança multi- computação de festa. Permanecem questões abertas sobre ambas as tecnologias: • A privacidade algorítmica pode ser combinada com tecnologias AI, em geral ou em domínios específicos? • Quais são os trade-offs, se houver, para implementar algoritmos? privacidade, por exemplo em termos de desempenho ou em termos de viabilidade de serviços? • Que mecanismos (financeiros, educacionais, legais ou outros) poderiam incentivar a adoção de privacidade algorítmica em sistemas de AI? • Que lições podem ser aprendidas pelos esforços tecnológicos privacidade garantida (como o uso da privacidade diferencial da Apple)? Privacidade diferencial Muitos modelos de aprendizagem de máquinas estão sendo desenvolvidos atualmente por empresas para uso comercial em APIs (ver acesso central licenciamento acima). Sem precauções é possível para indivíduos quebrar o anonimato no conjunto de dados subjacente de um aprendizado de máquina modelo que foi implantado para uso público através de uma inversão de modelo ataque de inferência de ataque ou associação. Ou seja, mesmo sem acesso aos dados de treinamento, um invasor pode, em alguns casos, consultar um modelo de tal forma que as informações do conjunto de dados subjacentes é revelado. Ji et al. (2014) métodos pesquisados ​​para proporcionar privacidade diferencial em sistemas de aprendizagem de máquinas, embora não abordem privacidade diferencial nas redes neurais. Tais métodos têm foi relatado por, por exemplo, Abadi et al. (2016). Em geral, algoritmos de aprendizagem de máquinas diferencialmente particulares combinam Treinar dados com ruído para manter a privacidade, minimizando efeitos no desempenho. Geralmente, algoritmos diferencialmente privados 1 2 3 Fredrikson et al., 2015 Shokri et al., 2016 Um conceito desenvolvido pela primeira vez em (Dwork, 2006) referindo-se a fortes garantias sobre a probabilidade de informação vazamento
Página 96
p .9 6 Appendix B: Questions for Further Research lose some performance compared to their non-private equivalents, and so privacy may become a concern if the teams developing models are not incentivized to keep their datasets private. Secure Multi-Party Computation Secure multi-party computation (MPC) refers to protocols that allow multiple parties to jointly compute functions, while keeping each party's input to the function private . For instance, one simple MPC protocol allows users to jointly compute the outcome of a vote, without sharing their individual votes with one another. As an important practical application, MPC protocols make it possible to train machine learning systems on sensitive data without significantly compromising its privacy . Por exemplo, medical researchers could train a system on confidential patient records by engaging in an MPC protocol with the hospital that possesses them. A technology company could similarly learn from users' data, in some cases, without needing to access this data. An active open source development effort (OpenMined) is currently aiming to develop a platform to allow users to sell others the right to train machine learning systems on their data using MPC . A number of other frameworks for privacy-preserving machine-learning have also been proposed . In addition, MPC opens up new opportunities for privacy- preserving web applications and cloud computation. Por exemplo, one company may develop machine learning models that can make predictions based on health data. If individuals do not want to send this company copies of their personal medical data, they may instead opt to engage in an MPC protocol with the company, and in particular an MPC protocol where only the individual receives the output. At no point in this process does the company gain any knowledge about the individual's medical data; nevertheless, it is still able to provide its service. MPC could also help to enable privacy-preserving surveillance . To the extent that AI systems play active roles surveillance, for instance by recognizing faces in videos or flagging suspicious individuals on the basis of their web activity, MPC can be used to increase individual privacy. In particular, MPC makes it possible to operate such systems without needing to collect or access the (often sensitive) data that is being used to make the relevant classificações. At the same time, the use of MPC protocols remains limited by the fact that, in many cases, they can increase overhead associated 1 2 3 4 5 Yao, 1982 Lindell and Pinkas, 2009 OpenMined, 2017 eg Rouhani et al. (2017) Dowlin et al., 2016; Trask, 2017; Garfinkel, forthcoming
Página 97
p .97 Appendix B: Questions for Further Research with a computation by multiple orders of magnitude. Isso significa that MPC is best-suited for relatively simple computations or for use cases where increased privacy would be especially valuable. Monitoring Resources One type of measure that might help to predict and/or prevent misuse of AI technology would be to monitor inputs to AI systems. Such monitoring regimes are well-established in the context of other potentially dangerous technologies, most notably the monitoring of fissile materials and chemical production facilities for the purpose of implementing nuclear and chemical weapon agreements. An obvious example of an input that might be possible to monitor is computing hardware. While efforts have been made in the past to survey computing resources , there is no major ongoing public effort to do so, with the best available information likely withheld due to commercial or state secrecy. Um possível benefit to having a public, or semi-public, database of the global distribution of computing resources could be to better understand the likely distribution of offensive and defensive AI/cybersecurity capacidades. Additionally, having such monitoring in place would be valuable if stronger measures were to be employed, eg enforceable limitations on how hardware could be used. Questões for further consideration include: • How feasible would it be to monitor global computing resources? • Are different domains more or less tractable to monitor, or more or less important for AI capabilities, than others (eg should Consolas de videogames sejam consideradas, à luz de sua grande parcela na computação total, mas papel atual limitado na IA)? • O que poderia ser feito com essa informação? • Existem inconvenientes em tal esforço (por exemplo, em encorajamento derrota de "corrida" para ter o poder mais computacional)? • Outras entradas de AI seriam mais adequadas para o monitoramento do que recursos de computação? Explorando Intervenções Legais e Regulatórias Grande parte da discussão acima centra-se em intervenções que pode ser realizada por pesquisadores e profissionais dentro do Comunidade de Desenvolvimento AI. No entanto, existe um espaço mais amplo 1 2 Hilbert e Lopez, 2011 Hilbert e Lopez, 2011
Página 98
p .9 8 Apêndice B: Perguntas para mais pesquisas de possíveis intervenções, inclusive legais, que deveriam ser considerado. Observamos que intervenções governamentais mal consideradas pode ser contraproducente, e que é importante que a As implicações de quaisquer intervenções políticas específicas nesta área devem seja cuidadosamente analisado. Uma série de questões relativas à O alcance adequado para a intervenção do governo na segurança da IA ​​surge; nós liste alguns exemplos iniciais aqui: • Existe uma cadeia clara de responsabilidade para prevenir a segurança da IA? Problemas relacionados? • Quais departamentos governamentais, atores do mercado ou outros as instituições teriam idealmente quais as responsabilidades, e O que as interações com o setor acadêmico e industrial as comunidades são? • Quão adequado as instituições existentes estarão jogando isso papel, e quanto exigirá o estabelecimento de novos instituições fundadas em princípios inovadores ou estruturas inovadoras a fim de operar efetivamente de forma tão evolutiva e técnica campo? • Os atores relevantes falam um com o outro e coordenam suficientemente, especialmente em todo o lado político, jurídico, cultural e barreiras linguísticas? • Os regimes de responsabilidade são adequados? Eles fornecem o direito incentivos para que vários atores assumam a defesa defensiva competente medidas? • Como é preparado, por exemplo, o governo dos EUA sente-se e quanto Apetite haveria para escritórios / canais focados projetados aumentar a conscientização e a experiência? • Os governos devem ter desenvolvedores, corporações ou outros responsáveis ​​pelo uso malicioso de tecnologias AI (ou, explicitamente torná-los isentos de tal responsabilidade)? Quais os outros abordagens podem ser consideradas para o preço de AI de segurança externalidades? • Quais são os prós e contras das políticas governamentais que exigem o uso de sistemas de aprendizagem de máquinas de preservação da privacidade ou defesas contra exemplos contraditórios e outras formas de uso malicioso? • Os envenenamentos de dados e ataques de exemplo adversários visam perturbando os sistemas de AI sujeitos às mesmas penalidades legais que formas tradicionais de hacking? Caso contrário, eles deveriam ser (e como 1 2 Calo, 2011; Cooper, 2013 ver, por exemplo, Farquhar et al., 2017
Página 99
p .9 9 Apêndice B: Perguntas para mais pesquisas Pode táticas legais, mas relacionadas, como otimização de mecanismos de pesquisa. tratou se sim)? • Os acordos internacionais devem ser considerados como ferramentas para incentivar a colaboração na segurança da AI? • O que o "modelo de política pública" da comunidade de segurança da IA ser - isto é, como devemos visar afetar a política do governo, Qual deve ser o alcance dessa política, e como deve a responsabilidade seja distribuída por indivíduos, organizações, e governos? • Deve haver um requisito para sistemas não humanos operando on-line ou de outra forma interagindo com seres humanos (para exemplo, por telefone) para se identificar como tal (um "Lei Blade Runner") para aumentar a segurança política? • Que tipo de processo pode ser usado ao desenvolver políticas e leis para governar uma evolução dinâmica e imprevisível ambiente de pesquisa e desenvolvimento? • Quão desejável é que as normas comunitárias, padrões éticos, políticas públicas e leis dizem o mesmo e quanto deve ser obtido de diferentes níveis de governança para responder para diferentes tipos de risco (por exemplo, curto prazo / longo prazo, técnico segurança / ator ruim e alta incerteza / riscos de baixa incerteza)? Parece improvável que as intervenções no desenvolvimento da AI comunidade e outras instituições, incluindo políticas e instituições jurídicas, funcionará bem a longo prazo, a menos que Existe algum grau de coordenação entre esses grupos. Idealmente, discussões sobre segurança e segurança de AI dentro do A comunidade AI deve estar informando as intervenções legais e políticas, e também deve haver uma disposição entre as políticas legais e políticas instituições para delegar alguma responsabilidade pela segurança da IA AI comunidade, bem como a procurar intervir em seu próprio nome. Conseguir isso é provável que exija tanto um alto grau de confiança entre os diferentes grupos envolvidos na governança da AI e um canal adequado para facilitar a colaboração pró-ativa no desenvolvimento normas, educação ética e padrões, políticas e leis; dentro contraste, diferentes setores respondendo de forma reativa aos diferentes Tipos de pressões que cada um enfrenta em diferentes momentos parece provavelmente resultará em respostas desajeitadas e ineficazes da política e comunidades técnicas. Essas considerações motivaram nossa Recomendações # 1 e # 2. 1 Wu, 2017
Page 100
Instituto do Futuro da Humanidade Universidade de Oxford Centro para o Estudo do Risco Existencial Universidade de Cambridge Centro para uma Nova Segurança Americana Electronic Frontier Foundation OpenAI O Uso Malicioso da Inteligência Artificial: Previsão, Prevenção e Mitigação Fevereiro de 2018
Página 101
p .10 1 O Uso Malicioso da Inteligência Artificial

Política de privacidade para Anderson Técnico

Todas as suas informações pessoais recolhidas, serão usadas para o ajudar a tornar a sua visita no nosso site o mais produtiva e agradável possível.

A garantia da confidencialidade dos dados pessoais dos utilizadores do nosso site é importante para o Anderson Técnico.

Todas as informações pessoais relativas a membros, assinantes, clientes ou visitantes que usem o Anderson Técnico serão tratadas em concordância com a Lei da Proteção de Dados Pessoais de 26 de outubro de 1998 (Lei n.º 67/98).

A informação pessoal recolhida pode incluir o seu nome, e-mail, número de telefone e/ou telemóvel, morada, data de nascimento e/ou outros.

O uso do Anderson Técnico pressupõe a aceitação deste Acordo de privacidade. A equipa do Anderson Técnico reserva-se ao direito de alterar este acordo sem aviso prévio. Deste modo, recomendamos que consulte a nossa política de privacidade com regularidade de forma a estar sempre atualizado.

Os anúncios

Tal como outros websites, coletamos e utilizamos informação contida nos anúncios. A informação contida nos anúncios, inclui o seu endereço IP (Internet Protocol), o seu ISP (Internet Service Provider, como o Sapo, Clix, ou outro), o browser que utilizou ao visitar o nosso website (como o Internet Explorer ou o Firefox), o tempo da sua visita e que páginas visitou dentro do nosso website.

Cookie DoubleClick Dart

O Google, como fornecedor de terceiros, utiliza cookies para exibir anúncios no nosso website;

Com o cookie DART, o Google pode exibir anúncios com base nas visitas que o leitor fez a outros websites na Internet;

Os utilizadores podem desativar o cookie DART visitando a Política de privacidade da rede de conteúdo e dos anúncios do Google.

Os Cookies e Web Beacons

Utilizamos cookies para armazenar informação, tais como as suas preferências pessoas quando visita o nosso website. Isto poderá incluir um simples popup, ou uma ligação em vários serviços que providenciamos, tais como fóruns.

Em adição também utilizamos publicidade de terceiros no nosso website para suportar os custos de manutenção. Alguns destes publicitários, poderão utilizar tecnologias como os cookies e/ou web beacons quando publicitam no nosso website, o que fará com que esses publicitários (como o Google através do Google AdSense) também recebam a sua informação pessoal, como o endereço IP, o seu ISP, o seu browser, etc. Esta função é geralmente utilizada para geotargeting (mostrar publicidade de Lisboa apenas aos leitores oriundos de Lisboa por ex.) ou apresentar publicidade direcionada a um tipo de utilizador (como mostrar publicidade de restaurante a um utilizador que visita sites de culinária regularmente, por ex.).

Você detém o poder de desligar os seus cookies, nas opções do seu browser, ou efetuando alterações nas ferramentas de programas Anti-Virus, como o Norton Internet Security. No entanto, isso poderá alterar a forma como interage com o nosso website, ou outros websites. Isso poderá afetar ou não permitir que faça logins em programas, sites ou fóruns da nossa e de outras redes.

Ligações a Sites de terceiros

O Anderson Técnico possui ligações para outros sites, os quais, a nosso ver, podem conter informações / ferramentas úteis para os nossos visitantes. A nossa política de privacidade não é aplicada a sites de terceiros, pelo que, caso visite outro site a partir do nosso deverá ler a politica de privacidade do mesmo.

Não nos responsabilizamos pela política de privacidade ou conteúdo presente nesses mesmos sites.