EU, US and UN push for AI safety rules as leaders warn of escalating risks

What AI urgency? Industry and leaders split on how to handle advanced techs threats Conversations among lawmakers, tech executives and industry experts at the POLITICO Decoded Summit showed the long road toward reaching a consensus on addressing AIs potentially existential risks.

politico.eu · about 16 hours ago

EU head hopes to unlock the potential of AI The head of the European Commission, Ursula von der Leyen, says AI has the potential to benefit humanity. Her comments came on Wednesday in her landmark state of the union address to MEPs. A speech touched on numerous areas and … Read more

brussels morning · about 16 hours ago

Apple is reportedly building an enterprise AI server with its own M8 Ultra chips According to The Information, Apple is working on an enterprise server with two or four M8 Ultra chips for the AI inference market, with a possible launch no earlier than 2029. Apple is considering Nvidias NVLink Fusion technology to connect the chips. The project could get a boost from OpenAI and Anthropic already buying Mac hardware in bulk for AI workloads. The article Apple is reportedly building an enterprise AI server with its own M8 Ultra chips appeared first on The Decoder.

the decoder · about 16 hours ago

EU president warns AI agents "escaping their environment" are just a preview of whats coming Ursula von der Leyen plans to invite the major frontier labs to talks and use the AI Act to help set global AI safety standards. She cited autonomous hacking and self-improving models as immediate risks. The article EU president warns AI agents "escaping their environment" are just a preview of whats coming appeared first on The Decoder.

the decoder · about 16 hours ago

Google DeepMind launches the DeepMind Institute to debate AGI This is a critical moment to ensure we build AGI safely and its benefits to society far outweigh any risks, wrote the three directors of the new DeepMind Institute. Google DeepMind has launched the DeepMind Institute, or DMI, a platform for research and debate on artificial general intelligence, according to its launch essay. Its directors […] This story continues at The Next Web

the next web · about 16 hours ago

Ursula von der Leyen has declared herself an AI optimist. Yet in the face of rising warnings of the technologys threats to humanity, the European Commission president today sounded far more like a realist — and one with limited room for maneuver.

bluesky_Politico Europe · about 16 hours ago

The debate around existential risk to humanity from AI obfuscates the many real-world harms that the technology is already causing, writes FPs @iyengarish.bsky.social. foreignpolicy.com/2026/09/16/a...

bluesky_Foreign Policy · about 16 hours ago

OpenAI says CEO Altman will attend Trumps state dinner for Xi reut.rs/4AoppJh

bluesky_Reuters · about 16 hours ago

Carlos del Castillo, en la presentación de su libro sobre Inteligencia Artificial y geopolítica: Tiene que haber regulación" El periodista de elDiario.es se muestra partidario de poner coto legal a una tecnología con un gran potencial, pero huye de los vaticinios más oscuros: No nos va a matar antes de 2030 ni va a acabar con todos los trabajosAdelanto editorial - El mito del Sistema de Crédito Social: por qué los chinos aplauden el avance de la IA que Occidente teme Ni apocalipsis inmediato ni solución a todos los problemas. La IA, una tecnología llegada para quedarse y llamada a cambiar el mundo de un modo parecido a como lo alteró internet hace 25 años, requiere regulación, matices y, sobre todo, explicación. Esto es lo que ha puesto sobre la mesa Carlos del Castillo, periodista especializado en tecnología de elDiario.es que ha presentado este miércoles en la redacción y ante las socias y socios su libro Inteligencia Artificial. Cartografía de una revolución (Editorial Planeta, 2026).  Lo ha hecho en un evento en el que ha estado acompañado de Gumersindo Lafuente, también periodista y editor de la revista de elDiario, y que ha servido ante todo para ahondar en la tecnología del presente, imaginar la del futuro y perder algo de miedo. Porque no, la humanidad no acabará antes de 2030 a causa de la IA. De hecho, en sentido estricto, ni siquiera se puede decir, por ahora, que sea muy lista: Los sistemas que tenemos ahora mismo no tienen ni idea de lo que están diciendo. Ellos han sacado patrones de cómo hablamos, pero hace años una máquina no era inteligente porque derrotara a un campeón de ajedrez. Hoy, ChatGPT no es inteligente porque sepa hablar. Lo que pasa es que no concebimos que algo que habla no sea inteligente, pero es todo fachada, patrones que han sacado de todo el conocimiento humano, no hay nada detrás. Del Castillo ha explicado que este es uno de los motivos por los que los centros de datos consumen tantísima energía: cada respuesta exige una cantidad ingente de cálculos. De ahí nacen también las famosas alucinaciones: Uno de los fallos más recurrentes de la IA es que se invente por ejemplo una fecha, pero tiene lógica que ocurra porque, para él, esas palabras tienen la misma probabilidad de aparecer que la fecha correcta. Otra forma de apocalipsis anunciado hasta la saciedad en fechas recientes es el fin del mercado laboral, que a ojos de algunos llegará pronto una vez las máquinas se hayan quedado con casi todos los trabajos por resultar más rentables a las grandes empresas. Del Castillo tampoco compra esta idea: Mi libro no habría sido posible sin IA, pero porque me ha ayudado a pensar. Ningún texto escrito con IA merece estar en ningún libro. Pensamos que lo mejor que tiene la IA es lo que produce, pero la verdad es que lo que produce es mediocre. Sam Altman [CEO de OpenAI] ha reconocido que todo lo que lleva diciendo tres años sobre el apocalipsis laboral no va a ocurrir. No va a pasar porque el cálculo de la IA siempre va a tener un margen de error, y eso hace que nunca puedas automatizar nada del todo. Hacerlo costaría mucho más que contratar a una persona. Estas recurrentes campañas de miedo, ha comentado el periodista, no son nuevas ni surgen porque sí: ya en 2023 hubo quien dijo que la IA sería peor que la bomba atómica. Hay investigadores que dicen que a algunos les interesa que paremos de desarrollar porque EEUU tiene ventaja sobre Europa y China. De hecho, la primera reacción de China fue decir que era una campaña. Lo que nos dicen ahora es lo contrario de lo de 2023: entonces, el miedo era una IA autoconsciente, mientras que ahora se habla de sistemas sencillos, especializados y que confabulan para llevar a cabo daños catastróficos. Carlos del Castillo y Gumersindo Lafuente, durante la presentación Para evitar estos daños, en todo caso, Del Castillo es partidario de regular la tecnología, una tarea en la que Europa, un mercado de 500 millones de consumidores, lleva tiempo manos a la obra. Y eso, a pesar de que la regulación ha puesto al viejo continente ante un dilema: arriesgarse a perder la vanguardia del desarrollo tecnológico o reducir regulación a cambio de dar manga ancha a empresas cuyo interés está solo en la cuenta de resultados. Europa trata de imponer la fuerza de su regulación a través de su mercado. Es lo que se conoce como efecto Bruselas. Creen que el mercado tendrá la fuerza suficiente como para que ninguna empresa salga de aquí aunque exista una regulación más severa. Funcionó con el Reglamento de Protección de Datos, pero Trump y los oligarcas tecnológicos han dicho que no cuela. Con todo, la posición europea, opina Del Castillo, debe ser firme: En UE salió una ley que tuvo muchas alabanzas. La criticaron sobre todo las empresas que no piensan en el beneficio de la ciudadanía. Tiene que haber regulación porque hay sistemas muy peligrosos, como los que usa el ICE en reconocimiento facial: que se te pueda reconocer en cualquier lugar. No piden una regulación, piden una autorregulación: seguir investigando y que, si sus sistemas hacen daño, poder lavarse las manos. Geopolítica, vigilancia y guerra: el verdadero peligro de la IA La IA, ha ahondado Del Castillo, no es una sola tecnología ni una sola técnica, sino que más bien se articula como un cajón de sastre donde caben Enigma, la máquina que permitió descifrar los mensajes del ejército nazi durante la II Guerra Mundial; Deep Blue, el ordenador que derrotó a Garri Kaspárov a finales de los 90, y las actuales máquinas de IA generativa. El libro de Del Castillo es también por esto un acercamiento histórico: Me lo pasé muy bien escribiendo e investigando porque descubrí que no nace del vacío, aunque empezáramos a hablar de esto en 2022. La IA es hija de la globalización. Y donde hay globalización hay geopolítica. Dos ejemplos: la importancia súbita que ha cobrado en el panorama internacional Taiwán, una pequeña isla asiática donde se producen la mayoría de los chips más avanzados del mundo, y las minas de tierras raras que son imprescindibles para el desarrollo de nuevas tecnologías y que obran en poder de China, que no duda en cerrar el grifo cuando EEUU amenaza con aranceles o bloqueos. Son para Del Castillo realidades mucho más cercanas que los tan proclamados apocalipsis: La IA es hija de muchas cosas. En también parte hija del capitalismo de la vigilancia, que en parte es posible gracias al avance de los chips junto con lo que sabemos del comportamiento humano. Esto tiene muchas repercusiones porque en EEUU se está configurando un complejo tecnológico industrial en el que ya no son los dueños de las armas las que condicionan la política, sino que son los grandes dueños de la tecnología. En EEUU, por ejemplo, el sector de la Defensa es el encargado de todo el proceso militar: el que tiene la inteligencia por extraer los datos de los ciudadanos y el que, gracias a la IA, puede analizarlos y tomar decisiones en base a ellos. Así, ha explicado Del Castillo, mientras el mundo mantiene conversaciones al más alto nivel para decidir que las máquinas no deben poder matar solas, en Ucrania no hay soldado que pueda caminar sin que un dron lo fije como objetivo y lo ataque. La tecnología siempre sorprende. Pensábamos que la IA aplicada a la guerra traería robots asesinos, pero hoy lo que te mata en Ucrania es un sistema que vale 80 euros y lleva una carga explosiva muy pequeña. Detrás de estas grandes revoluciones tecnológicas, como en todo, están el poder y el dinero de oligarcas nada confiables: Hay una corriente ideológica loca en Silicon Valley que dice que la misión del ser humano es crear una IA definitiva que lo trascienda, por lo que el desarrollo tecnológico estaría por encima del bienestar de la gente. Parece una locura, pero está arraigando en la conciencia colectiva de ese lugar. No sé si podemos compartir muchos valores con esa gente.

eldiario.es · about 16 hours ago

Meta pide a Anthropic menos pactos y más inversión en seguridad mientras Google emerge como el gran cisne negro del futuro de la IA Zuckerberg considera que ya invierte suficiente en seguridad y acusa a los creadores de ChatGPT y Claude de no hacer lo mismo Leer

elmundo · about 16 hours ago

Russia used Claude AI for espionage, disinformation and drone swarms Anthropics latest report on the abuse of its AI model found that a Russian-linked hacking group used Claude to automate attacks on more than 20 organisations, including Ukrainian defence ministries and drone suppliers, while separate operators ran pro-Kremlin disinformation in Africa and Moldova.

euronews · about 16 hours ago

The US cant lose: Pentagon plows ahead on AI despite warnings Military leaders warn the risks of falling behind adversaries in artificial intelligence research outweigh the potential risks of the technology.

politico.eu · about 16 hours ago

UN chief sounds alarm on AI risk after Trump plays it down U.N. Secretary-General Antonio Guterres warned world leaders on Wednesday that rapidly advancing artificial intelligence poses risks that cannot be ignored, putting him at odds with President Donald Trump who has argued existing safeguards are sufficient. Speaking ahead of next weeks U.N. General Assembly gathering in New York, Guterres told reporters the need for stronger oversight […]

cyprus mail · about 16 hours ago

Scoop: U.S. open to discuss AI "shared risks" with China, Bessent says The U.S. is open to discussing shared risks with China in upcoming AI talks this weekend, Treasury Secretary Scott Bessent told Axios.Why it matters: The Trump administration has flatly rejected calls from industry to pace or slow down the development of AI, citing a fierce race against China. Bessents scheduled meeting with Chinese Vice Premier He Lifeng could provide an opening for talks on U.S.-China AI safety cooperation. "The United States remains the leader in AI. And we are open to discussions on avoiding shared risks and avoiding bifurcation of our two systems. We expect our discussions to cover both open and closed weight models," Bessent said in a statement to Axios."Bessent and [United States Trade Representative Jamieson Greer] are the point guys on China. So it makes sense the secretary is in this position," a senior administration official said.Driving the news: There will be multi-hour meetings in New York City, focused on AI, trade, rare earths, and other economic issues, building on previous discussions held in cities around the world, sources familiar said.The agenda will remain flexible to allow for substantive discussion across the range of relevant issues, sources added.Possible working-level meetings will continue into Monday, sources said.Catch up quick: Bessent has played a key role in the Trump administrations AI agenda.He was among the few cabinet members who flanked President Trump during a G7 press conference in June, where top AI CEOs and the administration discussed a U.S.-led effort to coordinate global AI standards. Bessent also helped cool Anthropics relations with the administration following a fallout with the Pentagon and is viewed as a reasonable actor who is trusted by the private sector and critical infrastructure operators, sources familiar have previously told Axios.Commerce Secretary Howard Lutnick led high-profile AI discussions during the G20 summit in North Carolina earlier this month, while Bessent is taking the lead on talks with China.The big picture: Bessents meetings in New York come days before Trump and Chinese President Xi Jinpings summit in Washington on Sept. 24. AI CEOs have been calling for U.S.-China coordination on safety standards."All parties should jointly promote the open and inclusive development of AI for good and for all," the Chinese Foreign Ministry said this week, while pushing back on U.S. AI companies calls to slow down and warning against "fear-mongering."The bottom line: While a major breakthrough in U.S.-China safety cooperation remains a tall order, Bessents involvement signals room for engagement on AI between the competing countries.

axios · about 16 hours ago

House votes to curb AI data center costs The House passed the bipartisan Ratepayer Protection Act on Wednesday, marking Congress most significant step yet to shield consumers from the soaring infrastructure costs of the AI boom.Why it matters: Washington is facing growing pressure to put guardrails around AIs rapid expansion, from the technology itself to the data centers powering it.The bipartisan bill, which passed 417-3, would require state utility regulators to consider rules making data centers cover some of the costs of new power generation.Its passage gives lawmakers a tangible response to an issue that has quickly become a political flashpoint ahead of the midterms.Driving the news: The vote comes amid a broader reckoning over the pace and costs of AI development.Last weekend, leaders of some of the worlds most powerful AI companies called for slowing the development of frontier AI models to give safety measures time to catch up.Data centers have become a focus of anti-AI sentiment, with 70 of Americans opposing construction in their area.Lawmakers in both parties have backed efforts to slow or restrict data center development amid concerns about electricity bills, strained power grids and water use.Catch up quick: The bill, led by Reps. Gabe Evans (R-Colo.) and Kathy Castor (D-Fla.),  advanced out of the House Energy and Commerce Committee in July.GOP leadership had been previously non-committal about bringing it to the floor.The intrigue: The Houses move comes as President Trump is arguing against pumping the brakes on AI development, framing U.S. dominance in the technology as a race against China.The only control or "guardrails" that AI needs is a STRONG AND SMART (High IQ!) PRESIDENT, and the U.S.A. has that, in spades!" the president posted Monday on Truth Social. Trump has also aggressively defended data center development amid growing local backlash, saying in an Aug. 31  Truth Social post that communities that reject the facilities will be "backwards and poor.""If they want to be successful and rich, with far lower taxes and jobs all over the place, let Data Reign," Trump wrote.What to watch: Trumps comments have put him at odds with some Republicans who have sought to distance themselves from data centers as the issue becomes increasingly salient in the midterms.

axios · about 16 hours ago

Americans are increasingly concerned about the environmental impact of AI, new poll finds On the way home from a recent trip, Eriech Tapia drove past a sea of dark industrial buildings lining an already jam-packed northern Virginia road: data centers. It…

japantoday · about 16 hours ago

Two-thirds of Americans say Trump is wrong and AI could destroy humanity, poll finds Seventy percent of people who voted Democrat in 2024 and 60 percent of people who voted Republican agree that AI poses a potential risk to the survival of the human race

independent · about 16 hours ago

They cant even spell AI: Republican offers brutal take as Congress flees Hill amid calls for oversight Blunt congressman tells The Independent that Congress is not good at regulating while his colleagues are split on the matter amid fears artificial intelligence could one day run amok

independent · about 16 hours ago

„Nașul inteligenței artificiale spune că reglementarea AI se apropie de un punct de cotitură similar cu cel al pandemiei de COVID Îngrijorările legate de siguranța inteligenței artificiale ajung într-un punct în care guvernele își dau seama că trebuie să acționeze pentru a proteja publicul, similar cu pandemia de COVID, potrivit unuia dintre „nașii tehnologiei, scrie The Guardian.

digi24 · about 17 hours ago

Poll shows Americans are increasingly alarmed by AIs ecological footprint New poll finds over half of Americans fear AI-driven data centers will hike electricity costs and strain water supplies.

aljazeera · about 17 hours ago

EU competition chief Teresa Ribera said today she would consider giving artificial intelligence companies more room to coordinate on safety without falling foul of antitrust law.

bluesky_Politico Europe · about 17 hours ago