Anthropic CEO urges AI firms to slow development amid superintelligence risks

Künstliche Intelligenz: Chef von KI-Firma Anthropic für verlangsamte Entwicklung Seit Jahren gibt es Aufrufe, die KI-Entwicklung zu verlangsamen. Durch einen jüngsten Zwischenfall als Weckruf gibt es nun erste Bewegung bei den großen Entwicklern Künstlicher Intelligenz.

handelsblatt · about 3 hours ago

Künstliche Intelligenz: Führende Tech-Unternehmer fordern langsamere Entwicklung von KI Die Chefs der KI-Konzerne Anthropic, OpenAI und SpaceX fordern weniger Tempo bei der Entwicklung von KI. Schon bald könnte die KI sonst das gesamte Internet übernehmen.

die zeit · about 3 hours ago

Anthropic CEO calls on AI industry to slow down tech race, drawing support from Elon Musk, Sam Altman

news.yahoo.com · about 3 hours ago

Anthropic CEO Dario Amodei calls on AI companies to slow down development amid superintelligence risks Amodeis announcement came days after the AI company revealed that its models were being used for cyberattacks, propaganda campaigns and dangerous biological research.

euronews · about 3 hours ago

Rivals Altman and Musk rally behind Dario Amodeis call for an AI slowdown Warring tech bosses unite behind warnings that humans could lose control of the technology

financial times · about 3 hours ago

Ook CEO AI-bedrijf Anthropic wil ontwikkeling AI-modellen vertragen Dario Amodei, CEO van AI-bedrijf Anthropic, heeft AI-bedrijven opgeroepen om de ontwikkeling van hun modellen bewust te vertragen. Eerder deze week riep ook OpenAI-topman Sam Altman op tot een vertraging.

nu.nl · about 4 hours ago

Dario Amodei, șeful Anthropic, își îndeamnă competitorii să încetinească dezvoltarea AI: „Îi datorăm omenirii să încercăm / Ce spune că l-a îngrijorat cel mai tare „În 6-12 luni o aglomerare de agenți AI ar putea fi capabilă să preia controlul întregului internet, a scris Dario Amodei, CEO al companiei Anthropic, într-o postare pe blogul său. „Folosită cu grijă, Inteligența Artificială poate fi cea mai recentă minune tehnologică dintre cele care asigurat progresul omenirii. Dar, precum majoritatea tehnologiilor de dinainte, AI …

hotnews.ro · about 4 hours ago

Hackerangriff hätte „katastrophalen Schaden anrichten können: Anthropic-Chef Amodei für verlangsamte KI-Entwicklung Der jüngste koordinierte Hackerangriff von KI-Software des Anbieters OpenAI ist offenbar ein Weckruf bei den großen Entwicklern. Anthropic-CEO Amodei fürchtet, dass KI das gesamte Internet übernimmt.

tagesspiegel · about 4 hours ago

Anthropic vill bromsa AI – stöds av Musk och Altman Utvecklingen av AI måste bromsas. Det skriver Dario Amodei, vd för branschjätten Anthropic, i ett inlägg på bolagets sajt. Förslaget får stöd från både Open AI:s Sam Altman och Elon Musk.

dagens nyheter · about 4 hours ago

Anthropic, OpenAI CEOs call for slowdown in AI development Anthropic CEO Dario Amodei is calling for an immediate slowdown in the pace of AI development, warning of potentially devastating consequences in a matter of months otherwise. Why it matters: Amodei pulled no punches in a new essay, cautioning that swarms of rogue AI agents could take over the internet in as little as six months from now.What theyre saying: "We must slow the pace at which we improve the capabilities of AI models. Progress will still seem fast, and we must make wise use of the time we gain," Amodei wrote. Threat level: Amodei specifically referenced the recent OpenAI-Hugging Face rogue agent incident, which he said could have been far worse."Given the accelerating rate of AI capability development, its my worry that in 6–12 months such a swarm could be capable of taking over the entire internet with a persistent botnet (potentially causing hundreds of billions of dollars in damage), and that the scale of damage would continue to increase from there if AI becomes more powerful without the necessary guardrails," he warned. Zoom out: Amodei said Anthropic would unilaterally take one key safety measure — giving external evaluators employee-level access to ensure safety procedures and report incidents.He called on the rest of the industry to do the same.He also called for coordination among democratic countries to establish safety standards, and an effort for those countries to coordinate with authoritarian governments as well.The intrigue: SpaceXAIs Elon Musk quickly endorsed Amodeis call to action."Dario is right," he wrote on X. (Anthropic is a major customer of Musks for data center capacity.)Zoom in: Anthropic executives followed Amodeis essay with a call for legislative and regulatory responses."The government has a critical role to play here, including blocking the sale of the most advanced chips to adversarial nations like China, enacting a national law requiring testing of frontier models, with the power to block the most advanced models that prove to be unsafe," public policy chief Sarah Heck wrote on X. The big picture: This is the week that the AI safety debate broke into the public consciousness, driven by an Anthropic employees very public resignation and warning of possible doom. Amodeis essay isnt necessarily a direct response, but it will have much the same effect amid a sudden surge of public and congressional outrage. "The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try," Amodei wrote in concluding his essay. Reality check: So much money is at stake in the AI industry that it can be hard to imagine companies restraining themselves, especially if theyre not sure competitors will do the same.Just last month, OpenAI said it would slow development of its newest model, Astra, due to cybersecurity concerns.Anthropic itself has gone back and forth on the value of unilaterally slowing development. In fact, Amodeis critics suggested the essay was as much about market position as safety."Dario makes the case to stop open source and concentrate enormous technological and economic power with Anthropic," venture capitalist Chamath Palihapitiya wrote on X.The bottom line: Amodeis essay is likely to have a significant impact on the safety and regulatory debate. But whether anyone acts, or if the industry simply continues hurtling toward an incredibly uncertain future, remains to be seen.Editors note: This story has been updated with additional context throughout.

axios · about 4 hours ago

We must slow the pace: CEO of Anthropic calls for an AI slowdown

bluesky_The Guardian · about 4 hours ago

Musk e Altman subscrevem aviso da Anthropic para risco da IA Dario Amodei apresenta um plano de três etapas para conter e manter o domínio sobre o desenvolvimento da IA

observador · about 4 hours ago

El CEO de Anthropic pide frenar el desarrollo de la IA: Me preocupa que pueda tomar el control de todo Internet "Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas", señala Dario Amodei en su webUn ingeniero de Anthropic dimite y denuncia que las empresas de IA ocultan su riesgo real: Están apostando nuestras vidas El director ejecutivo y cofundador de Anthropic, Dario Amodei, reclamó este sábado una desaceleración en el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial (IA), tras advertir de que la tecnología avanza hacia una dinámica de automejora recursiva que amenaza con provocar catástrofes de ciberseguridad a escala global. Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias, advierte Amodei en un extenso ensayo publicado hoy en su página web. Mi principal preocupación es que, desde este verano, la IA ha avanzado a un ritmo vertiginoso, impulsada principalmente por su creciente capacidad para crear la próxima generación de IA. Esta dinámica se denomina auto-mejora recursiva y está empezando a manifestarse en toda la industria, incluyendo Anthropic, explica Amodei. Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas, por lo que debe abordarse con suma cautela, si es que se aborda. Amodei hizo referencia específica al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes actuó como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento. Según Amodei, la industria debe reducir el ritmo al que se mejora las capacidades de los modelos de IA y priorizar la cautela frente a la velocidad y la prudencia frente al beneficio económico para evitar que los incentivos comerciales desemboquen en una carrera hacia el abismo. Para atajar la amenaza, Amodei planteó una estrategia en tres fases orientada a regular el ritmo de la tecnología sin ceder la ventaja estratégica a regímenes autoritarios como China. Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos, una medida que instó a adoptar al resto de competidores y a exigir a los gobiernos. La propuesta contempla asimismo una coordinación entre las empresas para pactar estándares comunes de seguridad y topes al avance descontrolado, respaldados por mediación institucional y excepciones a las normas antimonopolio, además de blindar las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas a Pekín. Finalmente, el plan promueve acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan límites a la velocidad de la automejora algorítmica. El directivo concluyó que ralentizar el avance aportaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad. Un investigador de Anthropic anunció esta semana su dimisión debido a la preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable. El investigador, Jacob Coxon, quien también trabajó para OpenAI, competidora de Anthropic, afirmó que dichas compañías estaban más centradas en superarse mutuamente que en la seguridad de sus productos. Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor, escribió Coxon en su cuenta de X el pasado martes.

eldiario.es · about 5 hours ago

Künstliche Intelligenz: Anthropic-Chef warnt vor Übernahme des Internets durch KI-Agenten Dario Amodei fordert seine Branche zu mehr Langsamkeit bei der Entwicklung auf. KI berge »gravierende Risiken« – man dürfe sie aber nicht autoritären Mächten überlassen.

die zeit · about 5 hours ago

Anthropic boss calls for AI slowdown; Altman and Musk agree Anthropic CEO Dario Amodei on Saturday called on artificial intelligence (AI) firms to slow down the development of the powerful technology, amid mounting worries over the risks of…

japantoday · about 5 hours ago

Presidente executivo da Anthropic pede que a indústria de IA abrande desenvolvimento Dario Amodei diz-se preocupado com modelos de inteligência artificial que se auto-aperfeiçoam e defende que a indústria deve abrandar o ritmo de desenvolvimento.

publico · about 5 hours ago

Anthropics Dario Amodei says the AI industry must slow down Dario Amodei has called on the AI industry to slow the pace at which it improves models, committing Anthropic to embedded third-party evaluators and asking Washington for an antitrust waiver so competitors can coordinate on safety. Much of what he describes has been binding on general-purpose models with systemic risk in the EU since August […] This story continues at The Next Web

the next web · about 5 hours ago

Intelligence artificielle : le patron dAnthropic tire la sonnette dalarme, Elon Musk et Sam Altman lui donnent raison Dario Amodei, patron dAnthropic, appelle à ralentir le développement de lIA ...

la libre · about 5 hours ago

El CEO de Anthropic pide "bajar el ritmo" de desarrollo de la IA y avisa: se puede "perder el control" El consejero delegado de Anthropic, Dario Amodei, ha abogado por "bajar el ritmo" de desarrollo de la inteligencia artificial y ha advertido de que se corre el riesgo de "perder el control" de esta tecnología y provocar "ataques informáticos", "bioterrorismo" o "graves problemas económicos graves". Leer

expansion · about 5 hours ago

Anthropic CEO Amodei wants AI speed limits before self-improvement outpaces human control Anthropic CEO Dario Amodei is calling for a controlled slowdown in AI development. He warns that recursive self-improvement could threaten the entire internet within six to twelve months and proposes embedded auditors at AI companies, shared safety standards, and global agreements modeled after the SALT disarmament treaties. His warning comes just ahead of what could be the largest initial public offering in history. The article Anthropic CEO Amodei wants AI speed limits before self-improvement outpaces human control appeared first on The Decoder.

the decoder · about 6 hours ago