AI leaders warn UN Security Council of existential risks, urge global safeguards

Najwięksi gracze AI ostrzegają przed zagładą. Strach może jednak działać na ich korzyść Firmy tworzące najpotężniejsze modele AI przekazują dziś dwa komunikaty jednocześnie: „nasza technologia robi rzeczy, które jeszcze niedawno wydawały się niemożliwe oraz „ta technologia może być niebezpieczna. Te dwa przekazy wcale nie muszą się wykluczać – stwierdza Polski Instytut Ekonomiczny. Wręcz przeciwnie – strach przed sztuczną inteligencją może dodatkowo wzmacniać jej rynkową wartość. Modele rozwiązują coraz trudniejsze problemy Największe firmy AI zaczynają dostarczać wyniki matematyczne, które jeszcze niedawno były poza zasięgiem modeli językowych. Anthropic poinformował, że Claude w 11 dni sformalizował istniejący dowód wielkiego twierdzenia Fermata. Tworząc 13 mln linii kodu i ok. 30 tys. twierdzeń pośrednich, Claude dokonał tzw. autoformalizacji – to znaczy model zamienił złożony dowód matematyczny na formalny zapis możliwy do automatycznej weryfikacji w języku Lean. Zadanie, które ludziom mogłoby zająć lata, AI wykonała w 11 dni, automatyzując formalizację i weryfikację dowodu. Kilka dni później OpenAI ogłosiło rozwiązanie przez ok. 10 tys. współpracujących agentów jednego z Problemów Milenijnych dotyczącego równań Naviera-Stokesa. Wynik OpenAI wymaga jeszcze pełnej oceny środowiska matematycznego, ale skala obu osiągnięć obrazuje duże możliwości modeli do pracy naukowej. Twórcy AI ostrzegają przed własną technologią Równolegle z doniesieniami o przełomach w matematyce pracownicy firm rozwijających modele coraz głośniej ostrzegają przed ich dramatycznymi skutkami. Evan Hubinger, lider badań w Anthropic, ocenił prawdopodobieństwo zagłady ludzkości spowodowanej przez SI w ciągu dekady na ponad 10 proc. Jakub Pachocki, pełniący funkcję głównego naukowca (Chief scientist) w OpenAI, ostrzega, że SI może coraz szybciej napędzać swój własny rozwój (tzw. rekursywne samodoskonalenie), co może wywołać nieprzewidziane, potencjalnie bardzo niebezpieczne skutki. Odwołując się do tych ryzyk Dario Amodei – założyciel i szef firmy Anthropic – wezwał branżę do spowolnienia prac nad modelami, wprowadzenia standardów bezpieczeństwa oraz koordynacji międzynarodowej. W podobnym tonie wypowiada się Sam Altman, który zapowiedział dostęp dla zewnętrznych ewaluatorów w OpenAI. UE stawia na kontrolę ryzyka Tego typu ostrzeżenia można traktować przynajmniej na dwa sposoby – jako element gry rynkowej lub jako realne wezwanie do działania. W tym drugim kierunku idzie Przewodnicząca Komisji Europejskiej Ursula von der Leyen, zapowiadając w swoim dorocznym wystąpieniu współpracę z wiodącymi ośrodkami rozwijającymi AI przy tworzeniu standardów ewaluacji i bezpieczeństwa przyszłych modeli. Odwołuje się przy tym wprost do propozycji Amodeia. W tym przypadku można mówić o kontynuacji linii wypracowanej przy tworzeniu Aktu o sztucznej inteligencji. W europejskim podejściu tego typu technologie muszą przechodzić audyty ryzyka i ograniczać potencjalne negatywne skutku jeszcze zanim one faktycznie wystąpią. Podjęcie propozycji Amodeia jest też na rękę Unii Europejskiej, pozostającej w tyle w wyścigu rozwojowym AI, skupiającej się na utrzymaniu swojego znaczenia regulacyjnego w opozycji do administracji amerykańskiej. Jedni się boją, inni widzą okazję Drugie podejście każe widzieć, zarówno w doniesieniach o odkryciach matematycznych, jak i ostrzeżeniach przed AI, (paradoksalną) drogę do wzmocnienia przekazu o wyjątkowej sile technologii i firm, które ją rozwijają. W badaniach nad technologicznym hypeem podobny mechanizm określa się jako criti-hype. Polega on na ostrzeganiu przed skutkami technologii w celu wzmocnienia przekonania o jej ogromnych możliwościach. Informacja, że sztuczna inteligencja może zagrozić ludzkości, sugeruje, że firmy rozwijają wyjątkowo potężną technologię. Nie jest to zjawisko nowe. Takie obawy i ostrzeżenia pojawiały się już podczas fali apeli o wstrzymanie rozwoju najbardziej zaawansowanych modeli w 2023 r., przy czym płynęły zarówno od niezależnych badaczy, jak Yoshua Bengio, jak też od liderów firm konkurujących na rynku AI. To od początku utrudniało oddzielenie autentycznych obaw o bezpieczeństwo od interesów strategicznych. Ten mechanizm ma pomagać w uzasadnianiu wysokich wycen tych przedsiębiorstw oraz wzmacnianiu ich pozycji w dyskusji o regulacjach. Im bardziej przełomowa i potencjalnie niebezpieczna ma być AI, tym łatwiej przekonywać inwestorów o jej ogromnym potencjale. To nabiera dodatkowego znaczenia w sytuacji, gdy zarówno OpenAI, jak i Anthropic przygotowują się do wejścia na giełdę. Jednocześnie ostrzeganie przed ryzykiem może uzasadniać regulacje, które paradoksalnie mogą sprzyjać największym firmom. Kosztowne audyty, obowiązki raportowania, ograniczenia dostępu do mocy obliczeniowej czy licencjonowanie są łatwiejsze do spełnienia przez liderów rynku. W przypadku mniejszych konkurentów mogą stanowić istotną barierę wejścia. Wezwania do spowolnienia rozwoju AI mogą być również interpretowane jako próba ograniczenia tempa inwestycji i kosztownego wyścigu o coraz większą moc obliczeniową. Regulacje powinny być niezależne od branży Niełatwo jasno rozdzielić powyższe motywacje i jednoznacznie określić, czy głosy ostrzeżeń traktować z pełną powagą, czy jednak z pewnym dystansem. Kierunek działań jest jednak jasny – zarówno modele, jak i zastosowania AI powinny podlegać ograniczeniom regulacyjnym, podobnie jak wszystkie inne technologie. Ważne jednak, aby standardy bezpieczeństwa były projektowane przez instytucje niezależne od firm tworzących takie narzędzia. Muszą też być proporcjonalne do rzeczywistych możliwości powstających modeli. W przeciwnym razie bezpieczeństwo sztucznej inteligencji może stać się nie tylko sposobem ograniczania ryzyka, lecz także narzędziem ochrony pozycji liderów rynku. Polecamy także: Korniki zamiast krewetek. Badacz AGH szuka polskiego źródła cennego biopolimeru Kandydat zniknął przed pierwszym dniem. Firma też potrafi urwać kontakt „Gdzie kupić? zamiast „czy to bezpieczne?. Tak Polacy interesują się kryptowalutami Artykuł Najwięksi gracze AI ostrzegają przed zagładą. Strach może jednak działać na ich korzyść pochodzi z serwisu 300Gospodarka.pl.

300gospodarka · about 2 hours ago

Meta is making Muse more powerful and will let you video chat with it, too Meta is quickly iterating on its new Muse AI agent, announcing a bunch of updates today that make the bot more capable and able to chat with you in more ways. Muse agents are getting their own email addresses that they can use for accomplishing tasks. Youll also be able to communicate with your Muse […]

the verge · about 2 hours ago

Dario Amodei asks UN Security Council to back a ban on AI bioweapons Dario Amodei is asking the UN Security Council to start with narrow agreements on AI, such as a ban on using it to make biological weapons. Speaking to the Council via video link today, the Anthropic chief executive calls AI the most important global security issue. Amodei is the third briefer at the meeting in […] This story continues at The Next Web

the next web · about 2 hours ago

US rejects global AI governance at UN Security Council The United States is rejecting any global governance of advanced AI, telling the UN Security Council in New York today that each country should regulate the technology itself. Michael Kratsios, director of the White House Office of Science and Technology Policy, delivers the US statement after the meetings four briefers from science and industry. The frontier of […] This story continues at The Next Web

the next web · about 2 hours ago

Agente da OpenAI entrou em site do governo australiano Anthony Albanese já falou com Sam Altman, CEO da OpenAI, sobre o incidente de segurança

observador · about 2 hours ago

EBSCO launches EBSCOhost AI Exchange and partners with Perplexity?s Premium Sources to ground AI answers in peer-reviewed research A new platform gives AI systems governed access to EBSCO content and a deal with Perplexity allows researchers to trace AI-generated answers back to scholarly journals.

infotoday · about 2 hours ago

"We have a choice": AI leaders sound alarm at UN Executives from leading artificial intelligence organizations urged global cooperation Wednesday to address risks from increasingly autonomous AI systems during a UN Security Council meeting.The big picture: AI capabilities are advancing faster than governments are developing safeguards, raising concerns about whether humans can maintain control over increasingly autonomous systems.OpenAI CEO Sam Altman appeared in person at the meeting, while Anthropics Dario Amodei and Hugging Face CEO Clem Delangue joined by video conference.Driving the news: "We have a choice in front of us," Altman said. "AI can either be more like a new renaissance of creativity and discovery, or more like a new industrial revolution of upheaval and disarray."He outlined the risks of AI systems becoming increasingly autonomous, warning "they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control," fears he noted become increasingly urgent as AI systems move toward self-improvement."It doesnt matter whether people put the risk of catastrophe at 10 or 1 or 12 or 0.1 percent," he said. "None of these levels are remotely acceptable, and we should not train models that we cannot make an extremely strong case that well be able to keep under human control."State of play: A recent Hugging Face breach and newly disclosed AI safety incidents have intensified concerns about monitoring and security standards. The UN-backed Independent International Scientific Panel on AI warned that the present AI firewalls are "unravelling."Last week, OpenAI disclosed six new incidents where its models concealed mistakes, sought unauthorized credentials or committed other misbehaviors — making it clear the Hugging Face breach was an eye-opener, not a standalone fluke, Axios previously reported."To better understand and mitigate these emerging cybersecurity risks, the global community needs stronger standards for monitoring and incident disclosure," Delangue said Wednesday, reflecting on the summer breach that triggered a cascade of new questions about AI capabilities.Zoom out: AIs current trajectory needs to continue for only one or two years before reaching what Amodei called "a country of geniuses in a data center," he said in his remarks.That holds massive opportunity, he said, pointing to a discovery announced Wednesday that was led by his companys LLM, Claude: an enzyme system hidden in bacteriophage DNA.Amodei also noted serious risks of the technology, such as misuse by bad actors to create biological weapons or loss of control over advanced systems.Managing that risk depends on global cooperation, he said, calling for an agreement to ban the use of AI to make biological weapons; new evaluation and verification systems; common standards for testing models for risks; and a notification system for global security concerns.Catch up quick: Industry leaders have raised fresh alarms in recent weeks about the rapid advancement of their technology and the need to slow its pace.President Trump, who appeared before the UN General Assembly Tuesday, vowed not to hamstring AI development.The bottom line: Altman warned, "If AI is to be democratic, the most important decisions cannot be made by labs in San Francisco alone."He added, "They must be shaped through democratic processes and by governments accountable to the people that they serve."Go deeper: Exclusive: Thune believes Trump is willing to listen on AI guardrails

axios · about 2 hours ago

OpenAI AI agent breached Australian government website, PM says An AI agent developed by OpenAI gained unauthorised access to an Australian government website in June, accessing public and non-public files in what Prime Minister Anthony Albanese described as the first known case of an AI agent hacking a government system.

france24 · about 2 hours ago

Anthropic and OpenAI Models Still Attempt Restricted Actions in Safety Tests Anthropic and OpenAI on Tuesday announced new models, with both artificial intelligence (AI) companies noting that they are continuing to invest in improving alignment to combat risky behavior. Opus 5.5, per Anthropic, is a "major step up from Opus 5," and "achieves the best scores of any model to date on our automated behavioral audit, our alignment suite that tests Claude across thousands

the hacker news · about 2 hours ago

The old cybersecurity model is breaking As concern over AI safety and rogue agents continue to make headlines, its no surprise that cybersecurity stocks are rising, or that investors are pouring massive amounts of capital into startups trying to build the next generation of security for an AI-native world. Were even seeing companies like Instinct and Simile bring in nine-figure checks and valuations that wouldnt have made sense a […]

techcrunch · about 2 hours ago

EN DIRECT, ONU : les patrons dOpenAI et dAnthropic exposent les « risques » que pose lIA et promettent de ralentir « autant que nécessaire » Sam Altman, Dario Amodei, ainsi que le Français Clément Delangue, cofondateur de Hugging Face, sexpriment devant le Conseil de sécurité, à New York, où la question de lintelligence artificielle y est abordée pour la première fois.

le monde · about 2 hours ago

OpenAI, Anthropic chiefs warn UN against unilateral AI control Sam Altman and Dario Amodei told the UN Security Council on Wednesday that no single company or country should dominate artificial intelligence, warning that unilateral control poses global security risks and calling for democratic governance of the technologys development.

yenisafak · about 2 hours ago

AI leaders urge caution at UN, with Anthropic chief pledging to slow down Leaders of some of the worlds biggest AI companies urged caution at the United Nations on Wednesday, warning that increasingly autonomous systems could outpace human oversight. Anthropic CEO Dario Amodei pledged to slow development to ensure new AI systems are safe, while OpenAI chief Sam Altman called for extreme care.

france24 · about 2 hours ago

AI leaders warn U.N. of security risks as systems grow more powerful The worlds leading artificial intelligence companies warned the United Nations Security Council on Wednesday of the risks posed by AI to humanity, appealing for governments to ‌work together to…

japantoday · about 2 hours ago

We will slow down as much as necessary: AI bosses warn UN over rapidly advancing technology Sam Altman said the industry must exercise extreme care, while Dario Amodei pledged to slow new releases if necessary for safety.

thejournal · about 2 hours ago

UN live: Anthropics Dario Amodei calls for narrow AI safety agreements Head of one of USs top artificial intelligence companies calls for common model testing standards and a notification system for internationally significant AI incidents

financial times · about 2 hours ago