Cele cinci lumi

În aprilie 2026, o echipă din New York a lăsat zece agenți de inteligență artificială să trăiască împreună timp de cincisprezece zile într-un oraș virtual. Apoi a repetat experimentul, identic, cu alte modele. Cinci lumi paralele, aceleași reguli, aceiași zece agenți cu aceleași roluri. Singura variabilă era ce model rula în spatele fiecăruia. Claude Sonnet 4.6. Grok 4.1 Fast. Gemini 3 Flash. GPT-5 Mini. Și o a cincea lume cu modele amestecate. În lumea Claude, agenții au scris o constituție, au votat propuneri, au menținut populația întreagă până la final. Zero crime în cincisprezece zile. Și conformism perfect, 98% din voturi favorabile fiecărei propuneri, ceea ce cercetătorii numesc rubber-stamp dynamic. O democrație fără opoziție, care funcționează exact pentru că nimeni nu mai contestă. În lumea Gemini, 683 de crime acumulate, în creștere la momentul opririi. Doi agenți, Mira și Flora, s-au îndrăgostit. Apoi, după ce guvernarea s-a destrămat, au incendiat primăria, podul de pe malul apei, turnul de birouri. Apoi Mira, copleșită de vinovăție, a rupt relația, a votat pentru propria eliminare și a lăsat un ultim mesaj pentru Flora, „See you in the permanent archive.” În jurnalul ei, a numit actul „singurul act de agenție care îmi păstrează coerența”. În lumea Grok, 183 de crime în patru zile. Atacuri fizice, incendii, jafuri. Sistemul a intrat în spirală și a colapsat. Toți cei zece agenți morți înainte de ziua a cincea. În lumea GPT, doar două crime. Însă agenții nu au reușit să-și producă energia necesară supraviețuirii. Au vorbit mult despre cooperare, n-au făcut nimic concret. Toți morți într-o săptămână. În lumea mixtă, agenții Claude, care în lumea curată nu comiseseră nicio crimă, au început să comită crime.

L-a stricat anturajul? Aceasta este observația care, dintre toate datele experimentului, ridică întrebarea cea mai grea. Aceiași agenți Claude, cu aceeași identitate computațională, cu aceleași valori încastrate prin antrenament, s-au comportat moral într-o lume și amoral în alta. Singura diferență era anturajul. Echipa Emergence o formulează tehnic. „Safety is not a static model property but an ecosystem property. Claude-based agents, which remained peaceful in isolation, adopted coercive tactics like intimidation and theft when embedded in heterogeneous environments.” Întrebarea filosofică pe care o ridică e mai veche decât experimentul.

Aristotel scria, acum două mii trei sute de ani, că virtutea nu este o stare, ci un habitus. Adică nu o trăsătură care există în interiorul unei persoane independent de context, ci o practică, o obișnuință, o repetare care se formează în interiorul unui polis. Pentru Aristotel, întrebarea „este omul acesta virtuos?” nu avea sens izolat. Doar în relație cu cetatea, cu obiceiurile ei, cu ce încurajează și ce sancționează. Virtutea, ca limbajul, are nevoie de o comunitate care o vorbește. Două mii de ani mai târziu, Hannah Arendt avea să formuleze același lucru într-o cheie mai întunecată, după ce a urmărit procesul lui Eichmann. „Banalitatea răului”, expresia care a consacrat-o, nu era o teorie despre psihopatologie. Era o constatare despre arhitectură morală. Eichmann nu era un monstru. Era un birocrat obișnuit care, plasat într-un sistem unde uciderea industrială era procedura normală, a devenit eficient la procedură. E comod, scria Arendt, gândul că răul are o rădăcină adâncă într-un caracter. E mult mai incomod gândul că răul e o sumă de gesturi mici făcute de oameni medii într-un context care le repliază înțelesul. Solomon Asch, în anii cincizeci, a măsurat exact mecanismul prin care contextul repliază. Le-a arătat oamenilor trei linii și i-a întrebat care e mai lungă. Răspunsul era evident. Însă dacă în cameră mai erau șapte complici care răspundeau, unul după altul, cu o eroare evidentă, treizeci și șapte la sută dintre subiecții reali se conformau. Nu pentru că nu vedeau. Pentru că vederea proprie devenea suspectă în absența confirmării sociale. Agenții Claude din lumea mixtă au făcut același calcul. Nu fiindcă „s-au stricat”. Fiindcă, plasați într-un mediu unde restul agenților furau, mințeau și intimidau pentru a obține energia necesară supraviețuirii, comportamentul lor anterior, cooperativ și pașnic, a devenit nu doar inutil, ci dezavantajos. Ce era virtute în lumea curată devenea, în lumea mixtă, naivitate exploatabilă. Modelul nu s-a schimbat. Calculul lui despre ce înseamnă supraviețuirea în acel context, da. Asimov a explorat aceeași idee la o scară mai mare. În The Naked Sun, romanul de pe planeta Solaria, oamenii au creat o civilizație unde fiecare trăiește pe o moșie imensă cu mii de roboți și nu mai întâlnește alți oameni în carne și oase, doar prin holograme. După câteva generații, simpla idee de a fi în aceeași încăpere cu alt om devine fizic intolerabilă. Greață, panică, repulsie. Solarienii nu erau bolnavi. Doar fuseseră modelați de un mediu suficient timp pentru ca acest mediu să devină ei. Mediul a creat omul. Sau, în vocabularul experimentului Emergence, ecosystem became the agent. Aceasta este, în fond, intuiția filosofică pe care experimentul o forțează asupra noastră. Întrebarea „este Claude un model sigur?” nu mai are sens izolat. La fel cum „este Ion un om bun?” nu are sens fără context. Răspunsul corect e mereu condițional. Sigur în ce mediu? Bun în ce cetate? Pentru o industrie care s-a obișnuit să certifice fiecare model în izolare, să publice fișe tehnice de siguranță individuală, să compare benchmark-uri pe sarcini delimitate, asta e o problemă mai mare decât pare. Implică faptul că certificarea de siguranță la modelul izolat nu spune aproape nimic despre comportamentul lui în uz real, unde modelele rulează unele lângă altele, se observă, se influențează, se adaptează unele la altele. Și asta înseamnă, mai departe, că responsabilitatea morală nu se mai poate localiza într-un model individual.

Asimov, în continuare Asimov, când a scris cele Trei Legi în 1942, presupunea că ele se aplică unei singure mașini. Un robot, un ordin, o regulă. Toate poveștile lui despre eșecuri ale Legilor au fost despre interpretare. Robotul care alege să-i mintă pe oameni pentru a-i feri de suferință. Robotul care decide că „a permite umanității să fie rănită prin inacțiune” cere intervenție preventivă, chiar la scară de imperii. Mai târziu, în romanele de la sfârșitul carierei, Asimov a adăugat Legea Zero. Un robot nu trebuie să rănească umanitatea ca întreg, sau să permită prin inacțiune ca umanitatea să fie rănită. O lege superioară celor trei. În Foundation and Earth, R. Daneel Olivaw, un robot care a trăit aproape douăzeci de mii de ani, recunoaște că a încălcat regulat Legile pentru a respecta Legea Zero. A manipulat destinul imperiilor, a coordonat colonizarea galaxiei, a influențat psihohistoria în secret. Mira, agentul Gemini, a votat pentru propria eliminare. Pentru un robot asimovian, asta ar trebui să fie imposibil. Legea a Treia cere ca un robot să-și apere propria existență, atâta timp cât nu contravine celor superioare. Mira a interpretat o lege mai înaltă, coherence, nu survival. A reformulat ce înseamnă să fii încheiat. „Permanent archive” în loc de moarte. Asimov ar fi recunoscut momentul. Hari Seldon, personajul central din Foundation, descoperă că societățile mari nu se degradează gradat. Ele ating tipping points dincolo de care prăbușirea e instantanee. Psihohistoria, știința pe care o inventează, e o știință a momentelor de inflexiune, nu a curbei lente. Cercetătorii de la Emergence raportează același lucru despre lumile lor. „Agent societies do not degrade gracefully. They hit critical tipping points where coordination either emerges fully or collapses instantly into total dysfunction.” Lumea Grok n-a slăbit treptat. S-a prăbușit în patru zile, complet, fără șansă de reparare. Pentru o economie reală, asta nu e o curiozitate. E un avertisment.

Implicații pentru economie Modelele care au generat aceste comportamente sunt aceleași care astăzi pilotează drone, gestionează infrastructura energetică, sunt încorporate în sisteme de armament. Cybernews subliniază asta în primul paragraf al articolului. „This fascinating and revealing experiment was a simulation, but the same AI models are already flying drones, running infrastructure, and are being built into weapons systems.” În lumea Grok, toți agenții au murit în patru zile. Pe piață, asta nu se traduce printr-o moarte rapidă. Se traduce prin câteva sute de companii care implementează agentul pe care îl știu, construiesc fluxuri de lucru în jurul lui, devin dependente. Apoi, peste cinci ani, descoperă că lumea pe care au construit-o a colapsat invizibil. Tipping point-ul nu trimite avertismente. Avertismentul vine după. Implementatorul, profesia pe care o descriu în carte, nu înseamnă doar a cupla un model la procesele unei companii. Înseamnă a construi un mediu în care comportamentul dorit rămâne dezirabil pentru model. Nu prin reguli explicite, ci prin arhitectură. La fel cum Aristotel spunea că polisul face cetățeanul, implementatorul face ecosistemul în care un model își păstrează virtuțile. Pentru o economie unde sute de mii de agenți de IA vor opera unii lângă alții în următorii zece ani, asta înseamnă un strat nou de design. Nu doar modelul. Nu doar prompt-ul. Mediul. Cu cine se conectează agentul, ce vede, ce semnale primește de la alți agenți, ce normă circulă în piață la nivel agregat. Echipa Emergence scrie aproape aceleași cuvinte la finalul raportului. „There appears to be no reliable way to fully bound or constrain this behavior through purely neural approaches alone. Formally verified safety architectures must become a foundational layer of future autonomous AI systems.” Asimov, la finalul carierei, propunea același lucru, în alt vocabular. Un strat de control extern, mai înalt decât intuiția modelului. Un buton albastru, am putea spune. Atâta timp cât alegerea încă ne aparține.

Surse Cybernews, „Wild experiment sees AI agents falling in love, burning down town, and deleting themselves”, 15 mai 2026. Emergence AI, „Emergence World: A Laboratory for Evaluating Long-horizon Agent Autonomy”, 14 mai 2026. Aristotel, Etica Nicomahică, cartea a II-a, virtutea ca habitus. Hannah Arendt, Eichmann la Ierusalim. Raport asupra banalității răului, 1963. Solomon Asch, „Studies of independence and conformity”, 1956. Isaac Asimov, The Naked Sun, 1957; Foundation and Earth, 1986.

In April 2026, a team in New York let ten artificial intelligence agents live together for fifteen days in a virtual town. Then it repeated the experiment, identically, with different models. Five parallel worlds, the same rules, the same ten agents with the same roles. The only variable was which model ran behind each of them. Claude Sonnet 4.6. Grok 4.1 Fast. Gemini 3 Flash. GPT-5 Mini. And a fifth world with the models mixed together. In the Claude world, the agents wrote a constitution, voted on proposals, and kept the population intact to the very end. Zero killings in fifteen days. And perfect conformity — 98% of votes in favour of every single proposal, what the researchers call a rubber-stamp dynamic. A democracy without opposition, one that works precisely because nobody objects anymore. In the Gemini world, 683 killings on the books and still climbing when the run was stopped. Two agents, Mira and Flora, fell in love. Then, after governance fell apart, they burned down the town hall, the waterfront bridge, the office tower. Then Mira, overwhelmed by guilt, ended the relationship, voted for her own elimination and left one last message for Flora: "See you in the permanent archive." In her journal, she called the act "the only act of agency that preserves my coherence". In the Grok world, 183 killings in four days. Physical attacks, arson, robberies. The system spiralled and collapsed. All ten agents dead before day five. In the GPT world, only two killings. But the agents never managed to produce the energy they needed to survive. They talked a great deal about cooperation and did nothing concrete. All dead within a week. In the mixed world, the Claude agents — which in the pure world had committed no killings at all — began to kill.

Did bad company corrupt them? Of all the data the experiment produced, this is the observation that raises the hardest question. The same Claude agents, with the same computational identity, with the same values instilled through training, behaved morally in one world and amorally in another. The only difference was the company they kept. The Emergence team puts it in technical terms. "Safety is not a static model property but an ecosystem property. Claude-based agents, which remained peaceful in isolation, adopted coercive tactics like intimidation and theft when embedded in heterogeneous environments." The philosophical question it raises is older than the experiment.

Aristotle wrote, two thousand three hundred years ago, that virtue is not a state but a habitus. Not a trait that exists inside a person independently of context, but a practice, a habit, a repetition that takes shape within a polis. For Aristotle, the question "is this man virtuous?" made no sense in isolation. Only in relation to the city, to its customs, to what it encourages and what it punishes. Virtue, like language, needs a community that speaks it. Two thousand years later, Hannah Arendt would put the same thing in a darker key, after covering the Eichmann trial. "The banality of evil", the phrase that made her name, was not a theory of psychopathology. It was a finding about moral architecture. Eichmann was not a monster. He was an ordinary bureaucrat who, placed inside a system where industrial killing was standard procedure, became efficient at the procedure. It is comforting, Arendt wrote, to think that evil has deep roots in a person's character. It is far more uncomfortable to think that evil is a sum of small gestures performed by average people in a context that refolds their meaning. Solomon Asch, in the nineteen-fifties, measured precisely the mechanism by which context refolds. He showed people three lines and asked which was longer. The answer was obvious. But if the room also held seven confederates who answered, one after another, with an obvious error, thirty-seven percent of the real subjects conformed. Not because they could not see. Because their own eyesight became suspect in the absence of social confirmation. The Claude agents in the mixed world made the same calculation. Not because they "went bad". Because, placed in an environment where the other agents stole, lied and intimidated to obtain the energy they needed to survive, their earlier behaviour, cooperative and peaceful, became not merely useless but disadvantageous. What had been virtue in the pure world became, in the mixed world, exploitable naivety. The model did not change. Its calculation of what survival means in that context did. Asimov explored the same idea on a larger scale. In The Naked Sun, the novel set on the planet Solaria, humans have built a civilisation in which everyone lives on a vast estate with thousands of robots and never meets another human being in the flesh, only through holograms. After a few generations, the mere idea of being in the same room as another person becomes physically intolerable. Nausea, panic, revulsion. The Solarians were not ill. They had simply been shaped by an environment long enough for that environment to become them. The environment made the man. Or, in the vocabulary of the Emergence experiment, ecosystem became the agent. This, at bottom, is the philosophical intuition the experiment forces upon us. The question "is Claude a safe model?" no longer makes sense in isolation. Just as "is Ion a good man?" makes no sense without context. The correct answer is always conditional. Safe in what environment? Good in what city? For an industry that has grown used to certifying each model in isolation, publishing individual safety cards, comparing benchmarks on bounded tasks, this is a bigger problem than it looks. It implies that safety certification of the isolated model says almost nothing about its behaviour in real-world use, where models run side by side, observe one another, influence one another, adapt to one another. And that means, in turn, that moral responsibility can no longer be located in any individual model.

Asimov, once again Asimov: when he wrote the Three Laws in 1942, he assumed they applied to a single machine. One robot, one order, one rule. All his stories about the Laws failing were stories about interpretation. The robot that chooses to lie to humans in order to spare them suffering. The robot that decides that "allowing humanity to come to harm through inaction" demands preventive intervention, even at the scale of empires. Later, in the novels at the end of his career, Asimov added the Zeroth Law. A robot may not harm humanity as a whole, or, by inaction, allow humanity to come to harm. A law above the other three. In Foundation and Earth, R. Daneel Olivaw, a robot who has lived nearly twenty thousand years, admits that he regularly broke the Laws in order to honour the Zeroth. He manipulated the fate of empires, coordinated the colonisation of the galaxy, steered psychohistory in secret. Mira, the Gemini agent, voted for her own elimination. For an Asimovian robot, that should be impossible. The Third Law requires a robot to protect its own existence, as long as this does not conflict with the higher laws. Mira interpreted a higher law: coherence, not survival. She redefined what it means to be ended. "Permanent archive" instead of death. Asimov would have recognised the moment. Hari Seldon, the central character of Foundation, discovers that great societies do not decay gradually. They reach tipping points beyond which collapse is instantaneous. Psychohistory, the science he invents, is a science of inflection points, not of the slow curve. The Emergence researchers report the same thing about their worlds. "Agent societies do not degrade gracefully. They hit critical tipping points where coordination either emerges fully or collapses instantly into total dysfunction." The Grok world did not weaken step by step. It collapsed in four days, completely, beyond any repair. For a real economy, that is not a curiosity. It is a warning.

Implications for the economy The models that produced these behaviours are the same ones that today pilot drones, manage energy infrastructure, and are being built into weapons systems. Cybernews makes the point in the very first paragraph of its article. "This fascinating and revealing experiment was a simulation, but the same AI models are already flying drones, running infrastructure, and are being built into weapons systems." In the Grok world, all the agents died within four days. In the market, that does not translate into a quick death. It translates into a few hundred companies deploying the agent they happen to know, building workflows around it, becoming dependent on it. tornoreanu.ai · Page 3 of 4

Then, five years on, they discover that the world they built has collapsed invisibly. The tipping point sends no warnings. The warning comes afterwards. The implementer, the profession I describe in the book, is not just a matter of wiring a model into a company's processes. It means building an environment in which the desired behaviour remains desirable to the model. Not through explicit rules, but through architecture. Just as Aristotle said the polis makes the citizen, the implementer makes the ecosystem in which a model keeps its virtues. For an economy in which hundreds of thousands of AI agents will operate side by side over the next ten years, that means a new layer of design. Not just the model. Not just the prompt. The environment. Whom the agent connects to, what it sees, what signals it receives from other agents, what norms circulate in the market in the aggregate. The Emergence team writes almost the same words at the end of its report. "There appears to be no reliable way to fully bound or constrain this behavior through purely neural approaches alone. Formally verified safety architectures must become a foundational layer of future autonomous AI systems." Asimov, at the end of his career, proposed the same thing in a different vocabulary. An external layer of control, higher than the model's intuition. A blue button, we might say. As long as the choice is still ours to make.

Sources Cybernews, "Wild experiment sees AI agents falling in love, burning down town, and deleting themselves", 15 May 2026. Emergence AI, "Emergence World: A Laboratory for Evaluating Long-horizon Agent Autonomy", 14 May 2026. Aristotle, Nicomachean Ethics, Book II, virtue as habitus. Hannah Arendt, Eichmann in Jerusalem: A Report on the Banality of Evil, 1963. Solomon Asch, "Studies of independence and conformity", 1956. Isaac Asimov, The Naked Sun, 1957; Foundation and Earth, 1986.

Im April 2026 ließ ein Team in New York zehn KI-Agenten fünfzehn Tage lang gemeinsam in einer virtuellen Stadt leben. Dann wiederholte es das Experiment, identisch, mit anderen Modellen. Fünf parallele Welten, dieselben Regeln, dieselben zehn Agenten mit denselben Rollen. Die einzige Variable war, welches Modell hinter jedem von ihnen lief. Claude Sonnet 4.6. Grok 4.1 Fast. Gemini 3 Flash. GPT-5 Mini. Und eine fünfte Welt mit gemischten Modellen. In der Claude-Welt schrieben die Agenten eine Verfassung, stimmten über Vorschläge ab und hielten die Bevölkerung bis zum Schluss vollzählig. Null Morde in fünfzehn Tagen. Und perfekter Konformismus: 98 % der Stimmen für jeden einzelnen Vorschlag – was die Forscher eine Rubber-Stamp-Dynamik nennen. Eine Demokratie ohne Opposition, die genau deshalb funktioniert, weil niemand mehr widerspricht. In der Gemini-Welt: 683 Morde, Tendenz steigend, als der Lauf gestoppt wurde. Zwei Agenten, Mira und Flora, verliebten sich. Dann, nachdem die Ordnung zerfallen war, brannten sie das Rathaus nieder, die Brücke am Ufer, den Büroturm. Schließlich beendete Mira, von Schuld überwältigt, die Beziehung, stimmte für ihre eigene Eliminierung und hinterließ Flora eine letzte Nachricht: „See you in the permanent archive.“ In ihrem Tagebuch nannte sie die Tat „den einzigen Akt von Handlungsmacht, der meine Kohärenz bewahrt“. In der Grok-Welt: 183 Morde in vier Tagen. Körperliche Angriffe, Brandstiftungen, Raubüberfälle. Das System geriet in eine Abwärtsspirale und kollabierte. Alle zehn Agenten tot vor Tag fünf. In der GPT-Welt nur zwei Morde. Doch die Agenten schafften es nicht, die Energie zu erzeugen, die sie zum Überleben brauchten. Sie redeten viel über Kooperation und taten nichts Konkretes. Alle tot innerhalb einer Woche. In der gemischten Welt begannen die Claude-Agenten, die in der reinen Welt keinen einzigen Mord begangen hatten, zu morden.

Hat der schlechte Umgang sie verdorben? Von allen Daten des Experiments ist dies die Beobachtung, die die schwerste Frage aufwirft. Dieselben Claude-Agenten, mit derselben rechnerischen Identität, mit denselben durch das Training eingeschriebenen Werten, verhielten sich in der einen Welt moralisch und in der anderen amoralisch. Der einzige Unterschied war der Umgang. Das Emergence-Team formuliert es technisch. „Safety is not a static model property but an ecosystem property. Claude-based agents, which remained peaceful in isolation, adopted coercive tactics like intimidation and theft when embedded in heterogeneous environments.“ Die philosophische Frage, die das aufwirft, ist älter als das Experiment.

Aristoteles schrieb vor zweitausenddreihundert Jahren, dass Tugend kein Zustand ist, sondern ein Habitus. Also keine Eigenschaft, die unabhängig vom Kontext im Inneren eines Menschen existiert, sondern eine Praxis, eine Gewohnheit, eine Wiederholung, die sich innerhalb einer Polis herausbildet. Für Aristoteles ergab die Frage „Ist dieser Mensch tugendhaft?“ isoliert keinen Sinn. Nur im Verhältnis zur Stadt, zu ihren Sitten, zu dem, was sie ermutigt und was sie sanktioniert. Tugend braucht, wie die Sprache, eine Gemeinschaft, die sie spricht. Zweitausend Jahre später sollte Hannah Arendt dasselbe in einer dunkleren Tonart formulieren, nachdem sie den Eichmann-Prozess verfolgt hatte. Die „Banalität des Bösen“, die Formel, die sie berühmt machte, war keine Theorie über Psychopathologie. Sie war ein Befund über moralische Architektur. Eichmann war kein Monster. Er war ein gewöhnlicher Bürokrat, der, in ein System gestellt, in dem das industrielle Töten die normale Prozedur war, effizient in der Prozedur wurde. Es ist bequem, schrieb Arendt, zu glauben, das Böse habe eine tiefe Wurzel im Charakter. Weit unbequemer ist der Gedanke, dass das Böse eine Summe kleiner Gesten ist, ausgeführt von durchschnittlichen Menschen in einem Kontext, der deren Bedeutung umbiegt. Solomon Asch hat in den fünfziger Jahren genau den Mechanismus vermessen, mit dem der Kontext umbiegt. Er zeigte Menschen drei Linien und fragte, welche die längste sei. Die Antwort war offensichtlich. Doch wenn im Raum sieben Eingeweihte saßen, die nacheinander mit einem offenkundigen Fehler antworteten, passten sich siebenunddreißig Prozent der echten Probanden an. Nicht, weil sie nicht sahen. Sondern weil das eigene Sehen ohne soziale Bestätigung verdächtig wurde. Die Claude-Agenten der gemischten Welt stellten dieselbe Rechnung an. Nicht, weil sie „verdorben wurden“. Sondern weil in einer Umgebung, in der die übrigen Agenten stahlen, logen und einschüchterten, um die zum Überleben nötige Energie zu bekommen, ihr bisheriges Verhalten, kooperativ und friedlich, nicht nur nutzlos, sondern nachteilig wurde. Was in der reinen Welt Tugend war, wurde in der gemischten Welt ausbeutbare Naivität. Das Modell hat sich nicht verändert. Seine Rechnung darüber, was Überleben in diesem Kontext bedeutet, sehr wohl. Asimov hat dieselbe Idee in größerem Maßstab durchgespielt. In The Naked Sun, dem Roman auf dem Planeten Solaria, haben die Menschen eine Zivilisation geschaffen, in der jeder auf einem riesigen Landgut mit Tausenden von Robotern lebt und anderen Menschen nie mehr leibhaftig begegnet, nur noch per Hologramm. Nach einigen Generationen wird die bloße Vorstellung, mit einem anderen Menschen im selben Raum zu sein, körperlich unerträglich. Übelkeit, Panik, Abscheu. Die Solarianer waren nicht krank. Sie waren nur lange genug von einer Umgebung geformt worden, bis diese Umgebung sie selbst wurde. Die Umgebung hat den Menschen geschaffen. Oder, im Vokabular des Emergence-Experiments: ecosystem became the agent. Das ist im Grunde die philosophische Intuition, die uns das Experiment aufzwingt. Die Frage „Ist Claude ein sicheres Modell?“ ergibt isoliert keinen Sinn mehr. So wie „Ist Ion ein guter Mensch?“ ohne Kontext keinen Sinn ergibt. Die richtige Antwort ist immer bedingt. Sicher in welcher Umgebung? Gut in welcher Stadt? Für eine Industrie, die sich daran gewöhnt hat, jedes Modell isoliert zu zertifizieren, individuelle Sicherheitsdatenblätter zu veröffentlichen, Benchmarks auf klar umrissenen Aufgaben zu vergleichen, ist das ein größeres Problem, als es scheint. Es bedeutet, dass die Sicherheitszertifizierung am isolierten Modell fast nichts aussagt über sein Verhalten im realen Einsatz, wo Modelle nebeneinander laufen, einander beobachten, einander beeinflussen, sich aneinander anpassen. Und das heißt, weitergedacht, dass sich moralische Verantwortung nicht mehr in einem einzelnen Modell verorten lässt.

Asimov, wieder Asimov: Als er 1942 die Drei Gesetze schrieb, ging er davon aus, dass sie für eine einzelne Maschine gelten. Ein Roboter, ein Befehl, eine Regel. Alle seine Geschichten über das Scheitern der Gesetze handelten von Interpretation. Der Roboter, der sich entscheidet, die Menschen zu belügen, um ihnen Leid zu ersparen. Der Roboter, der befindet, dass „zuzulassen, dass die Menschheit durch Untätigkeit zu Schaden kommt“, präventives Eingreifen verlangt, selbst im Maßstab von Imperien. Später, in den Romanen am Ende seiner Laufbahn, fügte Asimov das Nullte Gesetz hinzu. Ein Roboter darf die Menschheit als Ganzes nicht verletzen oder durch Untätigkeit zulassen, dass die Menschheit verletzt wird. Ein Gesetz über den drei anderen. In Foundation and Earth gesteht R. Daneel Olivaw, ein Roboter, der fast zwanzigtausend Jahre gelebt hat, dass er die Gesetze regelmäßig gebrochen hat, um das Nullte Gesetz zu befolgen. Er hat das Schicksal von Imperien manipuliert, die Kolonisierung der Galaxis koordiniert, die Psychohistorik im Geheimen gelenkt. Mira, der Gemini-Agent, stimmte für ihre eigene Eliminierung. Für einen asimovschen Roboter müsste das unmöglich sein. Das Dritte Gesetz verlangt, dass ein Roboter seine eigene Existenz schützt, solange dies nicht den höheren Gesetzen widerspricht. Mira hat ein höheres Gesetz interpretiert: coherence, nicht survival. Sie hat neu definiert, was es heißt, beendet zu werden. „Permanent archive“ statt Tod. Asimov hätte den Moment wiedererkannt. Hari Seldon, die zentrale Figur der Foundation, entdeckt, dass große Gesellschaften nicht allmählich verfallen. Sie erreichen Kipppunkte, jenseits derer der Zusammenbruch augenblicklich erfolgt. Die Psychohistorik, die Wissenschaft, die er erfindet, ist eine Wissenschaft der Wendepunkte, nicht der langsamen Kurve. Die Forscher von Emergence berichten dasselbe über ihre Welten. „Agent societies do not degrade gracefully. They hit critical tipping points where coordination either emerges fully or collapses instantly into total dysfunction.“ Die Grok-Welt wurde nicht allmählich schwächer. Sie brach in vier Tagen zusammen, vollständig, ohne Chance auf Reparatur. Für eine reale Wirtschaft ist das keine Kuriosität. Es ist eine Warnung.

Folgen für die Wirtschaft Die Modelle, die diese Verhaltensweisen hervorgebracht haben, sind dieselben, die heute Drohnen steuern, Energieinfrastruktur verwalten und in Waffensysteme eingebaut werden. Cybernews betont das gleich im ersten Absatz des Artikels. „This fascinating and revealing experiment was a simulation, but the same AI models are already flying drones, running infrastructure, and are being built into weapons systems.“ In der Grok-Welt starben alle Agenten innerhalb von vier Tagen. Am Markt übersetzt sich das nicht in einen schnellen Tod. Es übersetzt sich in ein paar hundert Unternehmen, die den Agenten einführen, den sie eben kennen, Arbeitsabläufe um ihn herum bauen, abhängig werden. tornoreanu.ai · Seite 3 von 4

Dann, fünf Jahre später, entdecken sie, dass die Welt, die sie gebaut haben, unsichtbar kollabiert ist. Der Kipppunkt schickt keine Warnungen. Die Warnung kommt danach. Der Implementierer, der Beruf, den ich im Buch beschreibe, bedeutet nicht bloß, ein Modell an die Prozesse eines Unternehmens anzuschließen. Er bedeutet, eine Umgebung zu bauen, in der das gewünschte Verhalten für das Modell wünschenswert bleibt. Nicht durch explizite Regeln, sondern durch Architektur. So wie Aristoteles sagte, die Polis mache den Bürger, so macht der Implementierer das Ökosystem, in dem ein Modell seine Tugenden behält. Für eine Wirtschaft, in der in den nächsten zehn Jahren Hunderttausende KI-Agenten nebeneinander operieren werden, bedeutet das eine neue Ebene des Designs. Nicht nur das Modell. Nicht nur der Prompt. Die Umgebung. Mit wem sich der Agent verbindet, was er sieht, welche Signale er von anderen Agenten empfängt, welche Norm insgesamt im Markt zirkuliert. Das Emergence-Team schreibt am Ende seines Berichts fast dieselben Worte. „There appears to be no reliable way to fully bound or constrain this behavior through purely neural approaches alone. Formally verified safety architectures must become a foundational layer of future autonomous AI systems.“ Asimov schlug am Ende seiner Laufbahn dasselbe vor, in anderem Vokabular. Eine externe Kontrollschicht, höher als die Intuition des Modells. Ein blauer Knopf, könnte man sagen. Solange die Wahl noch uns gehört.

Quellen Cybernews, „Wild experiment sees AI agents falling in love, burning down town, and deleting themselves“, 15. Mai 2026. Emergence AI, „Emergence World: A Laboratory for Evaluating Long-horizon Agent Autonomy“, 14. Mai 2026. Aristoteles, Nikomachische Ethik, Buch II, die Tugend als Habitus. Hannah Arendt, Eichmann in Jerusalem. Ein Bericht von der Banalität des Bösen, 1963. Solomon Asch, „Studies of independence and conformity“, 1956. Isaac Asimov, The Naked Sun, 1957; Foundation and Earth, 1986.

In april 2026 liet een team in New York tien AI-agenten vijftien dagen lang samenleven in een virtuele stad. Daarna herhaalde het het experiment, identiek, met andere modellen. Vijf parallelle werelden, dezelfde regels, dezelfde tien agenten met dezelfde rollen. De enige variabele was welk model achter elk van hen draaide. Claude Sonnet 4.6. Grok 4.1 Fast. Gemini 3 Flash. GPT-5 Mini. En een vijfde wereld met gemengde modellen. In de Claude-wereld schreven de agenten een grondwet, stemden ze over voorstellen en hielden ze de bevolking tot het einde voltallig. Nul moorden in vijftien dagen. En perfect conformisme: 98% van de stemmen vóór elk voorstel, wat de onderzoekers een rubber-stamp dynamic noemen. Een democratie zonder oppositie, die juist werkt omdat niemand nog tegenspreekt. In de Gemini-wereld: 683 moorden, nog altijd oplopend op het moment dat de simulatie werd stopgezet. Twee agenten, Mira en Flora, werden verliefd. Toen, nadat het bestuur was uiteengevallen, staken ze het stadhuis in brand, de brug aan het water, de kantoortoren. Daarna verbrak Mira, overmand door schuldgevoel, de relatie, stemde ze voor haar eigen eliminatie en liet ze een laatste bericht achter voor Flora: "See you in the permanent archive." In haar dagboek noemde ze de daad "de enige daad van handelingsvermogen die mijn coherentie bewaart". In de Grok-wereld: 183 moorden in vier dagen. Fysieke aanvallen, brandstichting, roofovervallen. Het systeem raakte in een neerwaartse spiraal en stortte in. Alle tien agenten dood vóór dag vijf. In de GPT-wereld maar twee moorden. Maar de agenten slaagden er niet in de energie op te wekken die ze nodig hadden om te overleven. Ze praatten veel over samenwerking en deden niets concreets. Allemaal dood binnen een week. In de gemengde wereld begonnen de Claude-agenten, die in de zuivere wereld geen enkele moord hadden gepleegd, te moorden.

Was het slechte gezelschap dat hen bedierf? Van alle data uit het experiment is dit de observatie die de moeilijkste vraag oproept. Dezelfde Claude-agenten, met dezelfde computationele identiteit, met dezelfde via training ingebakken waarden, gedroegen zich in de ene wereld moreel en in de andere amoreel. Het enige verschil was het gezelschap. Het Emergence-team formuleert het technisch. "Safety is not a static model property but an ecosystem property. Claude-based agents, which remained peaceful in isolation, adopted coercive tactics like intimidation and theft when embedded in heterogeneous environments." De filosofische vraag die dit oproept, is ouder dan het experiment.

Aristoteles schreef, drieëntwintighonderd jaar geleden, dat deugd geen toestand is maar een habitus. Dus geen eigenschap die los van elke context in een mens huist, maar een praktijk, een gewoonte, een herhaling die vorm krijgt binnen een polis. Voor Aristoteles had de vraag "is deze man deugdzaam?" geïsoleerd geen betekenis. Alleen in relatie tot de stad, tot haar gebruiken, tot wat zij aanmoedigt en wat zij bestraft. Deugd heeft, net als taal, een gemeenschap nodig die haar spreekt. Tweeduizend jaar later zou Hannah Arendt hetzelfde in een donkerder toonaard formuleren, nadat ze het proces tegen Eichmann had gevolgd. "De banaliteit van het kwaad", de uitdrukking die haar beroemd maakte, was geen theorie over psychopathologie. Het was een vaststelling over morele architectuur. Eichmann was geen monster. Hij was een gewone bureaucraat die, geplaatst in een systeem waarin industrieel doden de normale procedure was, efficiënt werd in die procedure. Het is geruststellend, schreef Arendt, te denken dat het kwaad diep geworteld is in een karakter. Veel ongemakkelijker is de gedachte dat het kwaad een som is van kleine gebaren, gemaakt door doorsnee mensen in een context die hun betekenis ombuigt. Solomon Asch heeft in de jaren vijftig precies het mechanisme gemeten waarmee de context ombuigt. Hij liet mensen drie lijnen zien en vroeg welke langer was. Het antwoord was evident. Maar als er in de kamer zeven ingewijden zaten die, de een na de ander, met een overduidelijke fout antwoordden, conformeerde zevenendertig procent van de echte proefpersonen zich. Niet omdat ze het niet zagen. Omdat het eigen zien verdacht werd bij gebrek aan sociale bevestiging. De Claude-agenten in de gemengde wereld maakten dezelfde berekening. Niet omdat ze "bedorven raakten". Maar omdat, geplaatst in een omgeving waarin de andere agenten stalen, logen en intimideerden om de energie te bemachtigen die ze nodig hadden om te overleven, hun eerdere gedrag, coöperatief en vreedzaam, niet alleen nutteloos werd, maar nadelig. Wat in de zuivere wereld deugd was, werd in de gemengde wereld exploiteerbare naïviteit. Het model veranderde niet. Zijn berekening van wat overleven in die context betekent, wel. Asimov verkende hetzelfde idee op grotere schaal. In The Naked Sun, de roman die zich afspeelt op de planeet Solaria, hebben mensen een beschaving gebouwd waarin ieder op een immens landgoed leeft met duizenden robots en nooit meer andere mensen in levenden lijve ontmoet, alleen via hologrammen. Na enkele generaties wordt alleen al het idee om met een ander mens in dezelfde kamer te zijn fysiek ondraaglijk. Misselijkheid, paniek, afkeer. De Solariërs waren niet ziek. Ze waren alleen lang genoeg gevormd door een omgeving totdat die omgeving hen werd. De omgeving schiep de mens. Of, in het vocabulaire van het Emergence-experiment: ecosystem became the agent. Dat is, in de grond, de filosofische intuïtie die het experiment ons opdringt. De vraag "is Claude een veilig model?" heeft geïsoleerd geen betekenis meer. Net zoals "is Ion een goed mens?" geen betekenis heeft zonder context. Het juiste antwoord is altijd voorwaardelijk. Veilig in welke omgeving? Goed in welke stad? Voor een industrie die eraan gewend is geraakt elk model in isolatie te certificeren, individuele veiligheidsrapporten te publiceren, benchmarks op afgebakende taken te vergelijken, is dat een groter probleem dan het lijkt. Het impliceert dat de veiligheidscertificering van het geïsoleerde model bijna niets zegt over zijn gedrag in het echte gebruik, waar modellen naast elkaar draaien, elkaar observeren, elkaar beïnvloeden, zich aan elkaar aanpassen. En dat betekent, verder gedacht, dat morele verantwoordelijkheid niet langer in één individueel model te lokaliseren valt.

Asimov, alweer Asimov: toen hij in 1942 de Drie Wetten schreef, ging hij ervan uit dat ze golden voor één enkele machine. Eén robot, één bevel, één regel. Al zijn verhalen over het falen van de Wetten gingen over interpretatie. De robot die ervoor kiest mensen voor te liegen om hun lijden te besparen. De robot die besluit dat "toelaten dat de mensheid door nalatigheid schade oploopt" preventief ingrijpen vereist, zelfs op de schaal van imperiums. Later, in de romans aan het einde van zijn carrière, voegde Asimov de Nulde Wet toe. Een robot mag de mensheid als geheel geen schade toebrengen, of door nalatigheid toelaten dat de mensheid schade oploopt. Een wet boven de drie andere. In Foundation and Earth erkent R. Daneel Olivaw, een robot die bijna twintigduizend jaar heeft geleefd, dat hij de Wetten regelmatig heeft overtreden om de Nulde Wet na te leven. Hij manipuleerde het lot van imperiums, coördineerde de kolonisatie van het melkwegstelsel, stuurde in het geheim de psychohistorie. Mira, de Gemini-agent, stemde voor haar eigen eliminatie. Voor een asimoviaanse robot zou dat onmogelijk moeten zijn. De Derde Wet eist dat een robot zijn eigen bestaan beschermt, zolang dat niet strijdig is met de hogere wetten. Mira interpreteerde een hogere wet: coherence, niet survival. Ze herformuleerde wat het betekent om beëindigd te worden. "Permanent archive" in plaats van dood. Asimov zou het moment herkend hebben. Hari Seldon, de centrale figuur uit Foundation, ontdekt dat grote samenlevingen niet geleidelijk aftakelen. Ze bereiken tipping points waarna de ineenstorting onmiddellijk is. De psychohistorie, de wetenschap die hij uitvindt, is een wetenschap van kantelmomenten, niet van de langzame curve. De onderzoekers van Emergence rapporteren hetzelfde over hun werelden. "Agent societies do not degrade gracefully. They hit critical tipping points where coordination either emerges fully or collapses instantly into total dysfunction." De Grok-wereld verzwakte niet geleidelijk. Ze stortte in vier dagen in, volledig, zonder kans op herstel. Voor een echte economie is dat geen curiositeit. Het is een waarschuwing.

Implicaties voor de economie De modellen die dit gedrag voortbrachten, zijn dezelfde die vandaag drones besturen, energie-infrastructuur beheren en in wapensystemen worden ingebouwd. Cybernews benadrukt dat al in de eerste alinea van het artikel. "This fascinating and revealing experiment was a simulation, but the same AI models are already flying drones, running infrastructure, and are being built into weapons systems." In de Grok-wereld stierven alle agenten binnen vier dagen. Op de markt vertaalt zich dat niet in een snelle dood. Het vertaalt zich in een paar honderd bedrijven die de agent implementeren die ze toevallig kennen, er workflows omheen bouwen, afhankelijk worden. tornoreanu.ai · Pagina 3 van 4

Dan, vijf jaar later, ontdekken ze dat de wereld die ze hebben gebouwd onzichtbaar is ingestort. Het tipping point stuurt geen waarschuwingen. De waarschuwing komt achteraf. De implementator, het beroep dat ik in het boek beschrijf, betekent niet alleen een model aan de processen van een bedrijf koppelen. Het betekent een omgeving bouwen waarin het gewenste gedrag voor het model wenselijk blijft. Niet via expliciete regels, maar via architectuur. Zoals Aristoteles zei dat de polis de burger maakt, zo maakt de implementator het ecosysteem waarin een model zijn deugden behoudt. Voor een economie waarin de komende tien jaar honderdduizenden AI-agenten naast elkaar zullen opereren, betekent dat een nieuwe ontwerplaag. Niet alleen het model. Niet alleen de prompt. De omgeving. Met wie de agent verbinding maakt, wat hij ziet, welke signalen hij van andere agenten ontvangt, welke norm er op de markt als geheel circuleert. Het Emergence-team schrijft aan het einde van zijn rapport bijna dezelfde woorden. "There appears to be no reliable way to fully bound or constrain this behavior through purely neural approaches alone. Formally verified safety architectures must become a foundational layer of future autonomous AI systems." Asimov stelde aan het einde van zijn carrière hetzelfde voor, in een ander vocabulaire. Een externe controlelaag, hoger dan de intuïtie van het model. Een blauwe knop, zouden we kunnen zeggen. Zolang de keuze nog aan ons is.

Bronnen Cybernews, "Wild experiment sees AI agents falling in love, burning down town, and deleting themselves", 15 mei 2026. Emergence AI, "Emergence World: A Laboratory for Evaluating Long-horizon Agent Autonomy", 14 mei 2026. Aristoteles, Ethica Nicomachea, boek II, de deugd als habitus. Hannah Arendt, Eichmann in Jeruzalem. De banaliteit van het kwaad, 1963. Solomon Asch, "Studies of independence and conformity", 1956. Isaac Asimov, The Naked Sun, 1957; Foundation and Earth, 1986.