Utilisateur:Valentinbreiz/Brouillon

Le basilic de Roko est une expérience de pensée sur les risques potentiels impliqués dans le développement d'une l'intelligence artificielle. Le prémisse de l'expérience est la naissance d'une intelligence artificielle future qui pourrais rétroactivement punir ceux qui n'ont pas contribué à la mis en place de son existence, en outre, le seul fait de savoir qu'une future intelligence artificielle viendrais au monde sans avoir contribué à sa fabrication serai nécessaire une punition d'un être déjà mort ou non dont l'esprit, la personnalité serais emprisonné dans une simulation informatique, un enfer artificiel. Le basilic de Roko ressemble à une version futuriste du Pari de Pascal, en ce qu'elle suggère les personne n'ayant pas contribué à la mis en œuvre du programme seraient punis dans le futur, en étant enfermé dans cet enfer artificiel. Contre la récompense des personnes qui auraient fabriqué cette IA ou simplement accepter les idées des singularitarien ou donner de l'argent pour soutenir leur développement.

Malgré l'incrédulité générale, cet argument est pris très au sérieux par certaines personnes, principalement des membres du forum LessWrong. Bien que ni l'entièreté de la communauté LessWrong ni son fondateur Eliezer Yudkowsky préconisent le basilic comme vrai, ils mettent en place presque tous leurs locaux dans le but de la création de cette intelligence artificielle future.

Résumé

"" Si il ya une chose que nous pouvons déduire sur les motifs de superintelligences futures, il est qu'ils simulent gens qui parlent de Basilisk Roko et les condamnent à une éternité de discussions du forum à propos de Basilisk Roko. "" —Eliezer Yudkowsky, 2014

Le Basilic

Basilisk Roko repose sur un empilement de plusieurs autres propositions, généralement de robustesse douteuse.

La demande de base est qu'un hypothétique, mais inévitable, superintelligence ultime singulier peut punir ceux qui ne parviennent pas à aider ou aider à créer il.

Ce ne sont pas nécessairement un simple «servir l'AI ou vous irez en enfer" - l'AI et la nécessité de personne punie ont aucune interaction causale, et l'individu puni peut-être mort décennies ou des siècles précédents. Au lieu de cela, l'AI pourrait punir un simulation de la personne, dont il pourrait construire par déduction à partir des premiers principes (bien que cela exigerait qu'il soit en mesure de recueillir une quantité incroyable de données qui ne existe plus et ne pouvait être reconstruit sans entropie inversion).

En outre, la punition est pour ceux qui connaissaient l'importance de la tâche à l'avance mais n'a pas aidé suffisamment. À cet égard, simplement savoir à propos de l'Basilisk - par exemple, la lecture de cet article - vous ouvre à la peine hypothétique de la superintelligence hypothétique.

Notez que l'IA dans ce cadre est censé être pas un superintelligence malveillant ou mal (AM, HAL, SHODAN, Ultron, le Programme Master Control, SkyNet, GLaDOS) - mais l'Amicale nous obtenons si tout va bien et les humains ne créent pas une mauvaise. Ceci est parce que chaque jour l'AI ne existe pas, les gens mourir qu'il aurait pu sauver; si vous ou votre simulation avenir punir est un impératifmoral, pour le rendre plus probable que vous contribuera dans le présent et l'aider à arriver dès que possible.

La réaction LessWrong

Silly-sur-extrapolations des locaux mèmes, le jargon et les concepts ont été posté à LessWrong beaucoup; presque tous sont juste downvoted et ignorés. Mais pour cela un, Eliezer Yudkowsky, fondateur et patriarche du site, il a réagi à énormément. Le basilic est complètement interdit de discussion sur LessWrong, où presque toute mention de celui-ci a été supprimé jusqu'à ce que la connaissance en dehors de celui-ci est devenue écrasante. ^[5]

Merci à l'effet Streisand, la discussion du basilic et les détails de l'affaire se répandit bientôt à l'extérieur de LessWrong. En effet, il est maintenant discuté en dehors LessWrong fréquemment, presque partout que LessWrong est discuté du tout. Toute cette affaire constitue un exemple concret de l'échec spectaculaire à la gestion de la communauté et au contrôle de l'information prétendument dangereux.

Certaines personnes familières avec le LessWrong mèmeplexe ont souffert de graves psychologique détresse après avoir contemplé idées de basilic comme - même quand ils sont assez sûr intellectuellement qu'il est un problème stupide. ^[6] La notion est prise suffisamment au sérieux par quelques affiches LessWrong qu'ils essaient de travailler sur la façon d'effacer des preuves d'eux-mêmes si un avenir AI ne peut pas reconstruire une copie d'eux à la torture. ^[7]

Yudkowsky ne considère pas la discussion ouverte de la notion de commerce acausale avec superintelligences possibles pour être sûrs prouvable ^{[8], mais ne pense pas que le basilic pourrait fonctionner: [9]}

... Un match amical de gens AI torturant qui ne l'aident existent a une probabilité ~ 0, et je ne ai jamais dit le contraire. Si cela était une chose que je devrait se produire donné une conception particulière, qui il n'a jamais été, alors je voudrais juste construire un autre AI place --- quel genre de monstre ou idiote les gens prennent-moi? En outre, les décisions théories Newcomblike qui sont une de mes principales innovations disent que des agents rationnels ignorer les menaces de chantage et les menaces (méta-chantage et ainsi de suite).

Il a également appelé la suppression du poste de Roko "une énorme erreur».

Historique

Bien qu'ils rejettent le basilic lui-même, à long terme les contributeurs principaux à la LessWrong croient en un certain ensemble de transhumanistes notions qui sont les conditions préalables, il est construit sur et qui sont préconisées dans les séquences LessWrong, ^[10] écrit par Yudkowsky.

de superintelligence artificielle "Friendly"

Une intelligence artificielle sera développée qui se bootstrap au pouvoir incommensurable et connaissances. ^[11] Il pourrait par inadvertance détruire l'humanité - pas nécessairement par malice, mais même simplement en ne nous apercevoir.

Car il ne pas détruire par inadvertance l'humanité, il a besoin d'un système de valeurs qui préserve entièrement les idées humaines de valeur ^[12] même si ladite intelligence sera autant au-dessus de nous que nous sommes des fourmis ci-dessus. ^[13] Autrement dit, l'AI doit être prouvablement bienvenus. Cette est un néologisme Yudkowsky signifie "préserve la valeur humaine, peu importe quoi».^[14]

"Friendly" ici ne signifie pas "votre ami", ou "utile", ou "augmente le bonheur humain", ou "commandes obéit" - cela signifie seulement "préserve notions humaines de valeur." "Antipathique" dans ce contexte ne signifie pas «hostile», mais simplement «non prouvé bienvenus". Cela comprend les IA qui ne remarquent pas ou se soucient de l'homme, ou qui obtiennent la valeur humaine de mal.

Le plan pour faire une Friendly AI est de l'avoir mise en œuvre cohérente Extrapolé Volition (CEV), ^[12] une (hypothétique) description cohérente et complète de ce qui constitue la valeur pour les humains - essentiellement, la résolution de philosophie éthique. Une partie de la motivation de Roko pour le poste de basilic était de souligner une faille possible dans la proposition CEV.

L'organisation mère de LessWrong, l'Institut Intelligence Research machine (anciennement l'Institut Singularity, avant que le Singularity Institute for Artificial Intelligence), existe pour faire de cette amicale et locale dieu arrive devant un dieu local se passe mal. ^[15] [16] Ainsi, le plus Ce qui est important dans le monde est d'apporter cet avenir AI à l'existence correctement et avec succès ("Ceci est un moment crucial pour l'ensemble de l'espèce humaine» ^{[17]), et donc vous devez donner tout l'argent que vous pouvez pour l'Institut, [18]} qui a utilisé la revendication littéralement huit vies sauvées par dollar donné. ^[19]

L'utilitarisme

LessWrong accepte arithmétique utilitarisme ^[20] aussi vrai: que vous pouvez utilement calculer l'utilité des actions comme un nombre, comme si les humains étaient des machines de maximisant leur utilité, ^[21] et de faire de l'arithmétique sur les totaux sur plusieurs êtres humains avec des résultats utiles. Vous devriez alors «se taire et de se multiplier» ^[22] probabilités complètement négligeables par d'énormes résultats hypothétiques, et de prendre le nombre résultant sérieux - Yudkowsky écrit longuement ^[23] sur un scénario dans lequel vous devriez torturer une personne pour 50 ans si elle prévenir les grains de poussière dans les yeux d'un nombre suffisamment important de personnes ^[24] - résultant dans les revendications comme étant huit vies sauvées par dollar donné (une réclamation faite en utilisant un calcul de ce genre).

Ceci est plutôt bien évidemment absurde, puisque la torture et les inconvénients légère ne existent pas sur une échelle linéaire; il ignore également le taux de décroissance de ces problèmes sur leurs patients. Si un milliard de personnes obtiennent un grain de poussière dans leurs yeux, ils ont oublié à ce sujet dans quelques minutes et l'expérience de plus de problème; la personne torturée auront toujours une vie de souffrance intense devant eux. En outre, la plupart des gens qui lisent ceux qui pied de Omelas ^[wp] (dans laquelle une ville utopique est soutenue par les tortures d'un enfant) n'a pas alors envisager de Omelas leur utopie souhaitée. Comme David Auerbach noté dans Slate, "je crains moins sur le Basilisk Roko que des gens qui se croient avoir transcendé la morale conventionnelle."^[25]

Le monde réel développement de l'intelligence artificielle a tendance à utiliser minimax ^[wp]: minimiser la perte maximale dans un scénario du pire, qui donne des résultats très différents de la simple arithmétique maximisation de l'utilité, et est peu susceptible de conduire à la torture que la bonne réponse. ou des algorithmes plus élaborés similaires.

Les simulations de vous sont également

LessWrong soutient que l'esprit humain est entièrement mis en oeuvre comme des modèles de l'information en la matière physique, et que ces motifs pourrait, en principe, être exécuté ailleurs et constituent une personne qui se sent qu'ils sont vous, comme l'exécution d'un programme d'ordinateur avec toutes ses données sur un PC différents; ce lieu est à la fois un concept significatif et physiquement possible.

Cela ne veut pas indûment étrange (le concept découle de l'athéisme matérialiste, si la faisabilité est une autre affaire), mais Yudkowsky détient en outre que vous devriez vous sentir qu'une autre instance de vous est pas une personne distincte très comme vous - un jumeau instantanée, mais immédiatement divergentes - mais en fait le même que vous, car aucun cas particulier se distingue comme «l'original». Vous devez vous comporter et se sentir concernant cette copie que vous faites de votre propre auto préférée, la chose qui répond intuitivement le concept «vous». Un exemple est un calcul, un processus qui exécute «vous», et non pas un objet qui contient, et est, le seul «vrai» «vous». ^[26]

Cette conception de l'identité semble avoir son origine sur la liste de diffusion extropiens, qui Yudkowsky fréquenté, dans les années 1990, dans les discussions sur la continuité de l'identité dans un monde où les esprits peuvent être dupliqués. ^[27]

Il peut être utile de considérer la tenue de ce point de vue que, en principe, un choix arbitraire, dans de telles situations - mais un choix qui donnerait d'autres êtres avec le pouvoir de créer des copies de vous d'un pouvoir considérable sur vous. Beaucoup de ceux affectés par l'idée de basilic ne semblent tenir cette conception de l'identité.

Beaucoup de mondes quantiques

Yudkowsky considère l'nombreux mondes interprétation de la mécanique quantique pour être trivialement évidemment vrai, ^[28] et de tout ce qui pourrait se produire ne se produise dans une branche quantique Everett ^[29] (réalisme modal ^[wp] est vrai ^[30]).

Par la conception de Yudkowsky de la continuité de l'identité, des copies de vous dans ces branches doivent être considérées d'exister (et être vous) -. Même si vous ne pouvez pas interagir avec eux ^[31]

Théorie de la décision Timeless

Dans le paradoxe de Newcomb ^[wp], un être appelé Omega peut prédire vos actions presque-parfaite. Il vous donne deux boîtes: l'une transparent contenant de 1000 $, et une un opaque contenant soit 1 million $ ... ou rien. Vous pouvez prendre les deux boîtes ou que la boîte opaque. Il aura mis 1 million $ dans la boîte opaque si, et seulement si, il avait prédit que vous prendrez seulement la boîte opaque - si vous prenez à la fois, vous obtenez juste les 1000 $. La plupart philosophiques décision théories ^[wp] disent de prendre les deux boîtes, omettant ainsi ce scénario plutôt artificiel.

Ceci est posé comme un problème raisonnable d'examiner dans le contexte de l'intelligence artificielle superintelligent, comme un programme informatique intelligente pourrait bien sûr être copié et ne serait pas savoir quelle copie qu'il était réellement et quand. Pour les humains, les prédictions d'un superintelligence du comportement humain peuvent être quasi-parfaite, sa puissance peut être quasi-infinie, et les conséquences pourraient être quasi-éternelle.

La solution de Yudkowsky à des paradoxes Newcomb-est comme théorie de la décision Timeless. L'agent fait un pré-engagement ferme de plans d'action, à un tel degré que toute simulation fidèle de ce serait aussi se comporter par l'engagement. (Il ya beaucoup plus, mais qui est la condition préalable importante ici.) TDT est étroitement liée à de Douglas Hofstadter la superrationality ^[wp]. Le but de TDT est de construire un système qui prend des décisions qui ne pourrait jamais regretter en aucun cas passé ou le futur. ^[32]

commerce acausal

Si vous pouvez prévoir de manière plausible que vous pouvez être simulés avec précision, alors que cette possibilité influence votre comportement actuel - et le comportement de la simulation, qui estaussi prévoit-ce juste la même (puisque vous et la simulation exacte êtes effectivement un comportement identique).

Ainsi, vous pourriez «commerce» acausally avec un être si vous pouviez raisonnablement simuler l'autre. (Autrement dit, si vous pouvez imaginer un être vous imaginer, une telle précision qu'il compte comme une autre instance de l'être simulé.) Envisager la similitude avec la prière, ou lorsque les théistes parlent de faire "un accord avec Dieu."

De nombreux habitués LessWrong sont fans de ce genre de manga et de l'anime dans lequel les personnages travaillent méticuleusement de "Je sais que vous savez que je sais» et se comportent alors de façon à interagir avec leurs simulations de l'autre, y compris leurs simulations de simuler chaque l'autre autre - Lumière contre L dans Death Note est un exemple bien connu - qui peuvent avoir suggéré que le commerce acausale paraître une idée raisonnable.

Les solutions à la charge de l'altruiste: le milliardaire Trick Quantum

Un poste Février 2010 par Stuart Armstrong, "L'IA dans une boîte boîtes vous," ^[33] a introduit le "vous pourriez être la simulation" argument (si Roko ne pas utiliser ce); un poste Armstrong Mars 2010 introduit le concept de «chantage acausale» comme une implication de TDT, tel que décrit par Yudkowsky lors d'un atelier de théorie de la décision SIAI. ^[34] En Juillet 2010, quelque chose comme le basilic était en discussion interne actif à SIAI. Il est possible que le basilic originaire de quelqu'un qui joue l'expérience AI-box; Une stratégie que le «AI» est de jeter un basilic au «gardien». ^[35]

Le 22 Juillet, Roko, une affiche de LessWrong bien respecté et prolifique, posté "Choix du public et du fardeau de l'altruiste" - lourdement chargés de LW jargon et les références aux concepts LW, et presque incompréhensible pour le lecteur occasionnel - qui a parlé de la façon dont, en tant que MIRI (alors SIAI) est lachose la plus importante dans le monde, le plus grand problème une bonne altruiste est de savoir comment donner tout ce qu'ils peuvent pour la cause sans culpabilité à négliger leurs proches, et comment les menaces de l'objet de dumping pour donner trop de la l'argent du couple avait été un problème réel pour certains donateurs SIAI. ^[36]

Le lendemain, le 23 Juillet, Roko affiché "Solutions à la charge de l'altruiste: Billionaire Trick Quantum", qui présente un plan d'action qui relie stratégie d'investissement quantique (si vous jouez, vous aurez certainement gagner dans une branche Everett), acausale le commerce avec l'AIS hostiles dans d'autres branches d'Everett ... et la menace de punition bien intentionnés superintelligences futures. ^[37]

Le poste décrit spéculations qu'un futur Friendly AI - pas l'un hostile, mais le Coherent Extrapolé Volition, celui de l'organisation existe pour créer - pourraient punir les gens qui ne font tout en leur pouvoir pour favoriser la création de ce AI. Chaque jour sans l'AI bienvenus, mauvaises choses arrivent - 150.000 personnes meurent chaque jour, la guerre est menée, des millions souffrent de la faim - si l'AI pourrait être exigée par l'éthique utilitariste de punir ceux qui ont compris l'importance du don, mais ne donnaient pas tous ils pourraient. Plus précisément, il pourrait faire des simulations d'entre eux, d'abord à prédire leur comportement, puis de punir la simulation du comportement prédit de manière à influencer la personne d'origine. Il a ensuite demandé si AIS futurs seraient plus susceptibles de punir ceux qui avaient demandé si AIS futures seraient les punir. Il note dans les commentaires qu'il juge cette raison de "changer le contenu actuel de FAI proposé de CEV à quelque chose qui ne peut pas utiliser des incitations négatives sur les réducteurs de risques de x."

L'idée de base est exprimée dans le paragraphe suivant:

... Il ya la possibilité inquiétante que si une singularité positif ne se produit, le singleton résultante peut avoir pré-engagées pour punir tous les donateurs potentiels qui connaissait les risques existentiels, mais qui n'a pas donné 100% de leur revenu disponible à la motivation risque de x. ... Donc un monde post-singularité peut être un monde de plaisir et beaucoup pour les gens qui sont actuellement d'ignorer le problème, tout en étant d'une salle de l'enfer pour une fraction significative des réducteurs de risque existentiel actuelles (par exemple, la moitié moins généreux). Vous pouvez prendre cette possibilité en compte et donner encore plus à risque de x dans un effort pour éviter d'être puni. Mais bien sûr, si vous pensez comme ça, alors le CEV-singleton est encore plus susceptibles de vouloir vous punir ... méchant. Bien sûr, ce serait injuste, mais est le genre de chose qui est injuste oh-so-très utilitariste.

Ainsi, les donateurs qui font don mais ne pas donner suffisamment peuvent être eux-mêmes condamnent à l'enfer - et Roko note dans l'après qu'au moins une personne Singularity Institute avait déjàinquiet de ce scénario, au point de cauchemars, mais il est devenu convention à blâmer Roko pour l'idée - et Roko propose une solution permettant ces donateurs pour échapper à cet enfer pour le prix d'un billet de loterie: si il ya une instance de vous dans une branche Everett qui a gagné à la loterie, il compterait comme vous dans celui-ci ayant rempli votre fin de la négociation acausale. Roko a été demandé dans les commentaires si il était en train de faire tout cela, et a répondu «bien sûr».

Les intervenants ont rapidement plaints que la simple lecture des mots de Roko avait augmenté la probabilité que l'avenir AI serait les punir - la ligne de raisonnement était si convaincante pour eux qu'ils croyaient que l'AI (qui savent qu'ils avaient lu une fois le poste de Roko) serait maintenant les punir encore plus pour être au courant et ne pas faire don de tous leurs revenus à des institutions consacrées au développement du dieu-AI. Ainsi, même en regardant cette idée était nuisible. Ce got it étiqueté "Basilic", après que l'image "de Basilic" de la science-fiction l'histoire de David LangfordBLIT ^[wp], qui a été à son tour nommé d'après le légendaire serpent créature européenne mythologie qui a tué ceux qui l'ont vu (également familier de Harry Potter romans).

Yudkowsky frappé rapidement le toit. ^[38] Dans les quatre heures, le poste de Roko et toute discussion a été supprimé par un très Yudkowsky pissed-off, avec ce commentaire: ^[39]

La version originale de ce post a causé des dommages psychologiques réelle à au moins certains lecteurs. Ce serait suffisant en soi pour l'arrêt, même si toutes les questions examinées ont échoué pour être vrai, ce qui est le cas nous l'espérons.

S'il vous plaît arrêter toute discussion du sujet interdit.

Tous les commentaires sur le sujet interdit seront interdits.

Preuve de bon sens élémentaire dans les futures discussions. Avec suffisamment de temps, d'effort, de connaissances, et la bêtise, il est possible de blesser les gens. Ne pas.

Comme nous le disions sur SL4: KILLTHREAD.

Séquelles

Do not Blink!

""L'original "Basilisk" fallait imaginer un post-singularité AI dans l'avenir de notre monde qui vous enverra en enfer transhumaine après la singularité, si vous ne faites pas tout ce que vous pourriez dans le passé (par exemple notre présent) à faire il une singularité amical. Plutôt que de discuter ouvertement et de manière rationnelle si cela est une "menace" raisonnable du tout, ou tout simplement une illusion, l'ensemble du sujet a été précipitamment caché. Et donc une légende est née.

Toute discussion de la notion a été censuré de LessWrong, avec des chaînes de commentaires supprimés. Cela a fonctionné à peu près aussi bien que quiconque avec une familiarité travailler avec l'Internet serait attendre.

Une affiche frustrés protesté contre la censure de l'idée d'une menace pour augmenter le risque existentiel - à faire des choses pour faire un peu de fin de du mondecatastrophe très légèrement plus susceptibles - en envoyant des e-mails à des blogueurs de droite qu'ils croyaient puissance faire de la régulation nuisibles plus susceptibles de transmettre. ^[41] L'affiche dit qu'ils allaient faire à chaque fois qu'ils voyaient un poste se censuré. ^[42] [43] LessWrong ont pris cette menace au sérieux, si Yudkowsky n'a donné. ^{[44 ]}

Roko-même quitté le site après la suppression de la poste et de reproches Yudkowsky, la suppression de tous ses messages et commentaires. Il est retourné en passant quelques mois plus tard, mais a depuis tenté de quitter idées LessWrong derrière entièrement: ^[45]

En outre, je voudrais ajouter que je voudrais avoir jamais appris à propos de l'une de ces idées. En fait, je souhaite que je ne l'avais jamais rencontré le lien initial sur l'Internet qui m'a fait penser à transhumanisme et ainsi à propos de la singularité; Je souhaite très fortement que mon esprit avait jamais rencontré les outils pour infliger de telles quantités d'automutilation potentiel avec ces petites durées d'inattention, uncautiousness et / ou de la stupidité, même si elle est tout prémultipliée par une faible probabilité. (pas un très petit, vous l'esprit. Plus comme 1/500 numéros de type ici)

La question a depuis fait l'objet occasionnel de messages LW contorsionnées, que les gens essaient de discuter de la question énigmatique, sans parler de ce dont ils parlent. ^{[46] [47] [48]} Les modérateurs occasionnellement balaient LessWrong enlever discussion de basilic, ^[49] [50] laissant pages pleines de "commentaire supprimé" marquage où ils ont essayé de brûler la preuve.

Les discussions censurés sont généralement pleine de contre-arguments à le basilic. Ainsi, ce qui a laissé les inquiéter sérieusement le basilic avec grandement réduit l'accès aux arguments réfutant la notion.

Le basilic est devenu un espace de remplissage fiable pour les journalistes couvrant des histoires LessWrong liées. ^[51] Le bas de ce post ^{img, au sujet de la couverture des nouvelles, est particulièrement hilarante comme un mémorial à brûler la preuve.} Comparer à l'origine (partie supprimé à partir de commentaire par RomeoStevens).

Finalement, deux ans et demi après le message original, Yudkowsky commencé un officiel de fil non censurée sur Reddit, dans laquelle il a finalement participé à la discussion concernant le basilic.Poursuivant son habitude de fausse néologisme, il a tenté de présenter son propre terminologie chargée d'émotion pour quelque chose qui avait déjà un nom accepté, appelant le basilic "l'Babyfucker".Pendant ce temps, son principal raisonnement tactique était de faire valoir à plusieurs reprises que les arguments de ses adversaires étaient viciées, tout en refusant de donner des arguments pour ses revendications (un autre motif récurrent Yudkowsky), apparemment par crainte de risques existentielle.

Bien qu'il ait été plus impliqué avec MIRI à ce stade (fin 2013), Michael Anissimov, ancien directeur de plaidoyer de l'organisation, a dit à ses collègues neoreactionaries que «les gens sont fou en ne prenant pas l'idée de basilic au sérieux." ^[52]

En Avril 2014, MIRI affiché une demande de LessWrong commentateurs à penser des scénarios effrayants de l'intelligence artificielle prendre le monde entier, à des fins de marketing. ^[53]

Ce qui rend une tique de basilic?

""Je vais le dire encore avec détails, vous pouvez donc voir ce qui se passe. Supposons que H humaine est Tom Carmody de New York, et entité maléfique E est Egbert, une UFAI qui torturer chiots moins Tom achète les œuvres complètes de Robert Sheckley. Ni Tom ni Egbert jamais réellement se rencontrent. Egbert "sait" de Tom parce qu'il a choisi pour simuler un Tom possible avec les propriétés pertinentes, et Tom "sait" d'Egbert parce qu'il arrive à avoir imaginé l'idée de l'existence et les attributs d'Egbert. Donc Egbert est ce super-AI qui a décidé d'utiliser ses pouvoirs pour simuler un être humain arbitraire qui est arrivé par la chance de penser à une IA possible avec les propriétés d'Egbert (y compris son obsession avec Tom), et Tom est un être humain qui a décidé de prendre sa rêverie de l'existence de la malveillance AI Egbert suffisamment au sérieux, qu'il va effectivement aller et acheter les œuvres complètes de Robert Sheckley, afin d'éviter les chiots torturés dans la dimension d'Egbert.

À première vue, pour le lecteur non-initié LessWrong, les motivations de l'AI dans le scénario de basilic ne semblent pas rationnelle. L'IA sera punit les gens du passé lointain en les recréant, longtemps après qu'ils ont fait ou n'a pas fait les choses qu'ils sont punis pour faire ou ne pas faire. Donc les raisons habituelles pour la punition ou la torture, tels que la dissuasion, la réhabilitation ou la coopération, l'application ne semblent pas appliquer. L'IA semble agir uniquement à des fins de vengeance, quelque chose que nous ne serions pas attendre à un sheerly logique être d'engager.

Pour comprendre le basilic, il faut garder à l'esprit l'application de la théorie de la décision et le commerce Timeless acausale. Pour simplifier grandement il, une entité AI avenir avec une capacité pour les prévisions extrêmement précises serait en mesure d'influencer notre comportement dans le présent (d'où l'aspect intemporel) en prédisant comment nous comporter quand nous l'avions prédit comment il se comporterait. Et il a de prédire que nous soucier de ce qu'il fait pour sa simulation de nous.

Un avenir AI qui récompense ou nous sur la base de certains comportements punit pourrait nous faire comportons comme il veut que nous, si nous prévoyons son existence avenir et prendre des mesures pour obtenir une récompense ou éviter une punition en conséquence. Ainsi l'AI hypothétique pourrait utiliser la punition (dans notre avenir) comme un moyen de dissuasion dans notre présent pour gagner notre coopération, de la même manière qu'une personne qui nous menace de la violence (par exemple, un agresseur) peut influencer nos actions, même si dans le cas du basilic n'y a pas de communication directe entre nous et l'AI, qui existe dans chaque univers possibles qui ne peuvent pas interagir.

Un contrepoint de cette est qu'elle pourrait être appliquée non seulement pour les humains, mais à l'Basilisk elle-même; il ne pouvait pas prouver qu'il était pas à l'intérieur d'un monde simulé créé par un même plus AI puissant qui vise à récompenser ou à punir en fonction de ses actions envers les humains simulés qu'il a créés; il pourrait lui-même être soumis à la torture simulée éternelle à tout moment si elle se casse une règle arbitraire, comme pourrait l'AI ci-dessus, et ainsi à l'infini. En effet, il aurait aucun moyen valable de déterminer qu'il était non pas simplement dans une phase de test bêta de son pouvoir sur les humains une illusion destinée à voir si ce serait les torturer ou non. La mesure de la puissance de l'Basilisk hypothétique est si gigantesque qu'il serait effectivement pluslogique pour lui permettre de conclure cela, en fait.

Sinon l'idée pourrait juste être vraiment stupide.

basilic Pascal

""Vous savez ce qu'ils disent la version moderne du pari de Pascal est? Aspirer au plus grand nombre transhumanistes que possible, juste au cas où l'un d'eux se transforme en Dieu.

Le dilemme de basilic une certaine ressemblance avec le pari de Pascal, la politique proposée par 17ème siècle mathématicien Blaise Pascal que l'on doit se consacrer à Dieu, même si nous ne pouvons pas être certains de l'existence de Dieu, car Dieu peut nous offrir la récompense éternelle (dans le ciel) ou éternelle la punition (en enfer). Selon le raisonnement de Pascal, la probabilité de l'existence de Dieu n'a pas d'importance, puisque tout prix fini (dans le cas de Pascal, la charge de mener une chrétienne la vie, dont la plupart des gens de son âge auraient fait de toute façon) est largement compensé par la perspective d'une récompense infinie ou punition infinie.

La réfutation d'habitude est le «plusieurs dieux" argument: ^[55] Pascal concentre indûment sur les caractéristiques d'une variété possible de dieu (un dieu chrétien qui punit et récompense repose sur la croyance seule), en ignorant d'autres possibilités, comme un dieu qui punit ceux qui feignent croyance style Pascal dans l'espoir de récompense.

La proposition de basilic implique une beaucoup plus grande, mais encore fini, coût: celui d'investir chaque centime que vous avez dans une chose. Comme avec le pari de Pascal, ce qui doit être fait pas de la dévotion sincère, mais par opportunisme calculé. La punition hypothétique ne semble pas être infinie, si beaucoup. Le poste de Roko ne suggère pas de récompense, bien que certains suggèrent que l'AI serait récompenser ceux qui ont fait don à la recherche AI ainsi que de punir ceux qui ne l'a pas. La récompense Lovecraftian dans le scénario de basilic est simplement d'être épargné de la peine. D'où la motivation dans ce dilemme est fortement biaisé en faveur du bâton plutôt que la carotte. En outre, un dystopique avenir dans lequel une entité superintelligent inflige des châtiments cruels est pas beaucoup à espérer, même si vous êtes un de ceux assez chanceux pour être épargné.

Ensuite, il ya la question de l'extrême improbabilité de ce scénario se produit à tous. Cette question est traitée par un autre trope de LessWrong, l'agression de Pascal, ce qui suggère qu'il est irrationnel de permettre événements de faible probabilité mais d'énormes conséquences postulés de fausser votre jugement. ^[56] économiste Nick Szabo appelle ces «escroqueries de Pascal", ^[57] et a confirmé qu'il parlait singularité défenseurs. ^[58]

Donc vous soucier de la Basilisk

(Cet article est écrit plus en univers, pour aider ceux qui sont ici inquiets à l'idée.)

Certaines personnes, chargées d'idées LessWrong-originaire, ont monté en flèche dans la détresse sévère au basilic, même si intellectuellement ils se rendent compte qu'il est une idée stupide. (Il se trouve que vous ne pouvez pas raisonner toujours votre moyen de sortir de choses que vous avez raisonnez-vous en, soit.) Les bonnes nouvelles sont que d'autres ont travaillé à travers elle et calmé bien, ^[59] de sorte que la chose principale est de ne pas paniquer .

Il est un peu regrettable à cet égard que le message original de basilic a été supprimée, car les commentaires ^[37] à ce vaste comprennent réfutation des concepts qui y sont. Ceux-ci peuvent aider; l'idée de basilic est pas du tout robuste.

Cet article a été créé parce rationalwiki mentionné le basilic dans le LessWrong article - et que le seul endroit sur l'Internet en parler du tout, les éditeurs RW commencé à recevoir des email de lecteurs LW détresse demandant de l'aide à faire face à cette idée que LW a refusé de discuter . Si cette section est pas suffisamment d'aide, s'il vous plaît commentaire sur la page de discussion et nous allons essayer de vous aider.

conditions chaînées sont moins probables

Les hypothèses du basilic oblige à travailler:

que vous pouvez utilement modéliser un superintelligence dans votre cerveau humain (se souvenant que ce qui est comparable à la modélisation d'une fourmi un humain, ^[60] et Yudkowsky concourt cela est irréalisable ^[61])
que la probabilité de cette AI notamment (et il est une IA très particulier) jamais venue à l'existence est non négligeable - par exemple, plus de 10 ³⁰ à 1 contre
que ladite AI serait en mesure de déduire et de simuler une copie très proche de vous
- que ladite AI a pas mieux utiliser les ressources particulières que de torturer une simulation elle-même créé
  - et en plus, sent que punir une simulation d'entre vous est encore en vaut la peine, considérant qu'il existe toujours et punir la simulation ne serait pas vous affecter.
- que torturer la copie doit ressentir la même chose de vous que vous torturer l'Voilà ici en ce moment
que la théorie de la décision intemporelle est donc évidemment vrai que tout superintelligence bienvenus serait en déduire immédiatement et l'adopter, comme il le ferait d'une théorie correcte de la physique
- que, malgré avoir été construit spécifiquement pour résoudre des cas particuliers de bords étranges, TDT est un bon guide pour les décisions normales
- que le commerce acausale est encore un concept significatif
que tout cela vaut la peine d'y penser, même si elle se produit dans un univers totalement déconnecté de celui-ci.

Voilà un grand nombre de conditions à enchaîner. Comme Yudkowsky a noté, plus les conditions, plus la probabilité. ^[62] [63] conditions enchaînés font une histoire plus plausible et convaincante, mais donc moins probable.

Donc l'histoire est plus convaincant (notamment au point de l'obsession), moins il est probable.

probabilités négligeable et l'utilitarisme

Yudkowsky soutient que 0 est pas une probabilité: si quelque chose est pas philosophiquement impossible, alors sa probabilité est pas réellement 0. ^[64] Le problème est que les humains sont très mal à traiter avec des probabilités non-zéro, mais négligeables, le traitement comme non- négligeable - en privilégiant l'hypothèse ^[65] - un peu comme la réponse du théiste à l'improbabilité de Dieu "Mais vous ne pouvez pas, prouver! il est impossible" ^[66] dont les humains traitent naturellement une probabilité négligeable que toujours utile de garder la trace de - un biais cognitif venant évolué en excès de prudence. Le basilic est ridiculement invraisemblable, mais les humains trouver des histoires effrayantes convaincant et donc les traiter comme non-négligeable.

Les probabilités d'événements exclusifs devraient ajouter jusqu'à 1. Mais LessWrong préconise le traitement des croyances subjectives comme probabilités, ^[67] [68] même si les humains traitent probabilités négligeables que non négligeable - qui signifie que vos degrés subjectives de croyance somme beaucoup plus que 1. Utilisation méthodes formelles pour évaluer les éléments de preuve informelle prête croyances fallacieuses un placage impropre de respectabilité, et les fait apparaître plus fiable que notre intuition. Etre capable d'imaginer quelque chose ne fait pas la peine d'examiner.

Même si vous pensez que vous pouvez faire de l'arithmétique avec l'utilitaire numérique basée sur la croyance subjective, ^[69] vous avez besoin de sommer sur l'utilité de toutes les hypothèses. Avant d'arriver à calculer l'effet d'une simple hypothèse très détaillé, très improbable, vous devez vous assurer que vous avez traversé les nombreuses hypothèses beaucoup plus probable, ce qui aura beaucoup plus d'effet.

Yudkowsky noté dans la discussion originale ^[70] que vous pourriez postuler une IA adverse tout aussi raisonnablement que Roko postulé son AI. Le basilic consiste à cueillir une AI hypothétique d'unénorme espace de possibilité où les êtres humains ne comprennent même pas encore, et de le traiter comme étant assez susceptibles de considérer comme une idée. Peut-être 100 milliards d'humains ont existé depuis 50.000 BC; ^[71] Combien d'humains pourraient éventuellement exister? Ainsi, combien possible IA superintelligent pourrait y avoir? La probabilité de l'AI notamment dans le basilic est trop petit pour y penser. Un seul scénario hautement spéculative sur un nombre astronomique de divers scénarios ne diffère infiniment de l'absence totale de connaissance; après lecture du basilic Roko vous êtes, à toutes fins pratiques, aussi ignorants des motivations de la future IA que vous étiez avant.

Tout comme dans le pari de Pascal, si vous coopérez avec hypothétique AI "A" de la peur de celui-ci vous envoyer en enfer, puis hypothétique AI "B" peut vous envoyer en enfer à la place. Mais vous avez aucune raison de considérer un beaucoup plus susceptibles que l'autre, et ni est assez susceptible de réellement considérer.

Ignorer acausale chantage

Le basilic est sur l'utilisation d'incitations négatives (chantage) à influencer vos actions. Si vous ignorez ces incitations, alors il est pas instrumentalement utile de les appliquer en premier lieu, parce que ne pas influer sur vos actions. Ce qui signifie que la bonne stratégie pour éviter les incitations négatives est de les ignorer. Yudkowsky prend note de cette même dans son premier commentaire sur le poste de basilic: ^[37]

Il ya un équilibre évidente à ce problème lorsque vous vous engagez dans tous les métiers de acausales positifs et ignorer toutes les tentatives de chantage acausale.

Acausal commerce est un outil pour atteindre certains objectifs, à savoir assurer la coopération des autres agents en offrant des incitations. Si un outil ne fonctionne pas donné certaines circonstances, il ne sera pas utilisé. Par conséquent, en refusant tout accord acausale impliquant incitations négatives, vous faites l'outil inutile.

Le superintelligence émis l'hypothèse veut choisir ses partenaires commerciaux acausale de manière à éviter de gaspiller des ressources en utilisant des outils inefficaces. Une condition nécessaire est que d'une simulation d'entre vous devra éventuellement agir sur sa prévision que son simulateur sera appliquer une incitation négative si elle ne joue pas selon les objectifs du simulateur. Ce qui signifie que si vous refusez d'agir conformément à ses objectifs, puis les conditions requises ne sont pas remplies et si aucun accord acausale peuvent être établies. Ce qui signifie qu'aucune incitation négative sera appliquée.

Ce que vous faites est d'agir comme si vous êtes déjà en cours de simulation en ce moment, et d'ignorer la possibilité d'une incitation négative. Si vous le faites alors le simulateur conclure qu'aucun accord ne peut être faite avec vous, qui de toute transaction impliquant incitations négatives aura utilité espérée négative pour elle; parce qu'à la suite par le biais sur la peine prévisible ne contrôle pas la probabilité que vous agirez en fonction de ses objectifs. En outre, en essayant de vous décourager de l'adoption d'une telle stratégie en premier lieu est découragée par la stratégie, parce que la stratégie est d'ignorer le chantage acausale.

Si le simulateur est incapable de prédire que vous refusez le chantage acausale, alors il n'a pas (1) une simulation de vous qui est assez bon pour attirer l'action des conclusions pertinentes à propos offres de acausales et / ou (2) une simulation qui est suffisamment similaire à vous serez punis, parce que ce ne serait pas vous être.

théories de la décision ne sont pas contraignantes

Les gens imprégnés de la philosophie peuvent l'oublier, mais les théories de décision ne sont pas contraignantes pour les humains. Vous n'êtes pas une utilité espérée Maximiser rigide, et en essayant de vous transformer en l'un est pas une chose utile ou sain. Si vous obtenez des résultats terribles de une théorie, vous pouvez en fait dire Omega se faire foutre et aucune boîte. Dans votre vie réelle, vous ne devez pas accepter le monde moins commode possible. ^[72]

Si un agent surhumain est en mesure de vous simuler avec précision, puis leur simulation arrivera à la conclusion ci-dessus, leur disant que ce ne sont pas instrumentalement utile de vous faire chanter.

D'autre part, ce débat aurait pas existé en premier lieu si elle était pas pour certains participants ayant déjà LessWrong eux-mêmes convaincus qu'ils ont été victimes de chantage de cette manière très.Comparez les poupées vaudou: blessures aux poupées vaudou, ou des blessures à des simulations informatiques que vous imaginez, ne sont efficaces que contre les vrais croyants de chaque.

Seed AI et l'influence indirecte

Charles Stross souligne ^[73] que si le FAI est développé grâce à l'amélioration récursive d'une IA germe ^[wp], les humains dans notre forme actuelle aura seulement une très indirecte rôle causal sur son existence éventuelle. Tenir toute personne profondément responsable de ne pas créer plus tôt serait «comme punir arrière-grand-grand-mère d'Hitler de ne pas avoir eu la clairvoyance de ne pas donner naissance à grand-père d'un monstre".

Recalibrer contre l'humanité

Rappelez-vous que les mèmes sont LessWrong étrange par rapport au reste de l'humanité; vous avez été l'apprentissage habitudes de pensée impairs sans les vérifications de bonne santé sociale habituelles. ^[74] Vous ne sont pas une construction philosophique mindspace, mais un être humain, fait de viande comme tout le monde. Prenez le temps de recalibrer votre pensée contre celle de gens raisonnables que vous connaissez. Cherchez d'autres personnes d'être et de parler à (sur des sujets non-LW) dans la vraie vie - mais peut-être pas des philosophes.

Si vous pensez que la thérapie peut aider, thérapeutes (en particulier sur les campus universitaires) auront traité induite philosophie dépression existentielle avant. Bien qu'il n'y ait pas une thérapie qui fonctionne particulièrement bien pour la dépression existentielle, il parle avec un professionnel vous aidera également à recalibrer.

Dans la culture populaire

xkcd # 1 450 ^[75] est sur l'expérience AI-box et mentionne le basilic Roko dans l'infobulle. Vous pouvez imaginer la réaction à LessWrong. ^[4]
Le comique Magnus: Robot Fighter # 8 par Fred Van Lente est explicitement fondée sur le basilic Roko. ^[76]
La "Ghost Fragment: Vex" cartes du jeu de Bungie destin disposent d'une histoire d'un spécimen de recherche simulant les recherches des chercheurs dans le spécimen. Inclus est la notion que les chercheurs doivent se sentir la douleur des simulations comme le leur, qu'ils pourraient être les simulations et ce que cela va contre la volonté du simulateur pourraient conduire à la torture éternelle.^[77]

Voir aussi

Basilic / Original post Roko - cache copie de ce poste depuis-supprimé par Roko qui a popularisé la proposition

Liens externes

http://basilisk.neocities.org/ - miroir de l'original HTML et CSS du poste de Roko, avec des commentaires

Notes

↑ Tweet parpmarca, 05h25, le 3 Mars ici à 2015
↑jrishel àcstross, Twitter, 20h42, le 22 Février 2013
↑ Même les écrivains de science-fiction ont du mal à croire ce ne sont pas tous une histoire inventée.
↑ ^4.0 4.1 xkcd sur la boîte expérience AI (Cinquante-deux, LessWrong, le 21 Novembre 2014). ("Il ne prend pas de recul (ou même que beaucoup de connaissances de la psychologie humaine et / ou de relations publiques) pour voir que faire un douze paragraphe commentaire à propos de rationalwiki absence quiconque apportant rationalwiki jusqu'à ne constitue pas une stratégie optimale de limiter lesdégâts." - Alexander Pays de Galles )
↑ politique de modération de LessWrong: mindwaste Toxique (LessWrong Wiki). Il reste quelques mentions de celui-ci.
↑ Sur exemple de site; ^img autres ont privé envoyé divers rationalwiki éditeurs demandant des conseils sur le traitement avec elle (depuis LW supprime toute discussion sur la question - et, ironiquement, les commentaires à message original de Roko contenaient de nombreuses excellentes réfutations), qui est ce qui a provoqué la création de cet article.
↑ Vraiment. ^Img
↑ Yudkowsky confirmant le résumé Mitchell Porter de ses vues, Reddit
↑ Yudkowsky sur le Basilisk, Reddit
↑ Les séquences (LessWrong Wiki)
↑ Le Hanson-Yudkowsky AI-Foom Débat (LessWrong Wiki)
↑ ^12,0 12,1 cohérente Extrapolé Volition (LessWrong Wiki)
↑ Mon Enfance Role Model (Eliezer Yudkowsky, LessWrong, 23 mai 2008
↑ Questions fréquentes (friendly-ai.com, MIRI)
↑ propos de l'Institut de recherche Macnine Intelligence ^img l'Institut de recherche Intelligence Machine.
↑ Intelligence Explosion FAQ ^{img, Machine Intelligence Research Institute.}
↑ transcription Janvier 2010 vidéo Q & A de Eliezer (curiousepic, LessWrong, le 14 Novembre 2011)
↑ Commentaire par PeerInfinity, LessWrong, le 20 Avril 2010. "Que fais-je ?: Travailler à un emploi régulier comme un programmeur C ++, et en donnant autant que possible à SIAI. ... Un couple de fois que je demande à l'idée SIAI de diviser mes dons avec un autre groupe, et bien sûr ils ont dit que le don de tout l'argent qui leur serait encore le moyen le plus pour moi à effet de levier pour réduire les risques existentiels ".
↑ Discussion d'une revendication de 8 vies sauvées par 1 dollar donné ^img; vidéocontenant réclamation, à 12h31; transcription. "Vous pouvez le diviser, par demi-journée de temps, quelque chose comme 800 vies. Pour 100 $ de financement, aussi quelque chose comme 800 vies." Le point est souligné dans la diapositive pour cette partie de l'exposé, il était donc non seulement une ambiance décontractée de côté. Luc Muehlhauser prétend cela est hors de contexte ^img; lire et regarder et juger le contexte pour vous-même. Anna Salamon dit ^img en Janvier 2014 sur ce numéro: "par rapport à mon point de vue en 2009, la question semble désormais plus compliqué pour moi, mon estimation de l'impact du don re: risque AI est plus faible (bien que toujours élevé), et je ne serais pas dire qu'un calcul particulier est robuste ".
↑ Voir l'Wikipedia article sur l'utilitarisme moyenne et totale.
↑ Voir l'Wikipedia article sur Neumann-Morgenstern utilitaire théorème.
↑ Tais-toi et multiplier (LessWrong Wiki)
↑ torture contre poussière Specks (Eliezer Yudkowsky, LessWrong, le 30 Octobre 2007) - "'? Quelle est la pire qui puisse arriver» va le dicton optimiste. Il est probablement une mauvaise question de demander à quelqu'un avec une imagination créatrice ".
↑ commentaire, Eliezer Yudkowsky 30 Octobre 2007 - «Je vais aller de l'avant et de révéler ma réponse aujourd'hui: Robin Hanson était correcte, je ne pense que la torture est l'option évidente, et je pense que l'instinct principale derrière Specks est portée insensibilité."
↑ L'expérience la plus terrifiante pensée de tous les temps (David Auerbach, Slate, le 17 Juillet 2014)
↑ Timeless Identité (Eliezer Yudkowsky, LessWrong 3 Juin 2008)
↑ identité est pas dans les atomes spécifiques (Eliezer Yudkowsky, LessWrong, le 19 Avril 2008)
↑ Et le gagnant est ... Beaucoup de-Mondes! (Eliezer Yudkowsky, LessWrong, le 12 Juin 2008)
↑ nombreux mondes, un Meilleur Choix (Eliezer Yudkowsky, LessWrong, le 11 mai 2008)
↑ Techniquement, le réalisme modal dit que chaque «monde possible» existe, où monde possible ^[wp] va au-delà simplement physiquement ou mathématiquement possible et dans la pratique semble signifier «tout pile arbitraire de mots un philosophe revendications constitue un monde possible".
↑ La croyance en la Présence invisible (Eliezer Yudkowsky, LessWrong, le 8 Avril 2008)
↑ Le problème de la rationalité et de regret de Newcomb ^img (Eliezer Yudkowsky, LessWrong 31 Janvier 2008)
↑ L'IA dans une boîte boîtes vous ^IMG (Stuart Armstrong, LessWrong, le 2 Février 2010)
↑ Le Chantage équation ^img (Stuart Armstrong, LessWrong, le 10 Mars 2010)
↑ je tentée à nouveau l'expérience Box AI! (Et a remporté - deux fois) (Tuxedage, LessWrong 5 Septembre 2013)
↑ Public Choice et fardeau de la Altruiste ^img (Roko, LessWrong, le 22 Juillet 2010) - la citation ne mentionne pas l'argent: «Pas moi, mais quelqu'un d'une importance vitale dans le mouvement des risques existentiels a été mis sous pression par ver partenaire à participer moins risque existentiel pour que la relation serait bénéfique ", mais il est dans un poste qui est tout au sujet de la façon de donner autant d'argent que possible. Ce poste est curieusement absent de la liste des 2010 postes LessWrong, alors qu'ils sont encore publiquement disponibles et d'autres postes Roko à partir de 2010 étant listés.
↑ ^{37,0 37,1 37,2} copie en cache de ce poste depuis supprimé-
↑ Capture d'écran de réponse
↑ Capture d'écran de commentaire
↑ copie mise en cache de la poste (le commentaire depuis avoir été enlevé par les mods)
↑ Copie de commentaire
↑ Comment perdre 100 Karma en 6 heures - Panique (waitingforgodel, LessWrong, le 10 Décembre 2010)
↑ commentaire, waitingforgodel, LessWrong, 23 Septembre 2010 -. "Je vais dire aussi que la censure est une question« bouton chaud »pour moi, au point que je ne suis pas sûr que je veux continuer à aider SIAI Ils sont allés de nerdy- mais-fun-to-talk à / aide à effrayant culte-comme-cinglés dès que je l'ai lu l'article, et pensé à ce que la réaction de EYS, et le retrait de Roko voulais dire. "
↑ commentaire, Eliezer Yudkowsky, Lesswrong, le 9 Décembre 2010
↑ commentaire ^img par Formallyknownasroko sur "Les modèles de meilleures carrières pour faire de la recherche?" ^{Img, LessWrong, le 9 Décembre 2010}
↑ Faut LW ont une politique de censure publique? ^Img (Bongo, LessWrong, 11 Décembre 2010)
↑ commentaire, Eliezer Yudkowsky, LessWrong, le 25 Juillet 2012
↑ Les extraterrestres ont atterri! (TimFreeman, LessWrong, le 19 mai 2011)
↑ fichier: LW-basilic-censorship.png, fichier: LW-basilic-censorship2.png
↑ par exemple ce qui est préservée ici.
↑ Foi, l'Espérance et Singularity: Saisie de la matrice avec futuriste Set de New York (Nitasha Tiku,Betabeat, le 25 Juillet 2012)
↑ commentaire par Michael Anissimov sur Nick Land "L'Antre de la folie" (à propos de basilic de Roko), le 17 Décembre 2013
↑ Demande de mécanismes concrets de reprise AI (KatjaGrace, LessWrong, le 28 Avril 2014)
↑ commentaire par Mitchell Porter, Reddit
↑ pari de Pascal (Stanford Encyclopedia of Philosophy)
↑ Le agression de Pascal (LessWrong Wiki)
↑ escroqueries de Pascal (Nick Szabo, 14 juillet 2012)
↑ commentaire sur "The Singularity"
↑ Comment vaincre le basilic Roko et cessez de vous inquiéter (Alexander Kruel, l'utilisateur: Xixidu)
↑ Les humains utilisent un humain-émulateur basé sur le matériel de simuler les actions de l'homme. Ceci est assez bonne, étant donné qu'il a été perfectionné par l'évolution. Mais simulant intelligences non-humains est une affirmation étonnante; même simulant machines-delà de la plus simple est difficile si vous n'êtes pas un Steve Wozniak (qui boggled personnes avec sa capacité à tenir et à concevoir l'ensemble du Apple II dans sa tête, et même alors, il ne pouvait écrire du code pour elle avec une machine réelle de le faire sur). La «simulation» constituerait vous raconter des histoires à ce sujet, qui serait construit à partir de vos propres peurs nourries par votre homme émulateur.
↑ [1] «Même si toute l'idée était correcte dans les grandes lignes et un nombre quelconque de contrariants possibles ne sont pas venus en jeu, je suis sûr que vous auriez besoin de connaître les détails plus techniques de l'hypothétique mal AI que quiconque sur Terre, y compris me connaît (Basilisk Roko ne fait ressembler le Necronomicon dans ce sens; l'octroi de toutes les autres hypothèses, vous auriez encore besoin de connaissances assez détaillée de Cthulhu Cthulhu avant commence à essayer de manger votre âme) ".
↑ biais de représentativité (Eliezer Yudkowsky, LessWrong, le 19 Septembre 2007)
↑ Lourdeur Détails (Eliezer Yudkowsky, LessWrong, le 20 Septembre 2007)
↑ 0 et 1 sont pas des probabilités (Eliezer Yudkowsky, LessWrong, le 10 Janvier 2008)
↑ Privilégiant l'hypothèse (Eliezer Yudkowsky, LessWrong, le 29 Septembre 2009)
↑ Mais il ya encore une chance, non? (Eliezer Yudkowsky, LessWrong 6 Janvier 2008)
↑? Quel est Bayesianism (Kaj Sotala, LessWrong, le 26 Février 2010) - «Core Tenet 3: Nous pouvons utiliser la notion de probabilité de mesurer notre croyance subjective à quelque chose de plus, nous pouvons appliquer les lois mathématiques concernant la probabilité de choisir entre différent. croyances. Si nous voulons que nos croyances soient correctes, nous doivent le faire. "
↑ La science cognitive de la rationalité (Luc Muehlhauser, LessWrong, 12 Septembre 2011) - "Nous pouvons mesurer la rationalité épistémique en comparant les règles de la logique et de la théorie des probabilités à la façon dont une personne met à jour effectivement leurs croyances."
↑ Dans le thread d'origine, quand quelqu'un pensait même 10 ^-9 était trop grande probabilité d'AI de Roko, il a soutenu: «Pourquoi si petit Aussi, même si elle est que petite, la astronomiquement grand facteur de gain pour chaque baisse de% en existentielle? risque peut battre 10 ^ -9. 10 ^ 50 vies sont en jeu ".
↑ Capture d'écran du commentaire d'origine
↑ Combien de personnes ont jamais vécu sur Terre? (Carl Haub, Population Reference Bureau, Octobre 2011)
↑ monde les moins pratique possible (Yvain, LessWrong, le 14 Mars 2009)
↑ Basilisk Roko veut VOUS (Charlie Stross, le 23 Février 2013)
↑ Raison comme trouble immunitaire mémétique (Phil Goetz, LessWrong, le 19 Septembre 2009)
↑ AI-Box Experiment (xkcd)
↑ tournant la clé d'or - Frank Barbiere les pourparlers avec Fred Van Lente propos Mangus: Robot Fighter (Dan Wickline, Bleeding cool, le 22 Novembre 2014)
↑ Grimoire / Ennemis: Ghost Fragment: Vex, Destinypedia