Cette discussion me rappelle l'intrigue d'un roman particulièrement bon de Frank Herbert: «Destination vide». Le milieu de la recherche constatant la difficulté à créer une vrai IA, décide de prendre les "grand moyens". Sous le faut prétexte d'un voyage intercidéral vers une autre système planétaire, ils embarquent des équipes de clones lancés vers "nul-part". Une fois en route, les clones décrouvrent que leur la seule chance de survie est de créer une IA dotée d'une vrai conscience.
Je ne me souvient plus du reste, mais je me souvient d'un détail amusant: chaque fois qu'une équipe approche du but la IA présente toujours une "psychose" ...

D'après moi, le plus grand risque auquel conduit de la conscience est l'épouventable désespoire de constater ce que l'on est vraiment. Les humains n'y résistent que parce qu'ils ont développer des mécanismes de défenses spécifiques (déni, dénégation principalement)
