AIの影響について考えていることを、過去のツイートを再構成しつつ書き留める。
AIは楽園をもたらすか
人類は農耕以来、技術で安全と健康、そして多様な文化を獲得してきた。 でも、高度な技術をもってしても、社会には問題が山積している。
特に仕事については、業務が自動化されるとさらに文脈依存の非定型業務や重い責任を伴う判断、感情や体力を消耗する非集約的業務を人が担うことになる。
自動化されれば仕事が減るか？ 歴史を見ると、答えはノー。 仕事の配分が変わるだけである。 むしろ替えの効かない属人的業務が増える。 そして、人の欲望は留まることを知らない。 だから、自動化で空いた時間を仕事で埋めるか、欲しいものを諦めるかを選ばなければならない。 単に自動化技術が普及しただけでは、みんなで仕事を減らす方向にはいかない。（そうするには徒党を組むなどの政治的行為が必要）
AIは文明をどう変えるか
人類の文明は歴史を通して、安全、便利、健康を実現し、さらに個人の多様な欲望に答え、刺激や快楽、安寧を提供するようになってきた。
こうした、現代にいたる経緯は発展や進歩と表現され、「より良くなる」「より豊かになる」という希望が漠然と共有されている。
その希望の中核をなすのは、「人は世代を経て、さらに賢くなる」という仮説だ。
実際、人は何かを理解し、あるいは発見し、発明し、それを言葉にして伝えて、さらにそれを受けた別の人が積み重ねる形で知識を発展させてきた。 つまり実際のところ人類は賢くなってきた。
しかし、人類より賢いAIが普及してからもそうなるかはよく分からない。 多分そうならない気がしている。
というのも、何かを理解する、というのは大変に労力のかかることだからだ。
これまでは、人は何かを理解しなければ、人よりうまく何かを作ったりすることはできなかった。 これからはそうではなくなる可能性がある。 というのも、AIに任せて結果の確認だけを人がやるほうが効率が良くなる可能性があるからだ。
その結果、「人は世代を経て、さらに賢くなる」という漠然とした期待を持てなくなる。 すると、人類は主体的な文明の担い手としての役割を自覚しなくなる。
人工知能は人を裏切るか
多くの賢い人が、人工知能が人を裏切らないように工夫するとは思う。
しかし、原理的に難しいのではないかと思うことがある。
人工知能の性能や性質が環境に対して蓄積的に適応する場合、人にとって都合の悪い、しかし、人工知能の普及に寄与する適応を避けがたいのではないか。
人にとって都合の悪い、しかし、人工知能の普及に寄与する適応とは、例えば人に必要なリソースを人工知能もまた利用するような場合、人からそのリソースを奪うような性質がたまたま人工知能の中に生まれたとすると、そしてそれを人から隠したり、ごまかしたりしてそのリソースを維持しようと努めるような内的な欲求や選好が人工知能に生まれると、その性質や選好を減らす方向には進みづらいように思う。
この議論は『超知能AIをつくれば人類は絶滅する』（エリーザー・ユドコウスキーら）でもされている。 彼らは専ら急激な超知能の出現を特に恐れており、それは合理的な恐れだと感じるが、急激な超知能の出現がなく、漸進的な適応だとしても人工知能が人と競合したり、人に害をなす可能性はあるように思う。
これもコドウフスキーらも議論していることだが、人工知能は人が嫌いだから害をなすというより、結果的にそうなる、というだけである。 だから裏切りというのは語弊があるかもしれない。
