AI生成コンテンツをAIが学習するとモデルに壊滅的損傷が生じると判明…純粋な人間製コンテンツの価値が跳ね上がり始める

モデル崩壊とは
モデル崩壊とは、AIによって生成されたコンテンツでトレーニングされた生成AIモデルの性能が低下することを指します。
https://www.ibm.com/jp-ja/think/topics/model-collapse

【現状】
・AIモデルはインターネット全体から学習
└ Wikipedia / Reddit / ニュース / 本 / SNS など
・必要：大量の高品質な人間のデータ
▼

【問題】
・人間が作った「良質なデータ」が枯渇しつつある
▼

【AI企業の対応】
・代替案：「AI生成コンテンツをAIに学習させよう」
└ ChatGPTが書いた文章 → 新AIの学習データ
└ そのAIが書いた文章 → 次のAIの学習データ
└ …世代ごとに繰り返し
▼

【結果】
・数世代で文章が支離滅裂に
└ 一貫性のある内容 → 意味不明の文字列へ
└ 「考える力」を失ったかのように劣化
▼

【現実の悪循環】
・毎日、数百万のAI生成記事やSNS投稿がネットに流入
・AI企業はそれを再び学習に使用
→ AIが自分の生成物を食べ続け、世代ごとに「劣化」
▼

【研究者の指摘】
・この現象を「モデル崩壊（model collapse）」と呼ぶ
・例えるなら「デジタル認知症」
・一度崩壊したAIは修復不可能（デジタル脳損傷）
▼

【現在の動き】
・AI企業は「最後の純粋な人間データ」を必死に収集中
▼

【警告】
・今対策しなければ、
未来のAIは信頼できなくなり
→ ナンセンスばかりを生み出す存在へ

私はそうは思わないとは思いません。
たしかにたとえばそれは何かの映画のようだと思います。
そして認知症に例えられたあれは的を射ているとは言えるのではないでしょう。あなたはそう思いますか？

本当に賢いAIなら、AIが作ったものかどうか判別できるんだろ
本当に賢いAIならわざわざ自分が劣化するような選択しないしな
本当に賢いAIが実現可能ならな

それは生成した文書を手直ししたり、厳選せずに手当たり次第食わせることによっておかしくなってるわけじゃなくて？

>>14
おまえじゃんｗ

寄生虫が共食いはじめた

LLMやめろ

AIが出力した大量の出鱈目を再学習すればそうなるのは分かりきっていた
終わりだよインターネット

人間の世界で起こっていることと同じだからｗ

モデル崩壊は大まかに2つ理由がある
ニューラルネットワークのパラメータは確率の地図みたいなもんでその場その場で確率の高い結果を出力する
したがって確率が低い細部、ディティールがが出力から失われがちになる
これがモデル崩壊の1つの理由
もう一つはベースになってるTransformerが自己回帰でエラーを増幅する原理的な弱点がある
この弱点はDiffusionとか色々混ぜることで改善できる可能性がある