僕ちん、ローカルLLMを導入するも、重すぎて使い物にならずに終了【AI】

1 : 2025/08/20(水) 16:11:40.76 ID:Sg5etHx80

普通に金払って使うほうがいいわ
返信も遅いし、精度も悪い
Qwen3にテトリス作ってって言ったら何も動かないゴミができたぞ

ローカルLLMとは？メリット・デメリット・おすすめモデルと導入方法を解説

ローカルLLMの定義と特徴
ローカルLLMとは、クラウドサーバーではなく、
ユーザー自身のPCやサーバー上で動作する大規模言語モデルです。
最大の特徴は、データがローカル環境内で処理されるため外部にデータが送信されず、
プライバシーが保護される点にあります。

従来のクラウド型AIサービスとは異なり、インターネット接続が不要なため、
オフライン環境でも安定して利用できます。これにより、通信環境が整っていない場所や、
セキュリティポリシーにより外部接続が制限された環境でも、AI機能を活用することができるようになりました。
https://usknet.com/dxgo/contents/dx-technology/what-is-a-local-llm/

2 : 2025/08/20(水) 16:12:04.61 ID:Sg5etHx80

重すぎだよ
ケンモジはどんだけいいPC使ってるんだよ

3 : 2025/08/20(水) 16:12:54.01 ID:5PLJzc3B0

あんなもん自律型殺人兵器に搭載するためのものなんだから

4 : 2025/08/20(水) 16:13:36.14 ID:Sg5etHx80

家がデータセンターみたいなやつじゃないと快適に使えないよ

5 : 2025/08/20(水) 16:13:40.15 ID:JOQMHw7G0

ｇｐｔ　ｏｓｓ　２０ｂだろ

8 : 2025/08/20(水) 16:15:02.02 ID:Sg5etHx80

>>5
ちゃっぴーはコーディングに全く期待できないから、評判のいいQwen3にしてみたんよ
Qwen3はバージョンいっぱいあって、雑魚PCにも優しいと思ったんよ

6 : 2025/08/20(水) 16:14:45.83 ID:HR9SjXw+0

20Bで十分よな。

7 : 2025/08/20(水) 16:14:51.54 ID:gR8+UACW0

参考までにスペック晒して

14 : 2025/08/20(水) 16:16:41.10 ID:Sg5etHx80

>>7
RTXの4070なんよ

9 : 2025/08/20(水) 16:15:19.72 ID:c56UYsoh0

Mac Studioがいいらしい

10 : 2025/08/20(水) 16:15:58.76 ID:2ylYbwss0

個人用途でローカルLLM使う意味ある？

13 : 2025/08/20(水) 16:16:22.11 ID:oRjxaPL30

>>10
エ口

11 : 2025/08/20(水) 16:16:03.56 ID:oRjxaPL30

エ口じゃなきゃGeminiでいいじゃん？

12 : 2025/08/20(水) 16:16:17.05 ID:ukVSnwka0

普通にチャッピーに課金しろよ

15 : 2025/08/20(水) 16:17:07.56 ID:Da8ggKCZ0

画像生成より要求スペック高いよな
画像生成はcomfyuiとか使えばショボグラボでも行けたけどローカルLLMは行けない気がする
ローカルLLM自分で試してないから分かんねえけど

16 : 2025/08/20(水) 16:18:35.29 ID:Sg5etHx80

>>15
いっぱいいっぱいで使って動くのもとろとろなんよ
ちゃっぴーやclaudeがどんだけデータセンター作っても足りない理由がよく分かるんよ

17 : 2025/08/20(水) 16:19:44.07 ID:8UM5Cot20

テトリスくらい自分で作ればええやん

18 : 2025/08/20(水) 16:20:23.66 ID:Sg5etHx80

>>17
作り方わかんないんよ
こんなの考える頭なんてないんよ

22 : 2025/08/20(水) 16:23:10.32 ID:U3eaTLUd0

>>18
AIはどうしたAIは

19 : 2025/08/20(水) 16:20:37.76 ID:UEt690QH0

パラメータ数下げればいい

20 : 2025/08/20(水) 16:21:16.60 ID:Sg5etHx80

>>19
下げに下げてもサクサクのさの字もないんよ

30 : 2025/08/20(水) 16:39:40.51 ID:XQ/Y5ezY0

>>19
下げたら受け答えが政治家みたいになって使い物にならんぞ

21 : 2025/08/20(水) 16:22:37.73 ID:Da8ggKCZ0

gemini apiならスマホでも使えるしほぼ無料で2.5proほとんど使い放題だしローカルにしなくてもええんちゃうと思うけど

23 : 2025/08/20(水) 16:25:34.24 ID:GM+ABZbDM

日本語文字込み画像解析できるやつ試したら画像1枚説明するのに3分かかった

24 : 2025/08/20(水) 16:27:02.44 ID:dBUm/gbKM

長考必要な作業はオンラインにしないと駄目だろう
ただオンラインだと変な規制多くて面倒ではある
同人誌の人気ジャンル分析頼んだら、深刻な虐待の恐れがあるとかでやってくれなかった

25 : 2025/08/20(水) 16:28:14.16 ID:RBUpj6kL0

Forgeとxortron2025を画像生成と同時に使ったら激重になったからメインPCを画像、サブ(3090Ti)をLLMで使ってる

26 : 2025/08/20(水) 16:29:21.72 ID:dBUm/gbKM

規制無い、プライバシー侵害無いならオンラインに課金するけど、謎ルール規制してユーザー情報は学習データに使うから課金するのはコスパ悪い

27 : 2025/08/20(水) 16:29:48.20 ID:IDExvb3Vd

うちのqwen3は動くテトリス作ってくれるで
デバッグ必要だけど

28 : 2025/08/20(水) 16:31:27.05 ID:Sg5etHx80

もうOpenRouterでお金かかるけど色々使えるやつに切り替えたんよ
でも、お金かかるし、Qwen3は相変わらず馬鹿だし困ってるんよ
高いclaudeを使うのは怖いから、それなら最安値のTrae.aiにまた戻ったほうがいいかなとか
色々迷ってるんよ
助けてケンモジ！

29 : 2025/08/20(水) 16:34:19.46 ID:AUtVqw060

llmはryzen ai maxにメモリマシマシでもクラウドに勝てんからなぁ
大人しくapi課金の方が良いよね

31 : 2025/08/20(水) 16:45:07.99 ID:Da8ggKCZ0

geminiのapi、4万円弱くらいのGoogleがくれるやつ使い切ったら課金するしかねえかと思ってたけど一日で使える無料分が多いから複数アカウント使ってapiキー二つほど作れば余裕で持つよな
てか一つのキーで一日持つわ

32 : 2025/08/20(水) 16:46:02.61 ID:1vaULcsXH

ローカルは128Gから入門