高校生が作ったLLMとして話題を集めているArrowPro-7B-KUJIRAをLM Studioで利用できました。
15歳の高校生、「日本語能力最強」のAIモデル開発 AITuber向けに設計 https://t.co/WxSbh7kXam
— エンジニアM168 (@masaru21) May 10, 2024
こちらが、スクリーンショットです。
こちらが、回答の結果です。
高校生が作ったLLMとして話題を集めているArrowPro-7B-KUJIRAをStudio LLMで利用できました。#LLM pic.twitter.com/zYysjX7WS0
— エンジニアM168 (@masaru21) May 10, 2024
日本語が得意なのに、いつもの癖で、日本語で話せるか質問してしまいました。
私のパソコンは、RTX3060laptop搭載ノートパソコンなので、VRAMが6ＧＢで、RAMは16ＧＢです。
CPUは、12th Gen Intel(R) Core(TM) i7-1280P 2.00 GHzです。
そのため少しぎこちないですが、使うことができました。
そして今日知ったArrowPro-7B-RobinHoodですが、私のパソコンでは、利用できないようです。
Google Colaboratoryを使えると良いのですが私は、有料プランを利用する都合が付かないので、時期を待ちたいと思います。
こちらの記事が、能力を知る参考になると思います。
日本語特化のツヨツヨLLMを
— ホーダチ | AI✖️Cloud✖️Dev | 外資×ひとり法人 (@hokazuya) May 10, 2024
15歳の方（多分）がリリース
【ArrowPro-7B-RobinHood】
ようやく触れた。これすごいよ。
個人よ？高校生だよ？（間違ってたらごめんさい）
ベンチ、Elyza-task100においては約3.84。
Command R+で、3.83よ。超えてるのよ。… pic.twitter.com/cmA3VtkQ1p
OpenAIのChatGPTやMicrosoftのCopilotなどが有名ですが、こうしたオープンソースのLLMの開発も活発に行われています。
パソコンさえあれば、年齢関係なくLLMの開発ができることが証明されました。
Mac Studioなどのレベルの高性能なスペックがあるパソコンなら、LLMをローカルで使えるようです。
こちらの過去記事も、参考にしてください。
下記のパソコンで動くか分かりませんが、これらのパソコンよりも上のクラスM2 Ultraなどで、RAMが96GB搭載のモデルなら動くようです。
私は、検証できないので、仮定の話で書いています。
この記事の利用は、自己責任でお願いします。
こちらは、楽天市場で見つけたので、ご紹介します。
LLMは無理かもしれないですが、他の事なら快適に使えると思います。
私も、欲しいです。
こちらのパソコンのスペックでしたら、ある程度のLLMは、動くと思います。
Stable Diffusion web UI(AUTOMATIC１１１１版)もVRAMが24GBあるので、快適に使えると思います。
LLMを扱うためには、内蔵ストレージやVRAMの容量がある程度必要です。メモリも32GB以上は、必要のようです。
LM Studioは、ここからダウンロードできます。
