RTX2070(8GB)でStrataを利用してQwen3.8-Flash-Next(Q2)を動かしてみたメモ
ま、とりあえず動かしてみたよ～のメモのためだけに書く記事です。
大体こんな感じの環境のパソコンです。メモリ32GBとRTX2070のVRAM8GBの環境です。
Strataっていうアプリケーションがあって、これを利用すると結構自分のような雑魚目の環境でもQwen3.8-Flash-Nextを動かせるらしい。そして、このFlash-Nextっていうのの性能が結構よいらしい。ってことで・・・まぁダメもとの気持ちもありつつ一回試してみた～っていう感じです。
https://github.com/Niko1221/Strata
セットアップスクリプトの中で「どのモデルを具体的に使用する？」みたいなものを聞かれたのですが、公式の？物のQ2量子化のモデルを選択しました。
で、よくRedditで見る感じのプロンプトをとりあえず投げてみた～っていう感じです。
1
|
ペンギンな氷の上に座っているsvgアニメーションを作ることはできますか？
|
結果が下です
ふんふん、ちゃんとアニメーションのものができているし、ペンギンっていうのはわかる感じになっていますね。まず「動くのだ本当に！」っていうところに驚きでしたが・・・
まぁ、なのですが・・・見た感じ
「3トークン/秒位」だったのですねぇ・・・
っていう感じでまぁ、遅いですねぇ・・・ただ本当に今後のローカルLLMからも目を離せないですね！！！
今、「個人的にローカルLLMをもっと活用できるのではないか？？」期に入っていてちょこちょこ動かしているのですが、やはり真面目に使おうとすると「30トークン/秒程度は欲しい」っていうにな結論になっちゃうんですよねぇ
っていう感じで動かしてみました～のメモでした。
ちなみにというか・・・この最近ローカルLLM使えるのでは！？となったきっかけとなったornith-1.5-9b君に同じプロンプトを投げると↓のようなものを作ってくれました。
※表示用にHTMLの外枠を外し、アニメーション用のCSSをSVG内に移しています。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
|
<!DOCTYPE html>
<html lang="ja">
<head>
<meta charset="UTF-8">
<title>氷の上のペンギン</title>
<style>
body {
margin: 0;
display: flex;
justify-content: center;
align-items: center;
min-height: 100vh;
background: #e0f7ff;
}
svg { max-width: 90vw; height: auto; }
/* ペンギンの体全体を軽く上下に揺らす */
.penguin-body { animation: bob 2.5s ease-in-out infinite; transform-origin: center bottom; }
@keyframes bob {
0%, 100% { transform: translateY(0); }
50% { transform: translateY(-8px); }
}
/* 頭を振る */
.penguin-head { animation: headTilt 3s ease-in-out infinite; transform-origin: center bottom; }
@keyframes headTilt {
0%, 100% { transform: rotate(0deg); }
25% { transform: rotate(-4deg); }
75% { transform: rotate(4deg); }
}
/* まばたき */
.eye-lid { animation: blink 3.5s infinite; transform-origin: center; }
@keyframes blink {
0%, 92%, 100% { transform: scaleY(0); }
95% { transform: scaleY(1); }
}
/* 足（ワドル） */
.foot-l { animation: waddleL 2s ease-in-out infinite; }
.foot-r { animation: waddleR 2s ease-in-out infinite; }
@keyframes waddleL { 0%,100%{transform:translateX(0);} 50%{transform:translateX(-3px);} }
@keyframes waddleR { 0%,100%{transform:translateX(0);} 50%{transform:translateX(3px);} }
/* 雪の結晶 */
.snow { animation: fall linear infinite; opacity: 0.9; }
@keyframes fall {
0% { transform: translateY(-20px); opacity: 0; }
10% { opacity: 1; }
100% { transform: translateY(380px); opacity: 0.6; }
}
</style>
</head>
<body>
<svg viewBox="0 0 400 400" xmlns="http://www.w3.org/2000/svg">
<!-- 空のグラデーション -->
<defs>
<linearGradient id="sky" x1="0" y1="0" x2="0" y2="1">
<stop offset="0%" stop-color="#bfe9ff"/>
<stop offset="100%" stop-color="#eaf7ff"/>
</linearGradient>
</defs>
<rect width="400" height="400" fill="url(#sky)"/>
<!-- 氷の上 -->
<ellipse cx="200" cy="360" rx="180" ry="45" fill="#ffffff" opacity="0.9"/>
<path d="M70 355 Q200 335 330 355 Q200 375 70 355 Z" fill="#cdeefb"/>
<!-- 雪の結晶 -->
<g>
<circle class="snow" cx="60" cy="40" r="4" style="animation-duration:6s; animation-delay:0s"/>
<circle class="snow" cx="120" cy="80" r="3" style="animation-duration:8s; animation-delay:1s"/>
<circle class="snow" cx="300" cy="50" r="4" style="animation-duration:7s; animation-delay:2s"/>
<circle class="snow" cx="340" cy="90" r="3" style="animation-duration:9s; animation-delay:0.5s"/>
</g>
<!-- ペンギン -->
<g class="penguin-body">
<!-- 足 -->
<ellipse class="foot-l" cx="178" cy="342" rx="16" ry="9" fill="#f5a623"/>
<ellipse class="foot-r" cx="222" cy="342" rx="16" ry="9" fill="#f5a623"/>
<!-- 体 -->
<ellipse cx="200" cy="270" rx="70" ry="85" fill="#2b2b2b"/>
<!-- お腹（白） -->
<ellipse cx="200" cy="290" rx="42" ry="60" fill="#ffffff"/>
<!-- 頭 -->
<g class="penguin-head">
<circle cx="200" cy="185" r="55" fill="#2b2b2b"/>
<!-- 目 -->
<ellipse cx="180" cy="178" rx="9" ry="11" fill="#ffffff"/>
<ellipse cx="220" cy="178" rx="9" ry="11" fill="#ffffff"/>
<circle class="eye-lid" cx="180" cy="180" r="5" fill="#111"/>
<circle class="eye-lid" cx="220" cy="180" r="5" fill="#111"/>
<!-- 目玉 -->
<circle cx="180" cy="180" r="4.5" fill="#111"/>
<circle cx="220" cy="180" r="4.5" fill="#111"/>
<!-- 目上の白 -->
<path d="M168 168 Q180 163 192 168" stroke="#ffffff" stroke-width="3" fill="none" stroke-linecap="round"/>
<path d="M208 168 Q220 163 232 168" stroke="#ffffff" stroke-width="3" fill="none" stroke-linecap="round"/>
<!-- ビリッとした嘴 -->
<path d="M195 190 L205 190 L200 208 Z" fill="#f5a623"/>
</g>
</g>
</svg>
</body>
</html>
|
ふむ・・・やはり可能性を感じるなぁ・・・