今年AMD的AI 395 MAX 理论也有128G统一内存，分96G显存可以一试
我也是非常期待这个cpu， 但是现在推出的ai 9 370, 都是主板集成内存， 只有32G， 都要快6000. 如果扩到128G， 代价也不会太低。macbook pro 主要是ollama 在上面运行， 真的做到内存显存一体， 体验非常好。 刚刚使用 T14P，64G U9 185H，4050 6GB能够跑32B的，但是系统很慢，资源直接80%。但是现在Intel NI一直都参与计算。好像没啥用。 sunll001 发表于 2025-1-31 16:43
刚刚使用 T14P，64G U9 185H，4050 6GB能够跑32B的，但是系统很慢，资源直接80%。但是现在Intel NI一直都 ...
显卡内存太低了，起码得4070的12G， 才能跑8B, 32B得用64GB得MBP， 或者2块4090的PC来跑， 也可以用80GB显存的H100来跑。 xdni336 发表于 2025-1-31 07:27
18G跑8B 没问题，很流畅， 一般个人用到的场景都有了。 我一直想买个128G m4max, 跑32B和70B， 只是手 ...
M4跑8B大概多快啊？一个6000token的问题半分钟还是几秒钟？windows机器如果没独立显卡的话8B会掉到每秒十几token，一个问题超过五分钟，即使128G内存也没用 本帖最后由 and250 于 2025-1-31 22:22 编辑
xdni336 发表于 2025-1-31 07:32
要显卡才能快啊， CPU 做GPU, NPU的事情太慢了。
Windows笔记本上的5系显卡在deepseek看来跟集显一样完全不认
and250 发表于 2025-1-31 22:20
Windows笔记本上的5系显卡在deepseek看来跟集显一样完全不认
不是不认， 你要装nvideo设置程序， 把ollama或者类似的工具设为显卡优先。
我是用macbook pro, 跑deepseek 8b 和14b 都没问题， 这是8b下写一篇过年文章的性能
total duration: 25.973440709s
load duration: 35.5095ms
prompt eval count: 18 token(s)
prompt eval duration: 301ms
prompt eval rate: 59.80 tokens/s
eval count: 754 token(s)
eval duration: 25.635s
eval rate: 29.41 tokens/s
本帖最后由 and250 于 2025-2-26 07:41 编辑
xdni336 发表于 2025-1-31 23:01
不是不认， 你要装nvideo设置程序， 把ollama或者类似的工具设为显卡优先。
我是用macbook pro, 跑deeps ...
主要还是这个十四年前的低端独显太弱了吧，毕竟还不如现在最弱一百刀上网本的集显，性能只有现在4060的 0.5 %？
本帖最后由 xdni336 于 2025-2-1 06:14 编辑
and250 发表于 2025-2-1 05:56
主要还是这个十四年前的低端独显太弱了吧，毕竟还不如现在最弱一百刀上网本的集显，性能只有现在4060的 0. ...
也许你要求有点高，毕竟不是专业显卡 H100之类的， 你看看RTX 4070运行deepseek-r1 8b的表现， 这种测试不是专业的，每次都不一样，就当娱乐一下：
total duration: 19.6593597s
load duration: 22.8464ms
prompt eval count: 9 token(s)
prompt eval duration: 365.56ms
prompt eval rate: 24.62 tokens/s
eval count: 1212 token(s)
eval duration: 19.269085s
eval rate: 62.90 tokens/s and250 发表于 2025-2-1 05:56
主要还是这个十四年前的低端独显太弱了吧，毕竟还不如现在最弱一百刀上网本的集显，性能只有现在4060的 0. ...
另外：
我那个Mbp的cpu上代入门版，如果换成新的M4 pro/max,数字要好看的多， 不会低于4070/4080. 厉害了 xdni336 发表于 2025-1-31 18:18
显卡内存太低了，起码得4070的12G， 才能跑8B, 32B得用64GB得MBP， 或者2块4090的PC来跑， 也可以用80GB显 ...
我M3 Pro 16G内存，23年的机器跑14b，倒还算流畅，就是准确率太差，感觉模型信息太少以及老旧，实用性不强 lxprote 发表于 2025-2-3 15:35
我M3 Pro 16G内存，23年的机器跑14b，倒还算流畅，就是准确率太差，感觉模型信息太少以及老旧，实用性不 ...
数据量太少了， 14b也就10G左右的数据量， 作为一个离线百科全书就只能玩玩， 实用还得用online的。
国内有一些公司不允许上外网， 买个128G的m4 max,用来离线运行70b的大模型， 对开发就有意义了。
本帖最后由 and250 于 2025-2-11 23:58 编辑
xdni336 发表于 2025-2-3 16:23
数据量太少了， 14b也就10G左右的数据量， 作为一个离线百科全书就只能玩玩， 实用还得用online的。
国 ...
intel的11代之后的集显，虽然ollama官方不支持，但如果自己改一下代码的话也能跑起来了，128G内存的话可用64G显存，只不过没比CPU+内存快多少，可能80eu在独显面前太毛毛雨了 and250 发表于 2025-2-11 23:56
intel的11代之后的集显，虽然ollama官方不支持，但如果自己改一下代码的话也能跑起来了，128G内存的话可用 ...
集显基本不具备AI处理能力， 而且内存速度比显存慢多了， 可以跑起来， 但没法正常使用。可以等等过一阵上市的AMD R9 AI MAX HX390/395,这个支持128G高速内存/显存，官方明确说： 支持DeepSeek 70B. 按现在AI 9 HX 370的价格， 成品微主机1万上下应该能拿下。比买4万以上的macbook pro和macstudio实惠多了。 而且远程访问比macos容易多了。 xdni336 发表于 2025-2-12 08:18
集显基本不具备AI处理能力， 而且内存速度比显存慢多了， 可以跑起来， 但没法正常使用。可以等等过一阵 ...
不知道AMD这个集显能不能指定显存占内存的大小，如果能指定比如60%而不是只能50%的话，96G内存的笔记本就有希望跑起来，不然44G的70b在48G显存里有点太极限
intel家的集显主要还是太老了，从11代做了一次大幅改进之后直到目前的15/16代依然是马甲，AMD好歹还在更新，但这两年好像都在推所谓的NPU吧，不知道啥时候这类能更好的用在AI上面，不然又要倒回去重新卷核显了 and250 发表于 2025-2-12 21:58
不知道AMD这个集显能不能指定显存占内存的大小，如果能指定比如60%而不是只能50%的话，96G内存的笔记本就 ...
你的了解过时了 ivanzzz 发表于 2025-2-12 22:41
你的了解过时了
所以是哪部分过时？ and250 发表于 2025-2-13 04:15
所以是哪部分过时？
集显从Meteor Lake的第一代Ultra开始，到后来的Lunar Lake的二代Ultra，每一代都进步不小
11代套马甲的信息已经过时了，Intel还是有更新集显技术的 ivanzzz 发表于 2025-2-13 22:36
集显从Meteor Lake的第一代Ultra开始，到后来的Lunar Lake的二代Ultra，每一代都进步不小
11代套马甲的信 ...
你说的是arc8和arc140t么？前者这一代因为cpu部分有点弱很多人还在等后者铺货……倒是对面amd发布之后上货勤快多了（北美） xdni336 发表于 2025-2-12 08:18
集显基本不具备AI处理能力， 而且内存速度比显存慢多了， 可以跑起来， 但没法正常使用。可以等等过一阵 ...
今天拿家属的11代低压本试了试走cpu和gpu的区别，性能方面gpu只快20%，但风扇基本不太转，看上去gpu 99%+cpu 15%的发热远比cpu 99%低得多。但10代之前的因为流处理器还要少一半，估计是不如cpu快了。如果新的核显包括amd家的能像苹果那样更好的利用共享显存，应该会比老黄掐中低端游戏本8G显存更适合中等大小的模型（14/32/70这些)，不过但凡能放进显存的确实还是显卡快得多。
页:
1
[2]