以为自己是chatGPT这个我看到挺多AI领域的人都讲得挺透彻的。至于行业认为DS是突破是因为DS比其他模型都efficient很多。至于阴谋论说他有多少多少台H100的话那就是搞笑了。他们有多少设备我还是挺清楚的，大部分都是英伟达A100，确实比目前其他模型需要的少很多。而且中国的公司当然会有审查制度，这个也不是这么新闻了。 - ThreadSky

tracywenliu.bsky.social • 34 days ago

以为自己是chatGPT这个我看到挺多AI领域的人都讲得挺透彻的。
至于行业认为DS是突破是因为DS比其他模型都efficient很多。至于阴谋论说他有多少多少台H100的话那就是搞笑了。他们有多少设备我还是挺清楚的，大部分都是英伟达A100，确实比目前其他模型需要的少很多。
而且中国的公司当然会有审查制度，这个也不是这么新闻了。

Comments

evildolphinman.bsky.social•34 days ago

说实话我对DS的显卡数量是有怀疑的，但你有内部消息的话我肯定信你。

tracywenliu.bsky.social•34 days ago

H100是有的，但大部分都是旧的A100。A100现在在中国很便宜也很容易买到的。至于成本那确实比其他模型地多了。

evildolphinman.bsky.social•34 days ago

他们的结果我不怀疑的，都有publication也不难复现。但是有更多算力肯定是更有优势的，因为trial and error的机会更大了。

yomogifoxfreed.bsky.social•34 days ago

“以为自己是chatGPT"就是因为DS是在学chatGPT啊。这就是几个学霸看懂了大部头原始材料，写了笔记去考试，DS看几个学霸的笔记搞小抄，虽然没有看原始材料但最后也能和学霸一样考高分。“以为自己是chatGPT"就是典型的抄笔记把人家的名字都抄走了

我的问题是，这些大公司现在意识到能用搞小抄的方法制作AI，那他们不会自己搞小抄节省算力吗？小抄的基础都是他们自的笔记，他们不会做出更好的小抄？而且小抄而已，别人不会搞吗？

最大的问题是：大家都去搞小抄，那产生小抄的笔记就更重要了。其实巨头们对整个世界的垄断反而更强

https://www.youtube.com/watch?v=r3TpcHebtxM

evildolphinman.bsky.social•34 days ago

你没有理解DS的创新在哪里。用GPT的synthetic data进行训练是所有公司所有人都在做的事情，这不是“小抄”，这是行业内standard way。有意义的是模型本身和如何更快速高效的训练模型。其他公司一样用GPT的synthetic data训练，但是速度慢了很多花费也高很多，这就是DS厉害的地方，也是他们的创新之处。

evildolphinman.bsky.social•34 days ago

补充一下，开源之后，训练模型就可以用DS的synthetic data训练了而不是GPT的synthetic data，那么成本就下降了很多，这也是为什么在业界受欢迎的原因。

yomogifoxfreed.bsky.social•34 days ago

那不就是整个行业都在槁小抄。。。

evildolphinman.bsky.social•34 days ago

用GPT生成数据是需要花钱的，GPT也靠这个赚钱。这并没有任何不道德。只是个高效生成训练数据的方式。反过来讲，当一个大语言模型release之后，很快别的模型也会catch up，现状如此。据我所知也有公司不用synthetic data，就自己搜集训练数据，比如微软，但微软好像目前也没有拿得出手的大语言模型。。。

Comments

Posting Rules

Reply