678CHAT AI资讯 Sohu AI芯片来袭:每秒处理50万tokens,速度碾压英伟达H100!

Sohu AI芯片来袭:每秒处理50万tokens,速度碾压英伟达H100!

6月26日,Etched公司宣布成功完成1.2亿美元的A轮融资,这笔资金将被用于推动全球首款专为Transformer架构设计的专用集成电路(ASIC)芯片Sohu的研发与市场推广。

Sohu AI芯片来袭:每秒处理50万tokens,速度碾压英伟达H100!插图

根据公开资料显示,Etched公司由两位哈佛大学的辍学生,加文·乌伯蒂(Gavin Uberti)和克里斯·朱(Chris Zhu)共同创立,公司成立至今尚不足两年。

Sohu芯片的创新之处在于,它将Transformer架构直接蚀刻进芯片内部,乌伯蒂表示,Sohu芯片采用台积电的4纳米工艺技术制造,其推理性能在与GPU和其他通用人工智能芯片的比较中表现卓越,同时在能耗方面也具有明显优势。

Sohu AI芯片来袭:每秒处理50万tokens,速度碾压英伟达H100!插图1

在Llama 70B的吞吐量测试中,Sohu芯片每秒能够处理超过50万个tokens,这使得用户能够开发出GPU所无法实现的创新产品。

Sohu芯片具备实时语音代理、毫秒级文本处理、强大的代码树搜索能力、并行比较数百个响应、多播推测解码以及实时生成新内容等多项功能,为运行未来万亿级参数模型提供了强有力的支持。

Sohu AI芯片来袭:每秒处理50万tokens,速度碾压英伟达H100!插图2

更多详细信息,感兴趣的用户可以通过官网链接进行深入了解。

本文来自网络,不代表678CHAT立场,转载请注明出处:https://www.678chat.com/ai/846.html

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

返回顶部