AI TOP100 搜您想要的
单卡跑Llama 70B快过双卡，微软硬生生把FP6搞到了A100里 | 开源
新方法TC-FPx在A100上的FP6量化，速度接近甚至偶尔超过INT4，而且拥有比后者更高的精度。AITOP100
2024-04-29
Mamba超强进化体一举颠覆Transformer！单张A100跑140K上下文
52B的生产级Mamba大模型来了！这个超强变体Jamba刚刚打破世界纪录，它能正面硬刚Transformer，256K超长上下文窗口，吞吐量提升3倍，权重免费下载。AITOP1002024-03-29
英伟达最强通用大模型Nemotron-4登场！15B击败62B，目标单张A100/H100可跑
许久未更新大模型的英伟达推出了150亿参数的Nemotron-4，目标是打造一个能在单个A100/H100可跑的通用大模型。AITOP1002024-02-29
比A100性价比更高！FlightLLM让大模型推理不再为性能和成本同时发愁
近日，无问芯穹、清华大学和上海交通大学联合提出了一种面向 FPGA 的大模型轻量化部署流程，首次在单块 Xilinx U280 FPGA 上实现了 LLaMA2-7B 的高效推理。AITOP1002024-01-10
4090成A100平替？token生成速度只比A100低18%，上交大推理引擎火了
这个推理引擎速度有多快？在单个 NVIDIA RTX 4090 GPU 上运行 LLM ，PowerInfer 的平均 token 生成速率为 13.20 tokens/s，峰值为 29.08 tokens/s，仅比顶级服务器 A100 GPU 低 18%，可适用于各种 LLM。AITOP1002023-12-22
2.7B能打Llama 2 70B，微软祭出「小语言模型」，96块A100 14天训出Phi-2，碾压谷歌Gemini nano
2.7B能打Llama 2 70B，微软祭出「小语言模型」！96块A100 14天训出Phi-2，碾压谷歌Gemini nanoAITOP1002023-12-13
2.7B能打Llama 2 70B，微软祭出「小语言模型」！96块A100 14天训出Phi-2，碾压谷歌Gemini nano
都快到年底了，大模型领域还在卷，今天，Microsoft发布了参数量为2.7B的Phi-2——不仅13B参数以内没有对手，甚至还能和Llama 70B掰手腕！AITOP1002023-12-13
热点关键词
- 1无界AI
- 2123
- 3AI视频大赛
- 4AI
- 5每日AI资讯
- 6AI 应用
- 7大模型
- 8ChatGPT
- 9创作大赛
- 10AIGC
欢迎来到AI Top100！我们聚合全球500+款AI智能软件，提供最新资讯、热门课程和活动。我们致力于打造最专业的信息平台，让您轻松了解全球AI领域动态，并为您提供优质服务。
合作伙伴
