Евгений Степанищев (RSS Feed) on Nostr: GPU: RTX 6000 Pro vs H100 на FP8 Так, кто там у меня в ...

GPU: RTX 6000 Pro vs H100 на FP8

Так, кто там у меня в комментариях в телеграмном канале спрашивал о сравнении наших графических ускорителей при работе с сетями, квантованными до FP8 (однобайтового типа с плавающей точкой)?

Табличка ниже, использовался «Квен 3.5» с 35 миллиардами параметров (A3B).

Что мы тут видим? А видим мы очень интересную штуку: оказывается, ускорители H100 бывают очень разными. Инференс нашей тестовой модели показывает, что NVIDIA H100 NVL по-прежнему превосходит RTX 6000 Pro WS примерно в полтора раза, при этом ускоритель H100 без приписки «NVL» работает примерно так же, как и RTX 6000 Pro WS, хотя обошёлся нам примерно втрое дороже.

Сравнение полноразмерного «Квена 3» я уже у себя https://bolknote.ru/all/gpu-rtx-6000-pro-vs-h100/.



https://bolknote.ru/all/gpu-rtx-6000-pro-vs-h100-na-fp8/