Parce que l'air de rien, après un petit calcul et un bon gros test sur une RTX 3090 24G (prêtée par un client.... enfin empruntée à un client qui n'était pas en prod :) )
J'ai déduis que Whisper consomme beaucoup plus en CPU qu'en GPU (je parle de consommation électrique...)
- whisper sur un Ryzen 7 5800X met 59min pour transcrire une vidéo de 24min et consomme 241 W (consomme 241 WattsHeure par heure de transcription... donc 241W en moyenne)
- whisper sur la RTX3090 met 3'29" (!!) et consomme donc 43 W en moyenne.
Donc on va 17 fois plus vite
et on consomme au final 5.6 fois moins de courant
Benjamin Sonntag-King
npub12y…mrkev
2025-03-23 08:37:32 UTC
in reply to nevent1q…t80a
Author Public Key
npub12y2dscdvd7wppantxzcm7h2htp7aayyx9s4938n37f0ug7lucs7sqmrkevSeen on
wss://relay.momostr.pinkPublished at
2025-03-23 08:37:32 UTCEvent JSON
{
"id": "a5fbb0d625e419fad17dccb52e6e92836465fa69136e2a7352d2546c7ce74734",
"pubkey": "5114d861ac6f9c10f66b30b1bf5d57587dde90862c2a589e71f25fc47bfcc43d",
"created_at": 1742719052,
"kind": 1,
"tags": [
[
"proxy",
"https://piaille.fr/@benjamin/114210835801759310",
"web"
],
[
"e",
"1fed1eecd4298b30b68dff19909b9bb637129edccad10059e40e85004830eb06",
"",
"root",
"5114d861ac6f9c10f66b30b1bf5d57587dde90862c2a589e71f25fc47bfcc43d"
],
[
"p",
"db14d4f96ef028f337b4508ae54d2014cf4bd8390e844bbc4efda28fe0a3dd08"
],
[
"p",
"5114d861ac6f9c10f66b30b1bf5d57587dde90862c2a589e71f25fc47bfcc43d"
],
[
"proxy",
"https://piaille.fr/users/benjamin/statuses/114210835801759310",
"activitypub"
],
[
"L",
"pink.momostr"
],
[
"l",
"pink.momostr.activitypub:https://piaille.fr/users/benjamin/statuses/114210835801759310",
"pink.momostr"
],
[
"-"
]
],
"content": "Parce que l'air de rien, après un petit calcul et un bon gros test sur une RTX 3090 24G (prêtée par un client.... enfin empruntée à un client qui n'était pas en prod :) ) \n\nJ'ai déduis que Whisper consomme beaucoup plus en CPU qu'en GPU (je parle de consommation électrique...)\n\n- whisper sur un Ryzen 7 5800X met 59min pour transcrire une vidéo de 24min et consomme 241 W (consomme 241 WattsHeure par heure de transcription... donc 241W en moyenne) \n\n- whisper sur la RTX3090 met 3'29\" (!!) et consomme donc 43 W en moyenne. \n\nDonc on va 17 fois plus vite\net on consomme au final 5.6 fois moins de courant",
"sig": "1c52a3945a19edf3732f2c3ccaa4128e44597f83bed6a4dc1ce12ee11b46ad1b940b454cd291aad9504023de8879fca78007e66f1a460a223c822cf6a381a1a3"
}