Informatique

Voila j'ai un nouveau serveur que j'ai monté chez moi et je cherche à savoir quel est le meilleur filesystem pour utiliser les LLM, entrainer des model de données. Je suis encore novice, la connaissance viendra avec le temps ><, J'ai cru comprendre que c'est le XFS, mais je suis familier que avec ext4. Que me conseillez vous ?

Ca depend de beaucoup trop de chose pour pouvoir repondre. A quoi ressemble ton architecture de calcul?

C'est un systeme a un systeme a une seule machine? C'est un systeme a un seul gpu?
Combien de memoire sur les different devices?
Est ce que tu es sur que le bottleneck est le disque?

Si tu as un bottleneck en IO alors chamger le file aysteme ne va pas beaucoup aider, il faut probablement rajouter de la bande passante en rajoutant des io devices.

Ben je voulais faire u truc simple. Donc j'ai juste sa ma machine: https://pcpartpicker.com/list/nK9DCd

pour entrainer sur une seule 3090, j'ai du mal a croire que tu vas etre io bound. je me poserais pas de question tant que tu n'as pas un profile de ton probleme qui te dit que tu as un probleme d'io. mais probablement tu vas finir par louer un truc plus puissant pour entrainer plus vite.

Le 31 octobre 2024 à 01:25:55 :
pour entrainer sur une seule 3090, j'ai du mal a croire que tu vas etre io bound. je me poserais pas de question tant que tu n'as pas un profile de ton probleme qui te dit que tu as un probleme d'io. mais probablement tu vas finir par louer un truc plus puissant pour entrainer plus vite.

Je suis debutant, le but c'est pas vraiment performer mais d'appliquer certains concept, je commence a peine, je vais surement finir dans un mur. Mais je retiens l'information qui me faut quelque chose de plus puissant.

Le 31 octobre 2024 à 19:13:10 :

Le 31 octobre 2024 à 01:25:55 :
pour entrainer sur une seule 3090, j'ai du mal a croire que tu vas etre io bound. je me poserais pas de question tant que tu n'as pas un profile de ton probleme qui te dit que tu as un probleme d'io. mais probablement tu vas finir par louer un truc plus puissant pour entrainer plus vite.

Je suis debutant, le but c'est pas vraiment performer mais d'appliquer certains concept, je commence a peine, je vais surement finir dans un mur. Mais je retiens l'information qui me faut quelque chose de plus puissant.

Donc on s'en fout un peu, part sur du ext4 et voila