Bonjour,
Merci pour la réponse.
Je pense que ma question n’était pas clair et ta induit en erreur sauf si tu me suggères vraiment de créer un serveur pour ce que je souhaite faire.
Le serveur duquel je reçois les messages n'est pas le mien, je ne gère que la partie client.
Je me connecte a l'adresse de leur websocket et j'envoie des messages pour m'abonner au topics que je souhaite et il m’envoie les messages correspondant.
C'est des cours de bourse, orderbook etc, c'est pour cette raison qu'il peut y avoir beaucoup de messages envoyé par secondes en cas de gros mouvements.
Je peu récupérer les messages et ensuite les traiter directement, mais j'aimerais bien séparer les choses pour utiliser du multiprocessing avec le moins d’interaction possible entre mes objets.
Donc le SQL ou CSV c’était juste l'endroit ou stocker les messages reçu le temps de les traiter.
Quand je reçois le message, je fais un premier petit traitement déçu pour ensuite l'envoyer dans ma base de donnée.
De l'autre cote, je récupère les valeurs dans ma base de donnée pour faire le gros traitement. en ayant les deux parties qui tournent chacune de leur cote sans ce connaître mutuellement.
J'ai vu sur ce poste https://stackoverflow.com/questions/16740887/how-to-handle-incoming-real-time-data-with-python-pandas qu'il parle d'utiliser le module logging de python pour y stocker tous les messages tout en les traitant en parallèle.
J'ai du mal à imaginer comment le mettre en place et surtout comment les performances pourraient être bonne.
Hier, j'ai essayé de juste créer une classe DataBase ou je stock mes dictionnaires etc et qui sera accessible en écriture pour écrire les messages(pas le message brut, j'aurais un petit traitement à faire sur chaque message reçu avant de le stocker) et en lecture pour la partie qui va les traiter.
class Singleton(type):
_instances = {}
def __call__(cls, *args, **kwargs):
if cls not in cls._instances:
cls._instances[cls] = super(Singleton, cls).__call__(*args, **kwargs)
return cls._instances[cls]
class DataBase(metaclass=Singleton):
pass
L'avantage, c'est que niveau performance, je pense que c'est difficile de faire mieux, après il pourrait y avoir des soucis de mémoires surtout avec de gros Dataframe via pandas.
J’espère que c'est un peu plus clair.
Bonne journée
