Présentation

L'index Virement ou Mouvement ou bien encore Transfer en anglais contient l'ensemble des virements entrants et sortant de l'Etablissement de Paiement.

On y retrouve 2 catégories de virements :

• les cashouts automatiques et manuels (aussi appelé REM VIR)
• les virements entrants (LOT VIR)

Ces données proviennent des vacations poussées au Data Lake par MREP. Elles sont ensuite préparées et publiées dans l'index Virement à heure régulière chaque jour. Il est également possible d'effectur un rattrapage sur l'historique avec un manual job.

Cet index est aujourd'hui utilisé pour produire des reportings règlementaires (OSCAMP - Cartographie des moyens de paiement et Reporting SURFI), mais aussi pour de la Reporting interne - Data viz.

Architecture technique

Sources de données

Le traitement de mise à jour de l'index Virement récupère les données présentes dans le Data Lake (tables HBase "vacation", "transaction" et "evenement"), les prépare et les publie dans l'index Virement.

Plus précisément :

• les cashouts automatiques sont récupérés à partir des vacations financières "vacation-financiere" sur les transferts du même "correlationId" avec un "ctInfo" commençant par "REM VIR"
• les cashouts manuels sont récupérés à partir des vacations de type "vacation-controle-validite-ordres" sur les transferts du même "correlationId" avec un ordre "ORDOK"
• les virements entrants sont récupérés à partir des vacations "vacation-reglement-virements" sur les évènements du même "correlationId" de type "CRETR"

Rattrapage - manual job

Le dataflow de l'index Virement est idempotent, il est donc possible d'effectuer un rattrapage de données à n'importe quelle date si jamais il y a eu une interruption de service ou s'il y a de nouveaux à rajouter dans l'index par exemple. La business peut être un jour précis ou bien un intervalle de date, elle correspond au jour de vacation.

{
	"operations" : [{
		"job":"warehouse-transfer-batch-job-manual",
		"business-date":"20211201"
	}]
}

{
	"operations" : [{
		"job":"warehouse-transfer-batch-job-manual",
		"business-date":"20211101,20211130"
	}]
}

Format de restitution

L'index ElasticSearch est disponible ici : https://vpc-elk-cl-aws-euw-01-prod-ke3fluqsx74sb5xofnbiqresyq.eu-west-3.es.amazonaws.com/dw_transfer/_search

L'index pattern est disponible sur Kibana ici : https://vpc-elk-cl-aws-euw-01-prod-ke3fluqsx74sb5xofnbiqresyq.eu-west-3.es.amazonaws.com/_plugin/kibana/app/management/kibana/indexPatterns/patterns/f5dc96d0-52b7-11ec-9ed0-518b870f05c9#/?_a=h@9293420