38 lines
6.1 KiB
Plaintext
38 lines
6.1 KiB
Plaintext
|
a
|
|||
|
|
øöIj ã @ sš d Z ddlZddlZddlZddlmZ ddlmZ ddlmZm Z m
|
|||
|
|
Z
|
|||
|
|
ddl m Z G dd„ de ƒZ
|
|||
|
|
G d d
|
|||
|
|
„ d
|
|||
|
|
ƒZG d d „ d ƒZd
|
|||
|
|
d„ Zedkr–eƒ dS )uY
|
|||
|
|
Landvex Datafabrik — Pipeline-orkestrering
|
|||
|
|
Tre köer: schemalagd / kunddriven / fält
|
|||
|
|
é N)Údatetime)ÚPath)ÚListÚDictÚOptional)ÚEnumc @ s e Zd ZdZdZdZdS )ÚKoTypZ
|
|||
|
|
schemalagdZ
|
|||
|
|
kunddrivenZfaltN)Ú__name__Ú
|
|||
|
|
__module__Ú __qualname__Ú
|
|||
|
|
SCHEMALAGDÚ
|
|||
|
|
KUNDDRIVENÚFALT© r r úL/home/bernt/.openclaw/workspace/projects/landvex/datafabrik/koer/pipeline.pyr s r c @ sl e Zd Zeedœdd„Zeedœdd„Ze e dœdd „Z
|
|||
|
|
eed
|
|||
|
|
œd d „Z eed
|
|||
|
|
œdd„Z edœdd„Z
|
|||
|
|
dS )Ú
|
|||
|
|
PipelineKo)Úko_dirÚko_typc C sn ||j | _|| _| jjddd� | jd jdd� | jd jdd� | jd jdd� | jd jdd� d S )NT)ÚparentsÚexist_okÚpending)r Ú
|
|||
|
|
processingÚ completedÚfailed)Úvaluer r Úmkdir)Úselfr r r r r Ú__init__ s zPipelineKo.__init__)ÚuppgiftÚreturnc C sœ t tj|dd� ¡ ¡ ¡ dd… }||d< t ¡ ¡ |d< d|d< | j d |› d � }t
|
|||
|
|
|d
|
|||
|
|
d d ��"}tj ||d
|
|||
|
|
dd� W d ƒ n1 sŽ0 Y |S )u Lägg till uppgift i kön.T)Z sort_keysNé Ú
|
|||
|
|
uppgift_idZskapadr Ústatusú.jsonÚwúutf-8©ÚencodingFé ©Z ensure_asciiÚindent) ÚhashlibZsha256ÚjsonÚdumpsÚencodeZ hexdigestr ÚutcnowÚ isoformatr ÚopenÚdump)r r r! Úfil_pathÚfr r r Ú lagg_till s ÿþ0zPipelineKo.lagg_till©r c C sÒ t | jd d¡ ƒ}|s dS |d }t|ddd��}t |¡}W d ƒ n1 sR0 Y | jd |j }| |¡ d|d < t ¡
|
|||
|
|
¡ |d
|
|||
|
|
< t|d dd��"}tj ||d d
|
|||
|
|
d� W d ƒ n1 sÄ0 Y |S )u! Hämta nästa uppgift frÃ¥n kön.r ú*.jsonNr Úrr% r& r r" Zstartadr$ Fr( r) ) Úsortedr Úglobr1 r, ÚloadÚnameÚrenamer r/ r0 r2 )r r r3 r4 r Zny_pathr r r Ú hamta_nasta/ s (
|
|||
|
|
0zPipelineKo.hamta_nasta)r! Úresultatc C sÚ | j d |› d� }| ¡ s dS t|ddd��}t |¡}W d ƒ n1 sN0 Y d|d< t ¡ ¡ |d < ||d
|
|||
|
|
< | j d |› d� }| |¡ t|d dd��"}tj ||d d
|
|||
|
|
d� W d ƒ n1 sÌ0 Y dS )zMarkera uppgift som klar.r r# Nr8 r% r& r r" Úavslutadr? r$ Fr( r) ©
|
|||
|
|
r Úexistsr1 r, r; r r/ r0 r= r2 )r r! r? Úprocessing_pathr4 r Z klar_pathr r r Ú markera_klarD s (
|
|||
|
|
zPipelineKo.markera_klar)r! Úfelc C sÚ | j d |› d� }| ¡ s dS t|ddd��}t |¡}W d ƒ n1 sN0 Y d|d< t ¡ ¡ |d < ||d
|
|||
|
|
< | j d |› d� }| |¡ t|d dd��"}tj ||d d
|
|||
|
|
d� W d ƒ n1 sÌ0 Y dS )z Markera uppgift som misslyckad.r r# Nr8 r% r& r r" r@ rE r$ Fr( r) rA )r r! rE rC r4 r Z fail_pathr r r Úmarkera_misslyckadW s (
|
|||
|
|
z PipelineKo.markera_misslyckadc C sd | j jtt| jd d¡ƒƒtt| jd d¡ƒƒtt| jd d¡ƒƒtt| jd d¡ƒƒdœS )u Hämta kö-statistik.r r7 r r r )Útypr r r r )r r ÚlenÚlistr r: ©r r r r Ú statistikj s ûzPipelineKo.statistikN)r r
|
|||
|
|
r r r r ÚdictÚstrr5 r r> rD rF rK r r r r r s r c @ sd e Zd Zedœdd„Zdeee edœdd„Zeeedœd d
|