45 lines
6.1 KiB
Plaintext
45 lines
6.1 KiB
Plaintext
|
a
|
|||
|
|
^øIjÝ ã @ sž d Z ddlZddlZddlmZ ddlmZmZmZm Z ddl
|
|||
|
|
m Z ddl Z
|
|||
|
|
ddlmZ ddlmZ e G dd „ d ƒƒZG d
|
|||
|
|
d „ d ƒZd d
|
|||
|
|
„ Zedkršeƒ dS )u_
|
|||
|
|
Landvex Upplösare — Entitetsupplösning
|
|||
|
|
Slår ihop dubbletter till kanoniska Landvex-ID:n.
|
|||
|
|
é N)ÚPath)ÚListÚDictÚTupleÚOptional)Ú dataclass)ÚTfidfVectorizer)Úcosine_similarityc @ s6 e Zd ZU eed< eed< eed< eed< eed< dS )Ú
|
|||
|
|
EntitetsMatchÚ kandidat_idÚ befintlig_idÚlikhetÚ match_typÚrekommendationN)Ú__name__Ú
|
|||
|
|
__module__Ú __qualname__ÚstrÚ__annotations__Úfloat© r r úZ/home/bernt/.openclaw/workspace/projects/landvex/datafabrik/upplosare/entitetsupplosare.pyr
|
|||
|
|
s
|
|||
|
|
|
|||
|
|
r
|
|||
|
|
c @ sŠ e Zd ZdZdeeedœdd„Zeeedœd d
|
|||
|
|
„Zeeed œd d
|
|||
|
|
„Z e
|
|||
|
|
j e
|
|||
|
|
j edœdd„Z ee
|
|||
|
|
e e
|
|||
|
|
e dœdd„Zeeedœdd„ZdS )ÚEntitetsUpplosareu4 Upplöser entiteter och föreslÃ¥r sammanslagningar.ç333333ë?çÍÌÌÌÌÌì?çffffffî?)ô
|
|||
|
|
namn_tröskelô
|
|||
|
|
spec_tröskelô
|
|||
|
|
bild_tröskelc C s& || _ || _|| _tdddd�| _d S )NZword)é é r )ZanalyzerZ ngram_rangeZmin_df)r r r r Z
|
|||
|
|
vectorizer)Úselfr r r r r r Ú__init__ s ýzEntitetsUpplosare.__init__)Únamn1Únamn2Úreturnc C s. | ¡ | ¡ krdS t d| ¡ | ¡ ¡ ¡ S )u! Beräkna likhet mellan tvÃ¥ namn.g ð?N)ÚlowerÚdifflibZSequenceMatcherZratio)r! r# r$ r r r Ú namn_likhet+ s z EntitetsUpplosare.namn_likhet)Úspec1Úspec2r% c C s” g d¢}d}d}|D ]j}| |d¡}| |d¡}|r|r|d7 }t|tƒrnt|tƒrn| ¡ | ¡ kr~|d7 }q||kr|d7 }q|dkr�|| S dS )u0 Beräkna likhet mellan tekniska specifikationer.)ÚmaterialÚip_klassZbelastningsklassZ dimensionerr Ú r )ÚgetÚ
|
|||
|
|
isinstancer r& ) r! r) r* Z nyckel_faltZ matchandeZtotalaZfaltÚv1Úv2r r r Ú spec_likhet4 s
|
|||
|
|
|
|||
|
|
z EntitetsUpplosare.spec_likhet)Úemb1Úemb2r% c C s( t t ||¡tj |¡tj |¡ ƒS )u& Beräkna likhet mellan bildembeddings.)r ÚnpÚdotZlinalgZnorm)r! r3 r4 r r r Ú bild_likhetJ s z EntitetsUpplosare.bild_likhet)ÚkandidatÚ
|
|||
|
|
befintligar% c C s: g }|D �]}g }| di ¡ dd¡}| di ¡ dd¡}|rf|rf| ||¡}|| jkrf| d|f¡ | di ¡} | di ¡}
|
|||
|
|
| rª|
|
|||
|
|
rª| | |
|
|||
|
|
¡} | | jkrª| d| f¡ |rt dd„ |D ƒ¡} | dkrÐd }
|
|||
|
|
n| d
|
|||
|
|
krÞd }
|
|||
|
|
nd }
|
|||
|
|
| t| d
|
|||
|
|
d¡| d
|
|||
|
|
d¡| d dd„ |D ƒ¡|
|
|||
|
|
d�¡ q|j
|
|||
|
|
dd„ dd� |dd… S )u. Hitta potentiella dubbletter för en kandidat.ÚnamnÚsvr- ÚteknikÚspecc S s g | ] }|d ‘qS )r r ©Ú.0Úlr r r Ú
|
|||
|
|
<listcomp>l ó z6EntitetsUpplosare.hitta_dubbletter.<locals>.<listcomp>r Ú
|
|||
|
|
sammanfogar ZgranskaZseparatÚlvx_idú?z + c S s g | ] }|d ‘qS )r r r> r r r rA z rB )r r r
|
|||
|
|
r r c S s | j S )N)r
|
|||
|
|
©Úxr r r Ú<lambda> rB z4EntitetsUpplosare.hitta_dubbletter.<locals>.<lambda>T)ÚkeyÚreverseNé ) r. r( r Úappendr2 r r5 Zmeanr
|
|||
|
|
ÚjoinÚsort)r! r8 r9 ÚmatcherZbefZlikheterr# r$ Únlr) r* ZslZmedelr r r r Úhitta_dubbletterO s>
|