Správičky 2 826 Blogy 948 Fórum 56 517

Prehľad diskusie

photo
Searching in huge amount of data
funa
15.10.2018 13:16:30
photo
RE: Searching in huge amount of data
.
15.10.2018 23:01:41
photo
RE: Searching in huge amount of data
funa
16.10.2018 10:31:58

Searching in huge amount of data

photo
funa
15.10.2018 13:16:30
Body: 2410
Najaktívnejší č.: 22

Searching in huge amount of data

Caute kamosi, chcem sa spytat na vas nazor/riesenie/napad pre nasledujuci scenar:

 

**beriem z DB obrovske mnozstvo dat (+ 10milionov), ktore potrebujem na urovni C# kodu potom kontrolovat voci dalsiemu obrovskemu mnozstvu dat (tiez v milionoch)**

 

Priklad: v DB mam tabulku ktora obsahuje 10 milionov riadkov, na druhej strane v inom ulozisku U1 mam dalsie data ktorych je tiez okolo 10 milionov. Chcem kazdy jeden item z U1 skontrolovat ci sa nachadza v datach z DB (podla GUID), cize nieco taketo: IF DB(data).Contains(U1[indexN])

 

potrebujem to co najrychlejsie

[Reakcia]

photo
.
15.10.2018 23:01:41
Body: 2805
Najaktívnejší č.: 21

RE: Searching in huge amount of data

Urcite potrebujes vyuzivat C# iba na overenie ci existuje obdobny zaznam v inej DB? Co tak linked server + vhodne nastavene indexy + T-SQL (cursor)? Resp. inak, co ma byt vystupom? Zoznam nezhod (jedinecne zaznamy v oboch databazach)? Porovnavas iba podla guid?

[Reakcia]

photo
funa
16.10.2018 10:31:58
Body: 2410
Najaktívnejší č.: 22

RE: Searching in huge amount of data

@. ---- cau, LinkedServer sa pouziva primarne, ale zaznamenali sme viac pripadov kedy tato metoda zlyhala (vacsinou permissions), takze toto riesenie je akoby fallback.

Je to podobna funkcionalita ako GB v .NET, v ulozisku U1 nastavim vsetky items ako 'dead' a nasledne pomocou DB uloziska hladam stale zijuce items, takze kazdy item z U1 potrebujem pomozou living zaznamou v DB ulozisku skontrolovat ci je nazive, ak ano odznaci sa 'dead' flag.

 

... z takeho prveho testovania zatial najrychlejsie je hodit obe uloziska do DataTable a pracovat tym padom SQLoffline, pouzit klasicky foreach a prejst cely zoznam.

 

... porovnanie pomocou GUID je postacujuce

[Reakcia]



Najaktívnejší užívatelia
1. 48800 b. photo xmhlxzybzzyq998
2. 48110 b. photo bfdgfdhfdhfd06
3. 42045 b. photo pmpindia123
4. 37835 b. photo vlko
5. 21520 b. photo T
6. 20600 b. photo quickydocs
7. 15965 b. photo spigi
8. 15450 b. photo Anonymous
9. 11120 b. photo dudok
10. 9780 b. photo Liero