Správičky 2 804 Blogy 945 Fórum 18 614

Pomaly BulkInsert nad RavenDB 4.0?

photo
majco333
14. 2. 2018 11:36:17
Body: 595
Najaktívnejší č.: 39

Pomaly BulkInsert nad RavenDB 4.0?

Ahojte,

skusame na jednom projekte RavenDB 4.0. Skusame jeho BulkInsert a sme boli prekvapeni, ze zapis 10 tis jednoduchych objektov trvalo cca 5 sekun (100 tis objektov 25 sekund) na beznej vyvojovej masine. Co je tiez divne, ze ked to debugujeme, tak to realne zapisuje po jednom zazname, nie davkovo.

Nemate si s tym niekto skusenost, ci nerobime nieco blbo?

Inak ked sme to skusali zapisovat bez Bulku, tak zapis trval rovnako dlho (pomalsie to bolo iba o nasypanie zaznamov do Session pred ulozenim).

Postupujeme podla ich dokumentacie:

using (BulkInsertOperation bulkInsert = store.BulkInsert())
{
    for (int i = 0; i < 1000 * 1000; i++)
    {
        bulkInsert.Store(new Employee
        {
            FirstName = "FirstName #" + i,
            LastName = "LastName #" + i
        });
    }
}

Vdaka

[Reakcia]

photo
T
14. 2. 2018 17:33:28
Body: 21340
Najaktívnejší č.: 2

RE: Pomaly BulkInsert nad RavenDB 4.0?

Aka edicia ravendb to je, free?

skus toto este

await bulkInsert.StoreAsync(employee);

skompiluj do release

mal by si dosiahnut na beznej dev masine (co to je btw? SSD?) 10000+

Tomáš Zeman, MCSD.NET, MCPD

[Reakcia]

photo
majco333
20. 2. 2018 12:19:10
Body: 595
Najaktívnejší č.: 39

RE: Pomaly BulkInsert nad RavenDB 4.0?

Ano, je to Community Free licencia. Async nepomohol, release tiez nie.

Moja dev maxina je (4 CPU, 8 GB RAM, SSD).

Tych 10.000+ myslis za sekundu?

[Reakcia]

photo
Liero
20. 2. 2018 12:46:34
Body: 9500
Najaktívnejší č.: 6

RE: Pomaly BulkInsert nad RavenDB 4.0?

len taka blba pripomienka - v kode ktory si postol vkladas milion zaznamov, nie 10 ani 100 tisic

[Reakcia]

photo
majco333
20. 2. 2018 14:03:27
Body: 595
Najaktívnejší č.: 39

RE: Pomaly BulkInsert nad RavenDB 4.0?

ano viem, to som okopiroval z ich dokumentacie, realne pouzivam drobne upraveny kod...

[Reakcia]



Najaktívnejší užívatelia
1. 37755 b. photo vlko
2. 21340 b. photo T
3. 15955 b. photo spigi
4. 15450 b. photo Anonymous
5. 11120 b. photo dudok
6. 9500 b. photo Liero
7. 6885 b. photo siro
8. 6245 b. photo slavof
9. 5355 b. photo duracellko
10. 4445 b. photo xxxmatko