Správičky 2 797 Blogy 945 Fórum 18 537

SQL resources

photo
funa
17. 5. 2017 13:35:17
Body: 2370
Najaktívnejší č.: 15

SQL resources

Caute kamosi,

 

mam aplikaciu ktora spracuva velke mnozstvo suborov (1M+) ulozenych prevazne v DB. Spracovanie bolo velmi pomale tak sa aplikacia prerobila na multithreads aplikaciu (v kazdom threade sa spracuje nejake mnozstvo), co pomohlo v rychlosti, ale sql je totalne vytazeny.

Cize sa chcem spytat, ci je nejako mozne obmedzit resources pre SQL, alebo ci mate nejaky napad co by sa s tym mohlo dat spravit? Nikde som nenasiel dostatocnu odpoved takze pisem sem,

 

diky za kazdu radu

[Reakcia]

photo
.
18. 5. 2017 21:10:40
Body: 2750
Najaktívnejší č.: 14

RE: SQL resources

Aka DB? MS SQL? Aka verzia? Pouziva sa T-SQL? Potom by sa dalo nastavit (v zavislosti od verzie) napr MAX_CPU_PERCENT (https://docs.microsoft.com/en-us/sql/t-sql/statements/alter-resource-pool-transact-sql). Inak vies nastavit max pocet CPU vyuzivanych SQL serverom (https://social.msdn.microsoft.com/Forums/sqlserver/en-US/4a1e455c-171b-4c20-9016-59e890a759a9/limit-all-of-sql-to-90-cpu?forum=sqldatabaseengine, https://docs.microsoft.com/en-us/sql/database-engine/configure-windows/affinity-mask-server-configuration-option).

Neviem aky druh operacie sa nad tymi subormi robi, ani dovody preco je to v SQL, osobne by som asi volil iny druh uloziska...  Na inspiraciu aspon https://docs.microsoft.com/en-us/sql/relational-databases/blob/filetables-sql-server. Ale predpokladam ze nemas priestor to menit. Tych milion suborov sa spracovava pravidelne? Jednorazovo? Je nutne ich spracvavat vsetky? Neda sa to robit priebezne? 

[Reakcia]

photo
funa
19. 5. 2017 12:39:15
Body: 2370
Najaktívnejší č.: 15

RE: SQL resources

cau [.], diky za odpoved:

 

  1. Aka DB? -->  MS SQL
  2. Aka verzia? -->  SQL Server 2008 R2
  3. Pouziva sa T-SQL? --> Ano
  4. Neviem aky druh operacie sa nad tymi subormi robi? --> kontrola privatnej DB ci dany subor ma referencie v Sharepoint DB, Clear SharepointDB, Clear provate DB, FileSystem write,delete
  5. Ani dovody preco je to v SQL? --> Sharepoint
  6.  Ale predpokladam ze nemas priestor to menit.  -->  Nie
  7. Tych milion suborov sa spracovava pravidelne?  -->  Jednorazovo
  8. Je nutne ich spracvavat vsetky, neda sa to robit priebezne? V podstate nie som v tomto obmedzeny, len by to malo byt rychle (produkcny server) a SQL by nemalo byt vytazene.

 

 

[Reakcia]

photo
.
22. 5. 2017 23:14:55
Body: 2750
Najaktívnejší č.: 14

RE: SQL resources

Takze Ti neostava nic ine len sa pokusit zistit co sposobuje take vytazenie SQL servera... (predpokladam ze mimo behu aplikacie je zatazenie servera normalne, t.j. server ma dostatocne parametre na beh SP + ostatnych aplikacii). Nie som SQL specialista (aj ked nem niektori obcas davaju prispevky, takze by Ta asi naviedli relevantnejsie), ale zacal by som asi prehladom najviac CP vytazujucich dotazov + overenim ze pre operacie ktore pouzivas sa cache-uje exekucny plan + pripadne zvazit forced parametrization, kontrolou wait statistik (SOS_SCHEDULER_YIELD, ...), ... Prikladam nejake linky, tu je spisany pekny prehlad kam vsade sa pozriet https://sqlperformance.com/2013/05/io-subsystem/cpu-troubleshooting

a tu su dalsie:

 

 

P.S. Privatna DB aj SP DB su na tom istom stroji? Z toho co si napisal vyplyva ze z SP DB iba citas jeden zaznam (podla coho) a nasledne dany zaznam (?) mazes? Nevies to robit ako batch spracovanie?

[Reakcia]



Najaktívnejší užívatelia
1. 37750 b. photo vlko
2. 21310 b. photo T
3. 15955 b. photo spigi
4. 15450 b. photo Anonymous
5. 11110 b. photo dudok
6. 9295 b. photo Liero
7. 6885 b. photo siro
8. 6245 b. photo slavof
9. 5355 b. photo duracellko
10. 4445 b. photo xxxmatko