Konuyu Oyla:
  • Derecelendirme: 0/5 - 0 oy
  • 1
  • 2
  • 3
  • 4
  • 5
[ÇÖZÜLDÜ] Programın SSD ve SATA Disklerde çalışma performansı
#11
(24-11-2019, Saat: 23:03)Selamlar, Adlı Kullanıcıdan Alıntı: Ağdaki veritabanı mysql ve verilerim tek tabloda 3 field olarak tutuluyor. Ad, zaman, deger. AD=String, ZAMAN=datetime, DEGER=numeric
Tabloki sorgum şu:
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
buradaki sorgu değerlerinin toplamından alınan sonuçları, client makinedeki sqlite veritabanına yazıyorum.
bu sorguyu 326 farklı sayaç için dönderip, değerleri 326 defa sqlite tabloma yazmış oluyorum.
benim claptopumda işlemler 40 saniyede tamamlanmış oluyor. (SSD, 16 GB RAM, I7 işlemci)
müşteri clientinde 5 dakika sürüyor. (SATA, 4 GB RAM, I5 işlemci)

Peki, burada 3 ayrı işlem söz konusu... 
1-Sunucudaki MySQL üzerindeki sorgu,
2-Sorgu sonuçlarının sunucudan kullanıcıya aktarılması,
3-Kullanıcıdaki SQLite üzerindeki yazma işlemleri.

Bunların hangisinin ne kadar zaman tuttuğunu ölçtünüz mü?
Eğer 1.si ağırlıklı çıkarsa sunucu üzerinde yükseltme yapmanız gerekir. Ama sizin makinanız üzerinde daha hızlı çalışıyor olması bu şıkkı geçersiz kılıyor.
2 şık ağırlıklı ise bakmanız gereken kullanıcının sunucuya nasıl bağlandığı ve aktarım hızının ne olduğudur. Eğer uzak erişim yapılıyorsa ve gönderilen bilgi büyüklüğü çok fazlaysa, bu 5dk nın çoğu veri transfer süresi olabilir. Eğer durum buysa yapmanız gereken aktarılan veri miktarını azaltmak olmalı. Bunu da client'te SQLite'ye yazarken yaptığınız işlemleri MySQL'de sunucu üzerinde yaptırmanız. 
Eğer 3. sebepse SQLite'ye yazdırma sayısını azaltmanız ya da başka bir yol bulmanız gerekir.
Cevapla
#12
Alıntı:
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'

ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
koşuluna uygun tabloda kaç kayıt var?
Tablodaki index ya da indexleriniz neler? (index1->col1,col2; index2; col->col1,col3; index3->col3, col1; vs şeklinde paylaşır mısınız)
Tarih alan üzerinde karakter şeklinde sorgulama Oracle'da index kullanmaz. MySql için de aynı durumun geçerli olması gerekir. ToDate, Cast ya da benzer bir yol ile koşul olarak verdiğiniz bilgileri tarih tipine çevirip sonucu tekrar gözden geçirir misiniz.
Cevapla
#13
Performans konusu ile ilgili olarak MySQL'de hangi DB Engine'yi kullandığınız da belirleyici olabilir. MyISAM, InnoDB gibi engine'ler çalışma ve veri işleme mantığı açısından farklı yaklaşımlar ve performanslar sergiler.
YouTube Delphi Tips
"Mantıklı adam kendini dünyaya uyarlar; mantıksız adam ise dünyayı kendine uydurmakta inat eder. Bu nedenle, tüm ilerleme o inatçı adama bağlıdır." - George Bernard Shaw
WWW
Cevapla
#14
@mustafaozpinar aklımdaki diğer sorulara tercüman oldu Smile Yaklaşım yöntemi olarak, en uzun sürenin hangi aşamada olduğunu tespit edip ona göre çözüm üretmek daha doğru olur. Biz veya siz index ve mysql e kafa yorarken, asıl gecikme network ve data aktarım katmanında ise diğer tarafdaki uğraşmamız bizi sonuca götüremeyecektir.

Bende @edo da benzer soruyu sorduk, sorgu sonucunda kaç kayıt dönüyor? Kayıt sayısı ile data transfer arasında bir bağlantı kurmaya çalışıyoruz fakat yardımcı olmaya çalışan kişilere dönüş yaparsanız sorular havada kalmamış olur. Benzer tablolar ve farklı donanımlar üzerinde sizin sorgunuza benzer testler yapıp karşılaştırma yapmak için daha düzgün sonuçlar paylaşabiliriz.

Sanırım problemi çözmeye yoğunlaştığınız için bu noktaları gözden kaçırdınız. Fakat size yardımcı olmak için zaman ayıran, düşünen arkaşlarada yardımcı olumanızı rica ederim.
Cevapla
#15
Hepinize verdiğiniz cevaplardan dolayı çok teşekür ederim. Öncelikle, MYISAM olan tablo yapısını INNODB olarak değiştirip, performans ölçümüne geçeceğim.
MYISAM tablo yapısında, Server üzerinde sadece select çeken bir exeyi çalıştırdım. Bu süre, 13 saniye de tamamlandı. 10 milyon satır dbgride listelendi.
Yine ağ üzerinden kendi laptopumda aynı exeyi çalıştırınca, 10 milyon kayıtın listelenmesi 2 dakika sürdü.
@edo , sizin söylediğiniz şekliyle zaten, sadec 1 tablodan veri çekiyorum. Dolayısı ile select yapısı sadece 1 tablo üzerinde dönüyor. Dediğiniz gibi tarih alanının index yapısına bakacağım.
@frmman İndex yapısına gelince, tablomdaki 3 alanı da indexledim.
@mustafaozpinar süre ölçümleri konusunda, server bize gereken cevabı veriyor. bırakın 15 saniyeyi 40 saniyeye razıyım raporun sonuçlanması adına Sad
Sunucuya bağlanırken, unidac bileşenlerini kullanıyorum. Acaba Firedac bileşenleri ile bağlandığımda sonuç değişir mi diye düşünmeye başladım.
Programın özüne gelince; 326 adet elektrik sayacı bir tabloma, dakikada bir sayaç değerlerini aktarıyor. Ben, seçilen tarih aralığında, ki bu aralık genelde 30 gün, bu 326 sayacın herbirinin değerini bu tablodan bulmak, üzerinde hesaplama yapmak, maliyetlerini hesaplamak ve bunu da ekranda göstermek üzere yazdım programı. Normalte sadece serverda çalışacak şeklinde yanlış bir bilgilendirilme ile yola çıktığımdan dolayı, programın teslimine 1 hafta kala (1 Aralık ) "bu program yavaş çalışıyor, bu zamanda böyle teknoloji mi olur" şeklinde müşteri tepkisine maruz kaldığım için, psikolojik olarak ta baskı altında olduğumdan, sağlıklı düşünemiyorum. Bu sebeple sizlerin yardımına şu etapta oldukça ihtiyacım var.
Yazılımcı, kahveyi koda çeviren bir organizmadır.
Cevapla
#16
13 saniyede sorgu tamamlanıyorsa, sorun client makinaya ağ üzerinden aktarmadaki yavaşlıktır. Veritabanına table ile direk bağlanıp veriyi çekiyorsanız ağ üzerinde fazla kayıtta yavaşlama mecburen olacaktır, bunun yerine servera bir sorgu gönderip sonucu json olarak hazırlatıp çıkan değeri zip ile sıkıştırıp stream olarak göndertebilirsiniz, client, veriyi alıp, açıp, memory table'a aktarıp hesaplamaları yapıp ekrana basabilir.
Bir süre önce bende bu tip bir sorunla karşılaşmıştım, serverda hazırlanan rapor taslaklarını dosya olarak aktarıyordum fakat taslakların boyutu artınca client in veriyi alıp ekrana basması uzuyordu, 100 KB dosya sıkıştırınca 7 KB ye düştü kısacası.
WWW
Cevapla
#17
(25-11-2019, Saat: 11:43)esistem Adlı Kullanıcıdan Alıntı: 13 saniyede sorgu tamamlanıyorsa, sorun client makinaya ağ üzerinden aktarmadaki yavaşlıktır. Veritabanına table ile direk bağlanıp veriyi çekiyorsanız ağ üzerinde fazla kayıtta yavaşlama mecburen olacaktır, bunun yerine servera bir sorgu gönderip sonucu json olarak hazırlatıp çıkan değeri zip ile sıkıştırıp stream olarak göndertebilirsiniz, client, veriyi alıp, açıp, memory table'a aktarıp hesaplamaları yapıp ekrana basabilir.
Bir süre önce bende bu tip bir sorunla karşılaşmıştım, serverda hazırlanan rapor taslaklarını dosya olarak aktarıyordum fakat taslakların boyutu artınca client in veriyi alıp ekrana basması uzuyordu, 100 KB dosya sıkıştırınca 7 KB ye düştü kısacası.

birkaç gün gibi bir süre içerisinde bu dediklerinizi yapabilir miyim? sanmam. JSON ile hiç çalışmadım daha önce. Dolayısı ile nasıl yapılır bilmiyorum. :Sad bir örnek bulmak lazım ki, adapte edebilir miyim diye bakmam lazım.

Yeni bir veritabanı oluşturdum ve, INNODB olarak yeni bir tablo yaptım. 11, 5 Milyon kayıt olmuş şu anda.
Benim laptopumdan select sorgu tamamlanma süresi : 1 dakika 51 saniye
Veri çekim hızı ölçümleri şu şekilde :
   
Yazılımcı, kahveyi koda çeviren bir organizmadır.
Cevapla
#18
Veritabanınızla ilgili bir sorun olsa tüm istemciler bu yavaşlıktan etkilenir.
İstemcinin sorguda çektiği toplam veri ne kadar? Satır ve her satır ne kadar veri kaplıyor?

Eğer kayıtları
Cevapla
#19
(25-11-2019, Saat: 12:43)engerex Adlı Kullanıcıdan Alıntı: Veritabanınızla ilgili bir sorun olsa tüm istemciler bu yavaşlıktan etkilenir.
İstemcinin sorguda çektiği toplam veri ne kadar? Satır ve her satır ne kadar veri kaplıyor?

Eğer kayıtları

tek tablo 647 MB boyutunda şu anda
alanlar :
ad = varchar 40
zaman = datetime
deger = bigint 20
Yazılımcı, kahveyi koda çeviren bir organizmadır.
Cevapla
#20
Sunuculardan istemcilere 0,6GB-1GB arası dosya transferi yapıp ağ hızını gördünüz mü?
Cevapla


Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  [ÇÖZÜLDÜ] - Windows Servis Başlatma Yetki Hatası hi_selamlar 3 7.373 22-01-2020, Saat: 15:51
Son Yorum: hi_selamlar
  [ÇÖZÜLDÜ] SQLite'dan MySQL'e Aktarma ? Mr.Developer 3 5.867 22-07-2019, Saat: 20:31
Son Yorum: Mr.Developer
  (ÇÖZÜLDÜ] MySQL Date_format komutu shooterman 1 2.833 30-05-2019, Saat: 11:30
Son Yorum: shooterman
  ÇÖZÜLDÜ - Tarih ve saat aralığı sorgulama shooterman 2 3.815 19-03-2019, Saat: 10:59
Son Yorum: shooterman



Konuyu Okuyanlar: 1 Ziyaretçi