Konuyu Oyla:
  • Derecelendirme: 0/5 - 0 oy
  • 1
  • 2
  • 3
  • 4
  • 5
[ÇÖZÜLDÜ] Programın SSD ve SATA Disklerde çalışma performansı
#21
(24-11-2019, Saat: 23:03)wiseman Adlı Kullanıcıdan Alıntı:
(24-11-2019, Saat: 21:21)frmman Adlı Kullanıcıdan Alıntı: Merhaba @"wiseman"
Biraz daha detay verirsen nokta atışı çözüm önerileri alma ihtimaliniz daha fazla olur.
Siz donanım üzerinde yoğunlaştınız, buda bir seçenek ama sorgu teknigi database konfigrasyonu vb durumlar ile belki problem çözülecek.

9 Milyon veri tek bir tablodamı bulunuyor ve siz sadece bu tablodanmı sorgulama yapıyorsunuz?
Normal bir sorguda bu 9 milyon kaydın ne kadarı sorgu sonucu olarak dönüyor?
Sorgunuzda join kullanıyormusunuz?
Where cümlenizin içeriği nasıl?
Sorgu cümleniz storedprocedure şeklindemi yoksa cümleniz uygulama içinde bir query nesnesi içindemi?
.....

Uzakdaki bir sunucudan evdeki makinadan yaptığım test sonucu, yaklaşık 41M lik bir tablodan örnek sorgu cevap süresi


Mysql Cluster 7.3.2 da test edildi. (Open Suse 128GB ram, Raid 6 SSD diskli makina)

explain select * from hareketler
where zaman = '2015-02-18 12:52:17'
> OK
> Time: 0,067s



Benzer test kendi makinamda yaptım. Bu sefer 19M kayıt var, ve sorgu sonucunda 75 bin satır cevap döndü

Test : Mysql Cluster 7.3.2 (Windows 10  16GB Ram M2 Diskli makina)

select * from hareketler where zaman <'2013-06-03 12:11:09'
> OK
> Time: 0,431s

Selamlar,
Ağdaki veritabanı mysql ve verilerim tek tabloda 3 field olarak tutuluyor. Ad, zaman, deger. AD=String, ZAMAN=datetime, DEGER=numeric
Tabloki sorgum şu:
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
buradaki sorgu değerlerinin toplamından alınan sonuçları, client makinedeki sqlite veritabanına yazıyorum.
bu sorguyu 326 farklı sayaç için dönderip, değerleri 326 defa sqlite tabloma yazmış oluyorum.
benim claptopumda işlemler 40 saniyede tamamlanmış oluyor. (SSD, 16 GB RAM, I7 işlemci)
müşteri clientinde 5 dakika sürüyor. (SATA, 4 GB RAM, I5 işlemci)

Merhabalar,

İzninizle bir kaç soru/önerim olacak.

Önerim;
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
Sorgu daki "ad" değişkenini varchar yerine integer olarak değiştirin ve indexleyin.  Belli bir ölçüde işlem hızlanacaktır.

Soru!
1. Neden sonucu SQLite DB ye yazıyorsunuz?
2. Sorgu sonucunu SQLite DB ye aktarırken nasıl bir yöntem ile aktarıyorsunuz?
3. Aktarım esnasında ne gibi hesaplama işlemleri yapılıyor?
4. Neden her defasında bütün kayıtları almak zorundasınız?

Kolay gelsin.
Amaç, bilginin de/aklın da zekat'ını vermek.
Cevapla
#22
(25-11-2019, Saat: 12:59)hi_selamlar Adlı Kullanıcıdan Alıntı:
(24-11-2019, Saat: 23:03)wiseman Adlı Kullanıcıdan Alıntı: Selamlar,
Ağdaki veritabanı mysql ve verilerim tek tabloda 3 field olarak tutuluyor. Ad, zaman, deger. AD=String, ZAMAN=datetime, DEGER=numeric
Tabloki sorgum şu:
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
buradaki sorgu değerlerinin toplamından alınan sonuçları, client makinedeki sqlite veritabanına yazıyorum.
bu sorguyu 326 farklı sayaç için dönderip, değerleri 326 defa sqlite tabloma yazmış oluyorum.
benim claptopumda işlemler 40 saniyede tamamlanmış oluyor. (SSD, 16 GB RAM, I7 işlemci)
müşteri clientinde 5 dakika sürüyor. (SATA, 4 GB RAM, I5 işlemci)

Merhabalar,

İzninizle bir kaç soru/önerim olacak.

Önerim;
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
Sorgu daki "ad" değişkenini varchar yerine integer olarak değiştirin ve indexleyin.  Belli bir ölçüde işlem hızlanacaktır.

Soru!
1. Neden sonucu SQLite DB ye yazıyorsunuz?
2. Sorgu sonucunu SQLite DB ye aktarırken nasıl bir yöntem ile aktarıyorsunuz?
3. Aktarım esnasında ne gibi hesaplama işlemleri yapılıyor?
4. Neden her defasında bütün kayıtları almak zorundasınız?

Kolay gelsin.
1. Serverdan çekilen dataları daha sonra incelemek için, Local db ye yazmam gerekiyordu. Bunun için en uygun db olarak SQLite tercih ettim.
2. MYSQL den sorgu çekildikten sonra, SQLite, insert ile, tek bir tabloya, ad ve değer satırını aktarıyorum ve post ediyorum.
3. Veriler SQLite tablosuna aktarım yapıldıktan sonra hesaplamalar devreye giriyor.  Elektrik sayacı olduğu için, her sayacın, tüketim, fiyat vb. hesaplamaları yapılıyor. Burada başka bir local db mi kullanmak gerekir acaba düşüncesindeyim.
4. Sorgulamalar aylık bazda olduğu için 30 günlük rapor alınıyor. Dolayısıyla 326 adet elektrik sayacının, 1 aydaki tüketimleri, (saat 00:00 - 06:00 arası, 06:00 - 17:00 arası, 17:00 - 22:00 arası, 22:00 - 23:59 arası kullanımları ayrı ayrı hesaplanarak ayrı ayrı fiyatlandırılıyor) hesaplanıyor. Ancak gün içinde herhangi bir sayacın değeri de sorgulanabiliyor. Bu etapta 1 günlük değer de hız konusunda sıkıntı yok. Benim problemim 10 günlük sorgu aralığından itibaren sürenin artmasından kaynaklanıyor.
Yazılımcı, kahveyi koda çeviren bir organizmadır.
Cevapla
#23
(25-11-2019, Saat: 13:41)wiseman Adlı Kullanıcıdan Alıntı:
(25-11-2019, Saat: 12:59)hi_selamlar Adlı Kullanıcıdan Alıntı: Merhabalar,

İzninizle bir kaç soru/önerim olacak.

Önerim;
Select ad,zaman, deger from tbldegerler where ad='sayac1' and zaman between '2019-11-01 00:00:00' and '2019-11-24 23:59:00'
Sorgu daki "ad" değişkenini varchar yerine integer olarak değiştirin ve indexleyin.  Belli bir ölçüde işlem hızlanacaktır.

Soru!
1. Neden sonucu SQLite DB ye yazıyorsunuz?
2. Sorgu sonucunu SQLite DB ye aktarırken nasıl bir yöntem ile aktarıyorsunuz?
3. Aktarım esnasında ne gibi hesaplama işlemleri yapılıyor?
4. Neden her defasında bütün kayıtları almak zorundasınız?

Kolay gelsin.
1. Serverdan çekilen dataları daha sonra incelemek için, Local db ye yazmam gerekiyordu. Bunun için en uygun db olarak SQLite tercih ettim.
2. MYSQL den sorgu çekildikten sonra, SQLite, insert ile, tek bir tabloya, ad ve değer satırını aktarıyorum ve post ediyorum.
3. Veriler SQLite tablosuna aktarım yapıldıktan sonra hesaplamalar devreye giriyor.  Elektrik sayacı olduğu için, her sayacın, tüketim, fiyat vb. hesaplamaları yapılıyor. Burada başka bir local db mi kullanmak gerekir acaba düşüncesindeyim.
4. Sorgulamalar aylık bazda olduğu için 30 günlük rapor alınıyor. Dolayısıyla 326 adet elektrik sayacının, 1 aydaki tüketimleri, (saat 00:00 - 06:00 arası, 06:00 - 17:00 arası, 17:00 - 22:00 arası, 22:00 - 23:59 arası kullanımları ayrı ayrı hesaplanarak ayrı ayrı fiyatlandırılıyor) hesaplanıyor. Ancak gün içinde herhangi bir sayacın değeri de sorgulanabiliyor. Bu etapta 1 günlük değer de hız konusunda sıkıntı yok. Benim problemim 10 günlük sorgu aralığından itibaren sürenin artmasından kaynaklanıyor.

Merhabalar,

"sayac sahasını varchar yerine int olarak güncelleyip denediniz mi?" Hız da bir artış gözlemlediniz mi

Düşüncemi paylaşmak istiyorum izninizle.

1. cevap > Server'da Veriler devamlı yeni yazılıyor ise kullanıcının localdaki tabloya bakarak sorgu alması hatalı olur.
2. cevap > 1. Select sorgunuz (sadece Select sorgunuz SQLite aktarım olmadan) kaç saniyede geliyor?
                2. Gelen select sorgusunu SQLite db ye kaç saniyede aktarıyor? ve Hesaplamalarınız dahil?
                    ( Anladığım kadarı ile siz döngü ile select cümlesinden gelen verileri SQLite db ye aktarıyorsunuz değil mi?
                      sonrasında tekrar yeni bir döngü ile hesaplama yaptırıyorsunuz? )
3. cevap > Select ile hesaplamalarınızı (Server > SQL den) neden yazdırarak sonuç almıyorsunuz? (SP vs. gibi)
4. cevap > Server DB de, trigger ile başka bir tabloya sayaçların hesaplanmış alanlarını kaydedip sonrasında bu tablo üzerinden direkt select yapmayı düşündünüz mü?


Kolay gelsin.
Amaç, bilginin de/aklın da zekat'ını vermek.
Cevapla
#24
İmkanın varsa nosql dbleri araştırmanı öneririm
İmam Süleyman Yakub <--> Molla Mustafa Mansur
Evlatlarım!
Cismanımız TÜRK ruhumuz ise İSLAM.
Bu yolda daim olalım her an.
Cevapla
#25
(25-11-2019, Saat: 13:41)wiseman Adlı Kullanıcıdan Alıntı: 1. Serverdan çekilen dataları daha sonra incelemek için, Local db ye yazmam gerekiyordu. Bunun için en uygun db olarak SQLite tercih ettim.
2. MYSQL den sorgu çekildikten sonra, SQLite, insert ile, tek bir tabloya, ad ve değer satırını aktarıyorum ve post ediyorum.
3. Veriler SQLite tablosuna aktarım yapıldıktan sonra hesaplamalar devreye giriyor.  Elektrik sayacı olduğu için, her sayacın, tüketim, fiyat vb. hesaplamaları yapılıyor. Burada başka bir local db mi kullanmak gerekir acaba düşüncesindeyim.
4. Sorgulamalar aylık bazda olduğu için 30 günlük rapor alınıyor. Dolayısıyla 326 adet elektrik sayacının, 1 aydaki tüketimleri, (saat 00:00 - 06:00 arası, 06:00 - 17:00 arası, 17:00 - 22:00 arası, 22:00 - 23:59 arası kullanımları ayrı ayrı hesaplanarak ayrı ayrı fiyatlandırılıyor) hesaplanıyor. Ancak gün içinde herhangi bir sayacın değeri de sorgulanabiliyor. Bu etapta 1 günlük değer de hız konusunda sıkıntı yok. Benim problemim 10 günlük sorgu aralığından itibaren sürenin artmasından kaynaklanıyor.

Sanırım yavaşlığın birinci nedeni sorgu sonucunun aktarımı, ikinci nedeni ise lokal SQLite db'ye yazmak. SQLite yerine başka bir lokal DB kullansanız da sonuç değişmez, SQLite benim şimdiye kadar kullandığım  en hızlı lokal DB diyebilirim (Paradox'tan bile). 
Ayrıca tabloyu InnoDB'ye çevirmek işi daha da yavaşlatacaktır, çünkü MyISAM daha hızlıdır.
Eğer tüm veriyi kullanıcı bilgisayarına göndermek zorunluluğu yoksa, hesaplamaları sunucuda, hatta bir Stored Procedure'de yapıp sonuçları göndermek çok daha verimli olacaktır.
Cevapla
#26
(25-11-2019, Saat: 11:02)wiseman Adlı Kullanıcıdan Alıntı: Hepinize verdiğiniz cevaplardan dolayı çok teşekür ederim. Öncelikle, MYISAM olan tablo yapısını INNODB olarak değiştirip, performans ölçümüne geçeceğim.
MYISAM tablo yapısında, Server üzerinde sadece select  çeken bir exeyi çalıştırdım. Bu süre, 13 saniye de tamamlandı. 10 milyon satır dbgride listelendi.
Yine ağ üzerinden kendi laptopumda aynı exeyi çalıştırınca, 10 milyon kayıtın listelenmesi 2 dakika sürdü.
@edo , sizin söylediğiniz şekliyle zaten, sadec 1 tablodan veri çekiyorum. Dolayısı ile select yapısı sadece 1 tablo üzerinde dönüyor. Dediğiniz gibi tarih alanının index yapısına bakacağım.
@frmman  İndex yapısına gelince, tablomdaki 3 alanı da indexledim.
@mustafaozpinar süre ölçümleri konusunda, server bize gereken cevabı veriyor. bırakın 15 saniyeyi 40 saniyeye razıyım raporun sonuçlanması adına Sad
Sunucuya bağlanırken, unidac bileşenlerini kullanıyorum. Acaba Firedac bileşenleri ile bağlandığımda sonuç değişir mi diye düşünmeye başladım.
Programın özüne gelince; 326 adet elektrik sayacı bir tabloma, dakikada bir sayaç değerlerini aktarıyor. Ben, seçilen tarih aralığında, ki  bu aralık genelde 30 gün, bu 326 sayacın herbirinin değerini bu tablodan bulmak, üzerinde hesaplama yapmak, maliyetlerini hesaplamak ve bunu da ekranda göstermek üzere yazdım programı. Normalte sadece serverda çalışacak şeklinde yanlış bir bilgilendirilme ile yola çıktığımdan dolayı, programın teslimine 1 hafta kala (1 Aralık ) "bu program yavaş çalışıyor, bu zamanda böyle teknoloji mi olur" şeklinde müşteri tepkisine maruz kaldığım için, psikolojik olarak ta baskı altında olduğumdan, sağlıklı düşünemiyorum. Bu sebeple sizlerin yardımına şu etapta oldukça ihtiyacım var.

10 milyon kayıdı listelemek, client'a çekmek vs. hepsi tuhaf hareketler bence. Kim 10 milyon kayıt üzerinde gezip, nasıl bir işlem yapacak ki? İhtiyaç olan kayıtları filtreleme, gruplama ya da sayfalama yapmak gibi bir takım yöntemler yapmak daha mantıklı ve makul geliyor bana. 10 milyon kayıdı network üzerinde gezdirmek, db'den çekmek vs. yaptığınız iş roket bilimi gerektirmiyor ise normal değil bence. Durumu yeniden farklı bir bakış açısı ile gözden geçirmenizi tavsiye ederim.
Cevapla
#27
@edo'nun da belirttiği gibi yapılmaya çalışılan işlemler normal şeyler değil.

İlişkisel veritabanı sunucularının tek işlevi data saklamak ve data servis etmek değildir. Büyük dataları işlemlerden geçirip özetlemek ve sonucu servis etmek en temel özelliklerindendir. Bunu grup fonksiyonları, analitik donksiyonlar, kendi yazacağınız prosedürler/fonksiyonlar ile yapabilirsiniz. Milyonlarca satır datayı clinetla alıp clientda işlemek ve sonucu sunmak doğal şartlarda hiçbir zaman kısa süremez. Bugün 10 milyon olan kayıt sayısı yarın 20 milyon, öbürgün 50 milyon olacaktır.

Client'a her zaman işlenmiş sadece gerekli olan data gelmelidir. 10 Milyon kayıt için SQL sonucu atıyorum 5 saniyede gelebilir, ama tüm kayıtların fetch edilmesi dakiklar sürecektir. Birkaçyüz ya da birkaçbin kaydı içeren ilk sonucun 5 saniyede ekrana gelmesi SQL'in 5 saniyede çalıştığı anlamına gelmez. Evet SQL sunucu açısından 5 saniyede çalışmıştır ama sonuçların tümü 5 saniyede elinizde olmamıştır/olamaz.
Cevapla
#28
Herkese selamlar,
İlgili konu başlığımdaki, programın yavaş çalışması hakkında bana yazan ve fikirler veren,
@serdar , @nguzeller , @frmman , @mustafaozpinar , @vkamadan , @engerex , @edo , @esistem , @hi_selamlar , @ahmet_sinav , @delphim hepinize teşekkür ederim. Özellikle telefonla sürekli bana destek veren @uparlayan hocama, ayrıca nezdinizde teşekkür ederim. Sorunumu bugün itibarı ile, çözüme ulaştırdım. Yapılan işleme gelince;
Unidac componenti yerine Firedac componentlerini kullandım. Programın çalıştığı Clientlerdeki, SQLite veritabanı yerine, TClientdataset ve VirtualQuery bileşenlerini kullanarak, veri yazım ve hesaplama işlemlerini tamamen, TClientdataset üzerinde bitirdim. Son olarak DBGridler aracılığı ile, TClientdataset i ekrana yansıttım.
Süre hesaplamalarına gelince, 12 Milyon Satırlık veriler arasından sorgulama ve hesaplama işlemleri;
Server : 4 Saniye,
SSD li PC : 5 Saniye
Sata lı PC : 11 Saniye olarak ölçümlenmiştir. Hepinize kolaylıklar dilerim.
Yazılımcı, kahveyi koda çeviren bir organizmadır.
Cevapla
#29
(28-11-2019, Saat: 16:43)wiseman Adlı Kullanıcıdan Alıntı: Herkese selamlar,
İlgili konu başlığımdaki, programın yavaş çalışması hakkında bana yazan ve fikirler veren,
@serdar , @nguzeller , @frmman , @mustafaozpinar , @vkamadan , @engerex , @edo , @esistem , @hi_selamlar , @ahmet_sinav , @delphim  hepinize teşekkür ederim. Özellikle telefonla sürekli bana destek veren @uparlayan  hocama, ayrıca nezdinizde teşekkür ederim. Sorunumu bugün itibarı ile, çözüme ulaştırdım. Yapılan işleme gelince;
Unidac componenti yerine Firedac componentlerini kullandım. Programın çalıştığı Clientlerdeki, SQLite veritabanı yerine, TClientdataset ve VirtualQuery bileşenlerini kullanarak, veri yazım ve hesaplama işlemlerini tamamen, TClientdataset  üzerinde bitirdim. Son olarak DBGridler aracılığı ile, TClientdataset i ekrana yansıttım.
Süre hesaplamalarına gelince, 12 Milyon Satırlık veriler arasından sorgulama ve hesaplama işlemleri;
Server : 4 Saniye,
SSD li PC : 5 Saniye
Sata lı PC : 11 Saniye olarak ölçümlenmiştir. Hepinize kolaylıklar dilerim.

Merhabalar,

Çözüme kavuştuğunuza sevindim. Shy

Kolay gelsin.
Amaç, bilginin de/aklın da zekat'ını vermek.
Cevapla
#30
Unidac componenti yerine Firedac kullananız ek bir hız sağladımı Unidac daha iyi gibi düşüyordum
Cevapla


Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  [ÇÖZÜLDÜ] - Windows Servis Başlatma Yetki Hatası hi_selamlar 3 7.373 22-01-2020, Saat: 15:51
Son Yorum: hi_selamlar
  [ÇÖZÜLDÜ] SQLite'dan MySQL'e Aktarma ? Mr.Developer 3 5.867 22-07-2019, Saat: 20:31
Son Yorum: Mr.Developer
  (ÇÖZÜLDÜ] MySQL Date_format komutu shooterman 1 2.833 30-05-2019, Saat: 11:30
Son Yorum: shooterman
  ÇÖZÜLDÜ - Tarih ve saat aralığı sorgulama shooterman 2 3.815 19-03-2019, Saat: 10:59
Son Yorum: shooterman



Konuyu Okuyanlar: 1 Ziyaretçi