![]() |
|
Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - Baskı Önizleme +- Delphi Can (https://www.delphican.com) +-- Forum: Delphi (https://www.delphican.com/forumdisplay.php?fid=3) +--- Forum: Genel Programlama (https://www.delphican.com/forumdisplay.php?fid=6) +--- Konu Başlığı: Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. (/showthread.php?tid=5552) |
Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - masteryoda - 20-12-2020 Sadece dil seçimi yada tek bir teknoloki olarak düşünmeyin derim farklı teknolojileride araştırın derim Delphi için RealThinClient SDK a bakabilirsiniz https://rtc.teppi.net/testresults/ ayrıca Load balancing, Queue sistemleri rabbit mq apache kafka remote procedure call için Apache Thrift e bakabilirsiniz. bunun yanında inmemory ihtiyacı için redis gibi çözümlere bakabilirsiniz. web framework benchmarkları için https://www.techempower.com/benchmarks/ Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - 3ddark - 21-12-2020 En önemli olan kısım aynı anda en fazla kaç tane istek olacağıdır. Aynı anda alınan istekler sizin sunucu tarafını zorlayacaktır. Ben 1 dakika aralıklarla aşağı yukarı aynı anda istek yapan şu anda 500-550 civarı IoT cihazdan veri alan Indy kullandığım bir TCP Server proje yaptım.(TCP Server Console App - Linux - PostgreSQL) Bu aldığım verileri de veri tabanına yazma işlemi yapıyorum. Orada gördüğüm en büyük sıkıntı isteklerin aynı anda yapılması ve veri tabanına yazma gecikmelerinden dolayı bir dar boğaz oluyor. İşlemleri bellek te yapsam sorun yok ama işin içine disk yazma unsuru girince gecikmeler oluşuyor. Ayrıca sunucu özellikleri çok çok iyi. Bakalım önümüzde süreçte üzerin cihazlar eklenecek ve sayı artacak neler ile karşılaşacağım. Tabi benim sistem gereği isteğe bağlı olarak IoT cihaz ile canlı konuşma(haberleşme) yaptığım durumda var. Özetle aynı anda yapılan istekler ve veri tabanı işlemleri sizi sıkıntıya sokacak olan kısımdır. Bu nedenle veri tabanı kayıt işlemlerinizde sizin için zaman söz konusu değilse kuyruklama işlemi yapan ara yazılımları kontrol etmelisiniz veya hızlı işlem yapan performanslı bir veri tabanı seçmelisiniz. NoSQL seçenek olabilir. Ayrıca bence kendiniz ufak bir uygulama ile ortam simülasyonunu sağlayarak durumu izleyebilirsiniz. Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - nguzeller - 21-12-2020 disk yazma ve okumada hızı artırmak için çok sayıda SSD disk takıp Raid ile hızlandırma yapılabilir. Cvp: Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - PROGRAMADOR35 - 24-12-2020 (21-12-2020, Saat: 15:17)nguzeller Adlı Kullanıcıdan Alıntı: disk yazma ve okumada hızı artırmak için çok sayıda SSD disk takıp Raid ile hızlandırma yapılabilir. Sürekli bağlantı yerine http gibi bir protokol kullanılırsa hiç gerek yok. Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - nguzeller - 24-12-2020 Ben TCP Server kullanıyorum, veritaban yazma ve okuma hızını artırmak için SSD disk avantaj sağlar. Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - PROGRAMADOR35 - 26-12-2020 Bence mysql ya da mssql 10.000 client'ın veri tabanına işlenmesini rahatlıkla gerçekleştirir. Ben daha önce de söylediğim gibi Winsock apisi ile düşük seviye kod yazmanızı öneririm. Ayrıca, server'da sse, avx, avx2 ve avx512 kullanmanızı öneririm. 64 bit bilgisayarlar bir defada 8 byte veri işleyebilir. 128 bit bilgisayarlara henüz gerek olmadığı için ve tek seferde 128 bit ve daha fazla bit işlemi yapabilmek için intel bu şekilde instrunction setler geliştirdi. Yani sanki 128, 256 ve 512 bit işlemcili bilgisayardaymışsınız gibi bir anda bu verilerde işlem yapabiliyorsunuz. Örnek de vereyim: Örneğin socket ile tek seferdde gönderilen veri maksiumum 64 byte olsun. avx512 kodlama yaparsanız. bu veriyi byte byte işlemek yerine toplu halde 64 byte olarak işleyebileceksiniz. Hem winsock2 ya da hem de avx512 kullandığınız takdirde server hiçbir sıkıntı yaşamayacaktır. Bununla birlikte bence 10.000 bağlantıda sorun olmasa da ssd ya da ssd m2 hard disk tabi ki kullanabilirsiniz. Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - PROGRAMADOR35 - 27-12-2020 Biraz daha açıklama yapma gereği duydum. Örneğin elimizdeki veri 16 baytlık bir ansichar veri olsun. Veri 16 byte olduğu için (128 bit) SSE kullanmamız yeterli olacaktır. Bu veri için bir array type belirleyelim: type TVeri = array[0..15] of AnsiChar; Daha sonra tek bir işlemle bu verileri a ve b arasında nasıl transfer edeceğimize dair bir taşıma fonksiyonu/prosedürü oluşturalım. Serverın 64 bit olduğunu varsayıyorum. procedure BenimMov(const ASource; var ADest);
asm
{$IFDEF WIN64}
.noframe //4'ten fazla parametre yok ve local değişken tanımlamayacağım. bu yüzden stack oluşturmaya gerek yok
movdqu xmm0, [rcx] //xmm0 registerine alıyoruz.
movdqu [rdx], xmm0 //dest'e de xmm0'dakini atıyoruz.
{$ENDIF}
end;
Daha sonra bu type'tan değişkenler tanımlayalım: var a: TVeri ; b: TVeri ; Şimdi BenimMov prosedürümüzü kullanalım: a:='hakan'; BenimMov(a,b,16); writeln(b);//konsola veri yazdırmak için Readln;//konsolda veri okumak için; konsolu durdurmak için de kullanılır. a:='hakan'; satırına brakepoint koyup debug edelim. Program a:='hakan'; satırında durunca menüden View->Debug Windows->FPU'ya tıklayalım. Böylece xmm registerlerinin değerlerinin değişimlerini göreceğiz. f8'e basarak kodu ilerletelim. BenimMov fonksiyonuna gelince f7 ile fonksiyonun içine dallanalım. Burada f8 ile kodu ilerletmeye devam ettiğinizde xmm0 registerinin değerinin 00000000000000000000006E616B6168 olduğunu göreceksiniz. Bu 'hakan' stringinin sayısal değeridir. dikkat edilirse bitler tersten yazılmıştır. 6E616B6168 hexadecimal değerdedir. 6E=n 61=a 6b=k 61=a 68=h En sağdaki byte indeksi 0'dır ve en soldakinin indeksi 15'dir. Her iki karakter bir byte'ı ifade eder. Değerlerin xmm0 registerinde sağdan sola doğru yazılmasının sebebi byte düzeninin little endian olmasıyla ilgilidir. Düşük bytelar indeks olarak önce gelir. Böylelikle "hakan" stringini tek tek karakter olarak kopyalamak yerine toplu halde tek seferde stringi kopyaladık. Dolayısıyla müthiş bir hız demek oluyor bu. Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - mrmarman - 27-12-2020 Merhaba. - Kaynaklar sınırsız değildir ki ilk mesajımda da dediğim gibi, istasyondan gelecek istekleri GPS saati, time server vb. bir katmandan güdümlü olarak senkron değerlendirip gruplar halinde geciktirerek sunucuya gönderilme trafiğini ayarlamak sorunu çözer. - Önce sorun yumağı oluşturup onu çözmek yerine, basit çözümler daima kaynağından üretilir. Aynı andaki veri miktarı trafiğini kontrol altına almak mantıklı bir çözümdür. - Zaten mevcut bir yapıya adaptasyon değil tümüyle kendinizin kuracağı bir sistemden bahsediyoruz. Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - nguzeller - 27-12-2020 Winsock mobil de kullanma yok gibi geldi bana Cvp: Aynı anda 10.000 farklı cihazdan veri alışverişi yapma. - PROGRAMADOR35 - 27-12-2020 (27-12-2020, Saat: 00:31)nguzeller Adlı Kullanıcıdan Alıntı: Winsock mobil de kullanma yok gibi geldi bana Winsock'ı server'da kullanacaksınız. Asıl hızlı olması gereken yer server. |