Konuyu Oyla:
  • Derecelendirme: 0/5 - 0 oy
  • 1
  • 2
  • 3
  • 4
  • 5
Aynı anda 10.000 farklı cihazdan veri alışverişi yapma.
#1
Merhaba,

Çok büyük bir proje için, (aynı anda 10.000 farklı cihaz talep gönderecek) aşağıdaki teknolojiler ile geliştirme yapsam JSON veya XML ile veri alışverişini sağlasam sorun yaşar mıyım, bu tür bir projede nelere dikkat etmemi önersiniz.

*Projeye farklı yazılım dillerinden veri gelip gidecek. C#, JAVA vb.
*Server kapasitesi dışında hız konusunda sorun oluşur mu.

1-Datasnap
2-Delphi=>Web=>Web Server Application

Teşekkürler.
Cevapla
#2
@pro_imaj projeniz hayırlı olsun.

- Burada bir soru daha sormak gerekiyor -ki soru içinde çözüm sunuyorum*- . Bu cihazlar otonom cihazlar mıdır ? Yani GPS vb. uydu saati ile senkron çalışan ve/veya kişiler olsun, aynı anda gönderilecek talep sayısını örneğin cihazların ID sırası üzerinden her birini diğerine göre mili saniye cinsinden geciktirme imkanınız olabilir mi ? ( Hepsini geciktirmek değil örneğin 100'erli gruplar halinde )

- Farklı yazılım dilleri sadece sorgulama yapacaktır diye tahmin ediyorum. Onlarda sorun yaşanacağını beklemiyorum.

- Cihazların sunucuya erişiminde ağ engeli olmadığı sürece, server trafiği yoğunluğu dışında sorun yaşamazsınız.
Saygılarımla
Muharrem ARMAN

guplouajuixjzfm15eqb.gif
Cevapla
#3
(19-12-2020, Saat: 13:09)mrmarman Adlı Kullanıcıdan Alıntı: @pro_imaj projeniz hayırlı olsun.

- Burada bir soru daha sormak gerekiyor -ki soru içinde çözüm sunuyorum*- . Bu cihazlar otonom cihazlar mıdır ? Yani GPS vb. uydu saati ile senkron çalışan ve/veya kişiler olsun, aynı anda gönderilecek talep sayısını örneğin cihazların ID sırası üzerinden her birini diğerine göre mili saniye cinsinden geciktirme imkanınız olabilir mi ? ( Hepsini geciktirmek değil örneğin 100'erli gruplar halinde )

- Farklı yazılım dilleri sadece sorgulama yapacaktır diye tahmin ediyorum. Onlarda sorun yaşanacağını beklemiyorum.

- Cihazların sunucuya erişiminde ağ engeli olmadığı sürece, server trafiği yoğunluğu dışında sorun yaşamazsınız.

@mrmarman Değerli cevaplarınız için teşekkürler üstadım.

%70 kısmı; Ağırlıklı Web projelerinden gelen  Bilgisayar + Telefon + Tabletlerden gelen sorgu talepleri olacak. (Session sayısı) Diğer kısımlar önümüzdeki süreçte cihazlar olması düşünülüyor. (Akıllı RFID)

RFID vb otomasyonel cihazlar için gecikme sorunu yok. 

İlk etapta bilgisayar, telefon ve tabletlerden gelecek verileri işleyip sonuç dönecek proje şeklinde olmasını planlanıyor. 
Aynı anda gelecek bu yoğunluğu network ve server dışındaki delphi ile geliştireceğim bu web server'ın hızı şu anki odak noktam.

Teşekkürler.
Cevapla
#4
Son bir önerme :

* Bu sunucu ( WEB üzerinden sorgular olacağı için soruyorum ) hosting firmalarının sunduğu kiralık sunucular mı yoksa fiziki bir şirket sunucusu mu kullanılacak diye sorayım o zaman. 

* Fiziki bir bilgisayar kullanacaksanız, bu durumda session başına kaynak kullanımı hesaplayıp 10.000 ile çarpın -ki kaynak sadece sorgu olarak değerlendirmiyoruz- , açılan session içinde projeniz neler yapıyor ise ona odaklanın.  Mesela veritabanı sorgusu yaparak cevap mı döndürecek, fotoğraf çekip işleyip geri mi döndürecek, fiziki bir cihaz ile iletişim kurup durumunu almayı bekleyip sonucu mu döndürecek, ağdaki diğer cihazl ile iletişime geçip sorgulama yaptıktan sonra dönen değeri mi döndürecek vs. vs. işlem hacmi sürekli büyür ve kaynak ihtiyacı da büyür. 

* Örneğin araç filo takibi gibi sadece bir veritabanına log kaydı tutup session sonlandırıyorsa arkanıza yaslanın bu maksimum değerlere ulaşmasını hiç beklemem. Gelen çağrılar sadece veritabanına kayıt yapılıyorsa basit bir MySQL çalışan ucuz bir web sunucusu dahi iş görür. Sunucu bilgisayar Türkiye'de olduğuna da emin olursanız ping hızlı, yurt içi erişim garanti olur.
Saygılarımla
Muharrem ARMAN

guplouajuixjzfm15eqb.gif
Cevapla
#5
(19-12-2020, Saat: 13:43)mrmarman Adlı Kullanıcıdan Alıntı: Son bir önerme :

* Bu sunucu ( WEB üzerinden sorgular olacağı için soruyorum ) hosting firmalarının sunduğu kiralık sunucular mı yoksa fiziki bir şirket sunucusu mu kullanılacak diye sorayım o zaman. 

* Fiziki bir bilgisayar kullanacaksanız, bu durumda session başına kaynak kullanımı hesaplayıp 10.000 ile çarpın -ki kaynak sadece sorgu olarak değerlendirmiyoruz- , açılan session içinde projeniz neler yapıyor ise ona odaklanın.  Mesela veritabanı sorgusu yaparak cevap mı döndürecek, fotoğraf çekip işleyip geri mi döndürecek, fiziki bir cihaz ile iletişim kurup durumunu almayı bekleyip sonucu mu döndürecek, ağdaki diğer cihazl ile iletişime geçip sorgulama yaptıktan sonra dönen değeri mi döndürecek vs. vs. işlem hacmi sürekli büyür ve kaynak ihtiyacı da büyür. 

* Örneğin araç filo takibi gibi sadece bir veritabanına log kaydı tutup session sonlandırıyorsa arkanıza yaslanın bu maksimum değerlere ulaşmasını hiç beklemem. Gelen çağrılar sadece veritabanına kayıt yapılıyorsa basit bir MySQL çalışan ucuz bir web sunucusu dahi iş görür. Sunucu bilgisayar Türkiye'de olduğuna da emin olursanız ping hızlı, yurt içi erişim garanti olur.

Fiziki bir şirket sunucusu olacak, sorgulamaların çok büyük bölümü, farklı lokasyonları olan aynı ağa dahil şirket içindeki veri tabanı işlemleri (Kayıt ekleme, silme, düzenleme, sorgulama) olacak. 

Bazı rapor sorgulamalarının sonuçlanması 5-20 dk sürebilecek, sizin de bahsettiğiniz gibi server ve network tarafındaki yoğunluğu iyi planlamak gerekecek, benim asıl odağım; Delphi mimarisi ile bu kadar istek ve gönderim işleminde normal Database bağlantısında delphi'nin sunduğu teknolojinin yeterli olup olmayacağı.

Örneğin; unigui projelerinde Hyper servis dışındaki geliştirilen projelerde maksimum oturum sayısı 250, buna ulaştığında sistemden birilerinin çıkması lazım ki diğer kişiler kullanabilsin. Hyper servis mimarisiyle sanırım 250 * 8 bir oturum sayısına erişilebiliyor. Buna benzer durumlar web servis mimarisi veya Datasnap'ta olabilir mi.
Cevapla
#6
* O engel çok katmanlı mimari ile aşılır, 

* Sunucu bilgisayar, WebServer katmanındaki gelen bekletici unsur içeren her çağrıyı veritabanına kaydedip gözlemci yazılım katmanı tarafından işleme alınmasını sağlar. Çağrılar ile ilgili session derhal kapatılır. İstek yollayan session sahibinin periyodik ( 5sn, 10 sn 15 saniye vs. ) sonuç sorgulamalarından biri yakalanıp Rapor ürün cevap olarak döndürülür.  

* Başka bir yazılım katmanında veritabanında beklenen işlemler periyodik kontrol edilir, işlem varsa yazılım katmanında ürün oluşur ( json, xml vs. ) veritabanına ürün koyulur. WebServer katmanına gelen çağrı bu ürünü cevap olarak kullanır.

* Web trafik bu şekilde minimize edilir.
Saygılarımla
Muharrem ARMAN

guplouajuixjzfm15eqb.gif
Cevapla
#7
(19-12-2020, Saat: 14:37)pro_imaj Adlı Kullanıcıdan Alıntı:
(19-12-2020, Saat: 13:43)mrmarman Adlı Kullanıcıdan Alıntı: Son bir önerme :

* Bu sunucu ( WEB üzerinden sorgular olacağı için soruyorum ) hosting firmalarının sunduğu kiralık sunucular mı yoksa fiziki bir şirket sunucusu mu kullanılacak diye sorayım o zaman. 

* Fiziki bir bilgisayar kullanacaksanız, bu durumda session başına kaynak kullanımı hesaplayıp 10.000 ile çarpın -ki kaynak sadece sorgu olarak değerlendirmiyoruz- , açılan session içinde projeniz neler yapıyor ise ona odaklanın.  Mesela veritabanı sorgusu yaparak cevap mı döndürecek, fotoğraf çekip işleyip geri mi döndürecek, fiziki bir cihaz ile iletişim kurup durumunu almayı bekleyip sonucu mu döndürecek, ağdaki diğer cihazl ile iletişime geçip sorgulama yaptıktan sonra dönen değeri mi döndürecek vs. vs. işlem hacmi sürekli büyür ve kaynak ihtiyacı da büyür. 

* Örneğin araç filo takibi gibi sadece bir veritabanına log kaydı tutup session sonlandırıyorsa arkanıza yaslanın bu maksimum değerlere ulaşmasını hiç beklemem. Gelen çağrılar sadece veritabanına kayıt yapılıyorsa basit bir MySQL çalışan ucuz bir web sunucusu dahi iş görür. Sunucu bilgisayar Türkiye'de olduğuna da emin olursanız ping hızlı, yurt içi erişim garanti olur.

Fiziki bir şirket sunucusu olacak, sorgulamaların çok büyük bölümü, farklı lokasyonları olan aynı ağa dahil şirket içindeki veri tabanı işlemleri (Kayıt ekleme, silme, düzenleme, sorgulama) olacak. 

Bazı rapor sorgulamalarının sonuçlanması 5-20 dk sürebilecek, sizin de bahsettiğiniz gibi server ve network tarafındaki yoğunluğu iyi planlamak gerekecek, benim asıl odağım; Delphi mimarisi ile bu kadar istek ve gönderim işleminde normal Database bağlantısında delphi'nin sunduğu teknolojinin yeterli olup olmayacağı.

Örneğin; unigui projelerinde Hyper servis dışındaki geliştirilen projelerde maksimum oturum sayısı 250, buna ulaştığında sistemden birilerinin çıkması lazım ki diğer kişiler kullanabilsin. Hyper servis mimarisiyle sanırım 250 * 8 bir oturum sayısına erişilebiliyor. Buna benzer durumlar web servis mimarisi veya Datasnap'ta olabilir mi.


@pro_imaj  Projeni eğer yanlış anlamadıysam;
sunucuya gelen xml json veriyi veritabanına yazmak  ve gelen veriye göre xml json sonuçlar döndürmek sanırım.
Delphi ile kodlamaya alternatif olarak bence php apache serverıda düşünebilirsin.
sunucuna bir apache web sunucu kurarsın. üzerine basit bir php sayfası ile  tamamen text tabanlı bi kodlama ile hem json xml vb veri gönderip hemde rahatlıkla alabilirsin.
Php Apache rüşdünü ispatlamış bir dil ve sistem olduğu için Zannımca performans ve session sorunuda pek yaşamazsın.
Text tabanlı olduğu için çok hızlı geliştirip hemde çok hızlı müdahele edebilirsin.
 
altta eskiden yazdığım, parametreleri alıp xml sonuç döndüren örnek bir php kodumu yazdım.
Aldığı parametreye göre sql server veritabanına bağlanıp sonucu xml olarak return ediyor.
ip ve parametre kontrolü vb ıvırzırvırları vardı onları temizledim. direk çalışmayabilir ama prensip olarak böyle bişey  Smile . 
<?php

header('Content-Type: application/xml; charset=iso-8859-9');

$Value1 = $_GET['p1'];
$Value2 = $_GET['p2'];

$y= date("Y"); 
$m= date("m"); 
$d= date("d"); 


$baglanti = odbc_connect('DRIVER={SQL Server};SERVER=sunucu.adresim.local;DATABASE=veritabaniadim','phpuser','phppwd');

odbc_exec($baglanti, "SET NAMES 'iso-8859-9'");
odbc_exec($baglanti, "SET client_encoding='iso-8859-9'");

$veri ='';
$sql = "EXEC SP_PROSEDUR_ORNEK  '$Value1' , 1 "; 


if (!$sorgu = @odbc_exec($baglanti,$sql)) 
{
  echo "hata : ", odbc_errormsg();
} 
else 
{ 

while ($row = odbc_fetch_row($sorgu)) 
{
echo  odbc_result($sorgu, "sonuc");
echo "\n";
}


}

?>
Kalan ömrünün en genç build’indesin.
Counter artar, deadline sabit.
Age++ çalışıyor, rollback yok.
Her yer exception
Cevapla
#8
10 bin client olan bir sistem için delphinin standart web server teknolojilerini kullanmak biraz sıkıntı olabilir.
İlla Delphi olması gerekiyorsa Mormot gibi farklı çözümler mevcut.

https://robertocschneiders.wordpress.com...ity-tests/
WWW
Cevapla
#9
Ben düşük seviye önereyim. direkt winsock (Winapi.Winsock2) kullanın.
Cevapla
#10
ben lisans maliyetiden dolayı TcpClient, TcpServer kullanıyorum, mORMot son sürüm XE7 sürümü destek vermiş, FPC destekliyorlar.
Cevapla


Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  Rest servis api uygulaması yapma tuna 13 2.887 17-10-2025, Saat: 18:40
Son Yorum: tuna
  Veri Tabanına Kontrollü Kayıt Yaptırma bünyamin68 20 6.360 08-06-2025, Saat: 09:40
Son Yorum: izmaimen
  wsdl veri çekme hatası tuna 6 2.233 15-01-2025, Saat: 16:54
Son Yorum: hi_selamlar
  MdiChield formu aynı projede show ve showmodal ile çağırma nevzatc 6 1.665 07-12-2024, Saat: 19:08
Son Yorum: nevzatc
  kap.org.tr veri alma hk. pro_imaj 7 19.643 22-10-2024, Saat: 19:57
Son Yorum: Zeynepfeyza20



Konuyu Okuyanlar: 1 Ziyaretçi