Delphi Can

Orjinalini görmek için tıklayınız: SAOP Servis Out of Memory Hatası
Şu anda (Arşiv) modunu görüntülemektesiniz. Orjinal Sürümü Görüntüle internal link
Sayfalar: 1 2
64 bit burada hafıza yönetimi ve sınırlarında esneklik katıyor.

Dosya fiziki boyutu görece az deseniz de bunun için yerelde rezerve edilmiş hafıza boyutu belirleyici. Ben sayenizde limiti görmüş ve öğrenmiş oldum ki normalde bu sınırlarda soap üzerinden dosya indirme tecrübem olmadı.

XML yakasında ise içerisinde dolaşıp nesneler halinde xml node vb oluşturmak işlemleri de katı kadar hafıza isteyecektir. Bunu tutacak xml document açısından taşmalara da bu durum sebep olabilir.

XML şema kontrolü siz atama yapar yapmaz işleme giriyor. Arka planda bütünlük kontrolü validasyon yapılıyor. Böylece bir nesne mi yoksa nil mi olduğu sonucuna varılıyor.

Bu nedenle size ikinci mesajda belirttiğim böl parçala sayfalama yapma gereğinden win32 için gerekli olabilirliğine değinmiştim.

64 bite geçişiniz uygulamanıza ilaç gibi olmuş. Tebrikler
Birilerine fikir olması adına büyük dosya ve kayıt sayısı ile ilgili kullandığım yapıyı kısaca izah edeyim.

Ben aldığım mükellef bilgilerini veri tabanında tutuyorum. Sürekli parse ile uğraşmıyorum.

Veri tabanına kayıt işleminde de parse ederken XML binding veya xml kütüphanelerini kullanmak yerine eski usul satır satır dosya okuma işlemi ile yapıyorum.
Satır etiketleri ile döngüler içinde bilgilere bakarak veri tabanı kaydı olacak bilgileri alıyorum. Bellek kullanımı yok gibi işlemci kullanımı da %10-12 arası oluyor.
1,2Gb xml dosyadan 400MB civarı csv dosyası oluşturuyorum.

Veri tabanı Postgresql kullanıyorum. Asıl sorun böyle büyük sayıda (2,5milyon gibi) kayıt sayısı olan kaydın veri tabanında tabloya kayıt edilmesi.
Normal Insert işleminde çok fazla zaman alıyor. Parçalar halinde kayıt edilse satır satır işleme nispeten iyi ama yine çok zaman alıyor.

Buradaki kullandığım çözüm XML dosyadan CSV dosyası oluşturuyorum. psql komutları ile uygun formattaki csv dosyasını direkt olarak veri tabanı tablosuna yazıyorum. Bu şekilde inanılmaz hızda yazıyor. Aslında psql ile copy işlemi yapıyorum. 

procedure XmlToCsvIslemleri;
var
...
begin
  AssignFile(LFile, AFileName, CP_UTF8);
  Reset(LFile);
  while not Eof(LFile) do
  begin
    LTmp := '';
    ReadLn(LFile, LTmp);//xml den okundu
    //okunan bilgiyi parse et
    //okunan bilgiyi mantıklı şekilde record tip içine yaz
    //record veriyi uygun şekilde csv ye yaz
    Writeln(LFileCsv, RecToCsvStringForCopyCmd(LRec, ','));
  end;
end;

procedure TForm1.CopyTableDataFromFile(const AFileNameCsv: string; const ADelimiter: string);
var
 LCopyAppParameters: string;
 ShExecInfo: SHELLEXECUTEINFO;
begin
 try
   DeleteAll();//burada hızlı olması için truncate ile tablo içeriği silinecek ve sequence varsa sıfırlanacak.

   LCopyAppParameters :=
     'set PGPASSWORD=' + 'password' + '&&' +
     ExtractFilePath(ParamStr(0)) + 'Tools' + PathDelim + 'psql.exe ' +
     ' -d ' + 'databaseName' +
     ' -U ' + 'username' +
     ' -p ' + 'portno5432' +
     ' -h ' + 'hostname' +
     ' -c ' + '"\copy public.' + 'databaseTableName' +
                 '(field1, field2, fieldn) ' +
               ' FROM ' + QuotedStr(AFileNameCsv) +
               ' with DELIMITER ' + QuotedStr(ADelimiter) +
               ' ENCODING ' + QuotedStr('UTF8') + '"&&exit';

   ShExecInfo.cbSize := sizeof(SHELLEXECUTEINFO);
   ShExecInfo.fMask := SEE_MASK_NOCLOSEPROCESS;
   ShExecInfo.Wnd := 0;
   ShExecInfo.lpVerb := nil;
   ShExecInfo.lpFile := 'cmd';
   ShExecInfo.lpParameters := PWideChar('/c ' + LCopyAppParameters);
   ShExecInfo.lpDirectory := nil;
   ShExecInfo.nShow := SW_SHOW;
   ShExecInfo.hInstApp := Application.Handle;
   ShellExecuteEx(@ShExecInfo);
   WaitForSingleObject(ShExecInfo.hProcess, INFINITE);
 except
   on e: exception do
     e.Message := 'Bir hata oluştu. Dosya formatı uygu olmayabilir. ' + e.Message;
 end;
end;

Heskeze teşekkür ederim. Fakat yine de ilk yazdığım büyük dosyayı nasıl alırıma çözüm bulamadım.
Sayfalar: 1 2