[elektro] Sok-sok adat txt fajlban

[Erdos Zoltan]

en keresnek valahol oreg dos-os foxprot, v dbase-t
annak eleg a copyzas, vagy meg az se. fullban is kb 10 mega
eleg egyszeruen lehet bele felteteleket irni
es ha nagyon szar az input, akar a low level (byteonkenti) file kezelest 
is tudja..

2010.11.17. 9:32 keltezéssel, fabi írta:
> Sziasztok!
>
> Gyakorlottabb kollégáktól szeretnék tanácsot kérni!
> A következő a feladat:
> Van egy adatbázis, a megrendelő egy nagy txt fájlban kapja, mérete kb.
> 0,5-1GB. (Mezők #-el elválasztva, rekordvég CR+LF, UTF8 kódolás).
>
> Ebből dolgozik a gépem, eddig minden jól ment, szépen beolvasom a
> memóriába, rendezem 4 mező szerint és indulhat a termelés.
>
> Mostanában bonyolódik a dolog, két hetente hívogatnak új igényekkel,
> pld. hogy most az adatbázisból a "kékeket" kéne kihagyni, de csak akkor
> ha 8-nál nagyobb és 20-nál kisebb az ID mező, ha így fejlődnek, jövő
> héten már azokat kell előre válogatni, amelyik nevében és ID-jében
> együtt páros számú kettes számjegy van és háromnál kevesebb "b" betű.
> A példák fiktívek és hülyén hangzanak, de meglepően jól közelítik a
> valóságot :)
>
> Eddig jól elvoltam a malloc-quickshort párossal, de úgy tűnik ennek a
> korszaknak vége, át kell térni valami korszerűbb megoldásra.
>
> Tetszőleges, "éppen arra járó" PC-n kell futnia a dolognak, telepítés
> nélkül bedugják a pendrive-ot, rajta az exe és az adatbázis, tehát egy
> telepített adatbázis kezelő nem játszik.
> Milyen rendszert érdemes használni, hogy egy felhasználói szinten nem
> rosszul képzett, de nem programozó kezelő is elboldoguljon hasonló
> feladatokkal. Szerintem például SQL lekérdezéseket néhány minta alapján
> meg tudna írni.
> A gépeken általában WinXP-SP2, vagy PosReady 2009 fut, nincs swap, írni
> csak a pendrive-ra lehet, de min. 2GB memória van).
>
> Gondoltam általános megoldás lenne, hogy használat előtt beimportálja
> egy excel-be, rendezgeti, majd export. Kevesebb adattal működött is, de
> ekkora adatmennyiséggel egy klikkelés után is 20-30 percet homokórázik
> az excel.
>
> Létezik erre a feladatra valami barátságos technológia?
>
> üdv,
> fabi
>
>
> -----------------------------------------
>            elektro[-flame|-etc]
>
>