[elektro] Sok-sok adat txt fajlban

[vajk fekete]

en mindenkeppen kulonvalasztanam a termelest, es az elokeszitest. 

tehat van egy program, ami a kapott file alapjan dolgozik, es pont.

ha speci dolgot kell csinalni, akkor ahhoz egy masik file-t kell gyartani. akar 
az eredetibol. 

tehat ha sokat akarsz keresni, akkor minden egyes igenyre gyartasz egy szuro 
programot, ami megeszi a fileot, es kikopi a modositottat. amig nem globalis a 
szabalykeszlet, ehhez a szurohoz nem is kell egyszerre beolvasni memoriaba az 
egeszet. de ha globalis is (ha tobb mint 1000 kek van az egeszben, akkor a 
pirosakat hagyjuk ki),akkor is inkabb megoldanam 1-2-3 vegigolvasassal mint 
memoriaba behuzni az egeszet.

ilyen egyszeru filtereket irni textfilera pl az awk tokeletes. de irhatsz 
sajatot is. 

olyan user interface-et csinalni, ahol ok maguk definialhatnak szabalyokat, az 
nem trivialis. ha  nagyon generikus, algoritmikus a definicio nyelve, akkor 
kvazi programozni kell, amit a nem ITs ugyfel nem tud. (hiszen akkor awk-al 
megoldana maganak) ha meg valami logikai/deklarativ stilusu, mint egy sql 
lekerdezes, akkor elofordulhat hamar, hogy olyan szabalyt talal ki, amit nem 
lehet vele leirni.

talan azt csinalnam, hogy kielemeznem az eddig felmerult igenyeket, es kicsit 
altalanositva, valami grafikus UI-on sok checkbox es egyebek modon csinalnek egy 
feluletet, amin le lehet irni az igenyt. aztan belul ebbol legeneralnam az awk 
programot, es azzal megfiltereznem a fileot.

vajk



________________________________
From: fabi <fabilist at gmail.com>
To: elektro at tesla.hu
Sent: Wed, 17 November, 2010 9:32:11
Subject: [elektro] Sok-sok adat txt fajlban

Sziasztok!

Gyakorlottabb kollégáktól szeretnék tanácsot kérni!
A következő a feladat:
Van egy adatbázis, a megrendelő egy nagy txt fájlban kapja, mérete kb. 
0,5-1GB. (Mezők #-el elválasztva, rekordvég CR+LF, UTF8 kódolás).

Ebből dolgozik a gépem, eddig minden jól ment, szépen beolvasom a 
memóriába, rendezem 4 mező szerint és indulhat a termelés.

Mostanában bonyolódik a dolog, két hetente hívogatnak új igényekkel, 
pld. hogy most az adatbázisból a "kékeket" kéne kihagyni, de csak akkor 
ha 8-nál nagyobb és 20-nál kisebb az ID mező, ha így fejlődnek, jövő 
héten már azokat kell előre válogatni, amelyik nevében és ID-jében 
együtt páros számú kettes számjegy van és háromnál kevesebb "b" betű.
A példák fiktívek és hülyén hangzanak, de meglepően jól közelítik a 
valóságot :)

Eddig jól elvoltam a malloc-quickshort párossal, de úgy tűnik ennek a 
korszaknak vége, át kell térni valami korszerűbb megoldásra.

Tetszőleges, "éppen arra járó" PC-n kell futnia a dolognak, telepítés 
nélkül bedugják a pendrive-ot, rajta az exe és az adatbázis, tehát egy 
telepített adatbázis kezelő nem játszik.
Milyen rendszert érdemes használni, hogy egy felhasználói szinten nem 
rosszul képzett, de nem programozó kezelő is elboldoguljon hasonló 
feladatokkal. Szerintem például SQL lekérdezéseket néhány minta alapján 
meg tudna írni.
A gépeken általában WinXP-SP2, vagy PosReady 2009 fut, nincs swap, írni 
csak a pendrive-ra lehet, de min. 2GB memória van).

Gondoltam általános megoldás lenne, hogy használat előtt beimportálja 
egy excel-be, rendezgeti, majd export. Kevesebb adattal működött is, de 
ekkora adatmennyiséggel egy klikkelés után is 20-30 percet homokórázik 
az excel.

Létezik erre a feladatra valami barátságos technológia?

üdv,
fabi


-----------------------------------------
          elektro[-flame|-etc]