Ekstrem komprimering, hva, hvordan?

Espen`

17. august 2008

Lurer på hva folk bruker når de komprimerer mange gigabytes til omtrentlig halvparten av opprinnelig filstørrelse?
Har opplevd flere ganger at nedlastede filer viser seg å være kjempestore når de blir pakket ut.

Takk for hjelpen.

solaas

63 9

17. august 2008

Du kan jo bruke winrar til å "pakke" inn filer så de tar mye mindre plass.

Espen`

Trådstarter

87 2

17. august 2008

Winrar funker for dårlig.
Jeg snakker om den type komprimering som Skullptura benytter seg av.
De av dere som benytter dere av Pirathavnen vet vel hva jeg snakker om.

Han/de har i allefall klart å komprimere filer på ca 9GB ned til i underkant av 2GB, hvordan gjøres dette? Winrar har ikke noe å stille opp med.

treimoz

217 14

17. august 2008

7-Zip 4.23 komprimerer 35% bedre enn winzip (random test med både store og små filer)

Vanskelig å finne et program som måler seg etter det du sa, 7-zip var det beste jeg fant.

bobbo

2.379 722

17. august 2008

Er et par småspill som er jævlig små, men de er somregel programmert til å være så små. Er lettere å pakke ting små i utgangspunktet enn å koprimere etterpå. Er ikke alt som lar seg komprimere like bra.

Restyle

exquisite

4.700 1.391

17. august 2008

Slik jeg har forstått det så komprimerer ikke winrar stort i det heletatt, bare pakker inn filene.
Jeg bruker iallefall 7-zip og det blir da någenlunde komprimert. Selvom jeg selv har hørt folk påstå at de zipper 14gb med til 3-4; aner egentlig ikke hvordan det skal fåreta seg.

bobbo

2.379 722

17. august 2008

I winrar kan du velge hvor hard komprimering du vil ha, uten at jeg har stor erfaring med forskjellen. Det er en skala fra "storage" som bare er pakking, til komprimering som tar laaang tid, men skal pakke ganske bra. Hvordan det er i forhold til 7-zip vet jeg ikke, da jeg aldri har behov for komprimering. Eneste jeg bruker winrar til er å pakke ut torrents ol. og til å evt pakke filer og så evt. dele de opp i midre pakker (til f.eks. cd-plater).

treimoz

217 14

17. august 2008

http://rlwpx.free.fr/WPFF/comploc.htm

som du ser ligger 7-zip på ca 3 plass, og det er ikke stor forskjell mellom de første 4 på komprimering.

zipper en fil med winRar på best compresion nå. Tar 8 min skal se hvor mye den greier å komprimere den. Satser ikke på mer enn 50-60mb max, skal også prøve med normal compresion.

Sist endret av treimoz; 17. august 2008 kl. 03:27.

random13798

Gjest

901 432

17. august 2008

Jeg har vært borti 40mb exe pakka fil (noe scene greier) som ble 450mb ferdig utpakka. Selve utpakkinga tok 45min og var innom tre forskjellige programmer. (var offline så det ingenting ble dl'a)

treimoz

217 14

17. august 2008

fra: 886*333*440
til: 878*117*763

Ikke akkurat bane brytende^^

TheGEEK

Neiheihei!

845 38

17. august 2008

Man må skille mellom "lossless compression" (hvor ingen data blir tapt, eks: zip,rar),
"lossy compression"(mp3, divx) og "procedural generation" (SPORE, demo's)

Lossless compression:
Ved lossless compression avhenger man _veldig_ av hva slags data man komprimerer, hvis det f.eks er ren engelsk tekst kan man anta en hel rekke ting, og dermed komprimere veldig bra. Hvis man derimot prøver å komprimere helt tilfeldig data blir det mye vanskeligere.
Man kan teste dette veldig lett ved å lage et tekstdokument som kun inneholder en bokstav gjentatt tusenvis av ganger. Fila vil ukomprimert bli stor, men komprimert bli veldig liten.
En svært forenklet forklaring er at komprimeringsprogrammet kan "beskrive" hele fila ved å si "skriv bokstaven a X antall ganger".

Lossy compression:
Her er problemet _hva_ slags data man skal ignorere. MP3 er et veldig godt eksempel, i stedet for å lagre alle frekvensene i en lyd tar man kun de frekvensene som et menneske kan høre. DIVX er smart ved at man prøver å huske hva som er "endringen" mellom hvert bilde i en video i stedet for å huske på hvert bilde helt enkeltstående.
Ved å "pakke ut" en fil som er komprimert på denne måten får man IKKE alle data tilbake, men den fila man får ut er uansett veldig mye større, et eksempel er å konvertere en mp3 tilbake til wav, tjener ingenting på kvalitet, men blir fort 10x større.

Procedural generation:
Det er ikke noe problem å generere uendelig store datamenger med et bittelite program, trikset er å generere noe som kan brukes. Et eksempel på sistenevnte er f.eks SPORE (spillet) hvor teksturerer, musikk og masse annet generes ut i fra algoritmer. Selv om man lager et svært komplekst dyr, blir selve datafila for dyret veldig lite fordi den fila kun inneholder en liten beskrivelse av hvordan man kan regne ut attributtene til dyret.

BTW: winrar er svært bra, 7zip er noe bedre, vanlig zip er ganske dårlig.

Sist endret av TheGEEK; 17. august 2008 kl. 03:52.

sh33p

122 1

17. august 2008

Av og til (tror iallefall det er slik) når en lager en iso-kopi av en CD/DVD etc så vil størrelsen på denne vere størrelsen på mediet. Men det er ikke nødvendigvis data på hele mediet. Huska iallefall før på PSP spill så kunne en komprimere helt sinnsykt mye av og til, men det kom an på hvor mye av mediet som faktisk var brukt.

vidarlo

Trigonoceps occipita

27.682 31.078

17. august 2008

Ei av dei beste generelle komprimeringsalgoritmene er vel bzip2, men bakdelen er at den tar mykje datakraft. Kor mykje ting blir komprimert avhenger også av kva du komprimerer. Engelsk tekst går til 50-60% av opprinnelig størrelse, jpeg kan derimot ikkje komprimerast i heiletatt omtrent.

Espen`

Trådstarter

87 2

17. august 2008

Når jeg komprimerte Live for speed (ca 300mb) med WinUHA klarte jeg å komprimere ned til 109MB på det beste, men jeg kan ikke akkurat si meg fornøyd der.

super

519 41

17. august 2008

kommer veldig an på typen filer, jeg har foreksempel en wordlist (.txt) når den er komprimert så er den på 74.3Mb men nå den pakkes ut så er den litt over 28Gb

tamadrummer

117 11

17. august 2008

KGB Archiver skal ha en av de beste komprimeringsratene der ute. Dog bruker dette programmet ESKTREMT mye maskinkraft, og EKSTREMT lang tid.

http://img83.imageshack.us/img83/8531/test2no8.jpg

Sist endret av tamadrummer; 17. august 2008 kl. 15:17.

Lanjelin

1d8+5+4d6

1.397 535

17. august 2008

Sitat av tamadrummer

KGB Archiver skal ha en av de beste komprimeringsratene der ute. Dog bruker dette programmet ESKTREMT mye maskinkraft, og EKSTREMT lang tid.

http://img83.imageshack.us/img83/8531/test2no8.jpg

Vis hele sitatet...

Satte igang for å teste det opp mot winrar på 1.4GB med filer..
1film på 700MB (avi), en Iso på635MB, samt noe tekst + bilder
Begge programmene på maksimal komprimering..
Winrar var ferdig etter 50min, og fikk en fil på 1.31GB
KGB har 26timer igjen å jobbe, etter å ha stått 3 timer..

vidarlo

Trigonoceps occipita

27.682 31.078

17. august 2008

Sitat av DrMight

Vis hele sitatet...

XviD og lignande kodeker kan komprimerast ~0. MPEG2 kan komprimerast en del. JPEG kan komprimerast ~0. PNG kan komprimerast ~0. Å teste komprimeringsprogram med allerede komrimerte spesialiserte formater er totalt bortkasta, ettersom resultatet blir 0. I tillegg er ofte dei spesialiserte algoritmene (som flac for lyd) suverene på det dei er spesialisert på...

Kort sagt: skal du finne kva komprimeringsalgoritme som er best må du først vite kva du skal komprimere, deretter om du skal ha lossy eller tapsfrikomprimering, og deretter filstørrelse vs. cputid. Har du 100Mb nettverk er bzip2 en bottleneck, og vil gi lavere hastighet enn gzip, sjølv om algoritma er bedre. Har du 56 modem er bzip2 mykje betre, sidan BW der blir bottleneck, og ikkje CPU-tid.

Lanjelin

1d8+5+4d6

1.397 535

17. august 2008

Pakket ned endel filer:
Bilder: 50,3MB
Tekst: 17,7MB

Winrar; tid 6:29 : 28,4MB
KGB ; tid 10:19 : 25,2MB

KGB er tydeligvis en anelse mer effektiv, men bruker mye mer resurser..