Massenhaft Daten speichern, Hardwarelösung ?

jo01 · 26. April 2003

Und noch eine Frage von mir:
Man kann ja unter Linux ein Raid-System aufbauen.
Da schalte ich dann mehrere Platten zu einer großen zusammen (wenn ich ohne Sicherheit auskomme).
Oder mache eben etwas mit duplizieren, das gibt mehr Sicherheit.
Dann gibt es natürlich sog. NAS zu kaufen. Das ist ein PC mit Betriebssystem, welcher mehrere Festplatten in ein bestehendes Netz einklinkt.
Meine Frage: Gibt es eine Lösung, die ungefähr so aussieht ?
ich kaufe x Platten, hänge sie an einen Controller und der macht mir automatisch eine Platte draus.
Dann kann ich meinetwegen in 2 Monaten noch eine beliebige andere Platte beliebiger Größe kaufen,
hänge sie auch wieder an den Controller, der erkennt die neue Platte und macht sie widerum mit den alten Platten zu einer großen
(ohne bestehende Daten zu löschen!). Dann geht in einem Jahr das Spiel von vorne los. Ich kaufe wieder eine Platte....

Ich frage mich, ob nicht schon irgendein Taiwanese auf diese "glorreiche" Idee gekommen ist und billige Lösungen dieser Art fabriziert.
Denn NAS-Lösungen aus dem EDV-Katalog kosten sehr viel und sind immer platzmäßig begrenzt. Solch eine (von mir gewünschte)
Lösung könnte dann beliebig erweitert werden. Dieser "IDE-Controller" müsste m. E. so clever sein, das er den angehängten Netzwerk
(dann hätte das Vieh einen Ethernet-Anschluss drauf) oder dem PC ständig nur eine immer größer werdende Platte präsentiert.
Bitte hängt euch nicht an dem Wort Controller auf, ein besserer Begriff für das Stück Technik, was ich suche, fiel mir nicht ein.
Danke für Eure Tips
Joachim

Btw:
Hier das ist so ein NAS
http://www.iomega-europe.com/e…ts/nas/nas_family_en.aspx

Dirk · 26. April 2003

Hi

du kannst auch mit Linux ein sogenanntes LVM einrichten, was genau das macht, was du willst!

Hab das aber selber noch nicht gemacht!
Es gibt aber einige hier, die das selber schon haben!

jo01 · 26. April 2003

daran habe ich auch kurz gedacht. Es hieß doch (früher), das LVM sei instabil. Daraufhin habe ich das einfach nicht mehr weiter beachtet.
Mir wäre aber eine preiswerte Hardwarelösung noch lieber, so a la Plug_and_Pray.
Ausserdem kann ich doch bei 2 IDE-Controllern max 4 Festplatten dran hängen, oder ?

Ich suche aber jetzt mal die LVM-Beiträge im Board.

kburwieck · 26. April 2003

hi,

billiger als die linux lösung kommste da nicht dran.
alten pc nehmen, netzwerkkarte einbauen und linux mit lvm installieren. mit nfs hat dein vdr die daten dann im zugriff.

bye kai

Dirk · 26. April 2003

Hi

Hmm

Firewire-Platten???

gibt das die Maxtor 500XT mit 250GB (will ich mir auch kaufen)

Kostet so ca. 350 Euro

kburwieck · 26. April 2003

hi,

lvm sei instabil? habe mein lvm mittlerweile seit 2 jahren am laufen.
kann ich demnach nicht bestätigen.

das ist richtig: an die ide controller kannst du nur max. 4 platten anschliessen. ich habe deshalb die scsi lösung: booten von einer ide und daten raid über x scsi platten.

bye kai

jo01 · 26. April 2003

Dirk
an firewireplatten dachte ich auch schon. USB geht wohl auch noch (siehe andern Thread).
Allerdings muss ich dann auch das unter Linux auf dem VDR als LVM einrichten ?

kburwieck (Kai)
Siehst Du und da habe ich wieder mein Problem, guck dir die Preise von scsi-Platten an.
Das "Instabil" bezog sich auf ähnliche Threads wie unten und viele google-suchen aus alten Jahren..

Btw.
Alten Thread zum Thema LVM gefunden
http://www.vdrportal.de/board/thread.php?threadid=926&sid=&hilight=LVM&hilightuser=0

kburwieck · 26. April 2003

hi,

meine lösung war nicht allzu teuer.
ich habe statt große ide platten viele
kleine ältere scsi platten genommen.
die gabs günstig ...

bye kai

SvenS · 26. April 2003

Hi,

Dir ist aber schon bewusst, das Du bei Raid 2 (Spiegelung) nur 50% Nettokapazität überbehälst , dafür höhere Sicherheit und etwas schnelleren Zugriff bei kombinierten Schreib/Lesezugriffen hast. Bei RAID 5 (mindestens drei Platten wobei eine Parity Daten speichert) verlierst Du maximal 1/3 der Bruttokapazität bei erhöhter Sicherheit und leichten Perfomanceeinbussen (im nicht Serverbetrieb mit einigend dutzend Usern aufwärts vernachlässigbar). Bei RAID 5 kannst Du aber bei neuen/zusätzlichen Platten jeweils die Kapazität der kleinsten vorhandenen nutzen. Ansonsten kannst Du auch RAID 3 und andere striping Verfahren nutzen, da werden die dAten über alle Platten verteilt, bei parallelen zugriffen höllenschnell, aber wenn eine Platte im Eimer ist, sind alle Daten futsch. IOch würde mir ein softwareseitiges RAID 5 mit vernünftigen IDE Platten (keine IBM ) aufziehen und wenn Du mehr als 4 IDE Geräte hast/Brauchst einen zweiten Controller einbauen. Ist die günstigste Variante und ne gute Mischung aus Preis/Datensicherheit/GEschwindigkeit/Kapazität. Ach ja und USB/Firewire ist IMHO teurer als die IDE Lösung, von SCSI ganz zu schweigen.

bye

Sven

Dirk · 26. April 2003

Hi

SvenS

Raid 2,3,4 gibts nur noch aus dem Papier und werden kaum noch verwendet!

verwendet werden heutzutage:

Raid 0 : mind 2 Platten
Raid 1 : mind 2 Platten (Spieglung)
Raid 5 : mind 3 Platten (eine Parity)
Raid 10: kombination aus Raid 1 und 2

aber alle können nicht ohne weiteres erweitert werden!

die 5000XT kostet nur 30Euro mehr, als die normale Variante der Platte!

SvenS · 26. April 2003

Hi,

Dirk

ich weiss, aber lassen sich Softwareseitig immer noch verwenden...wers braucht... . RAID 2 war oben Tippfehler muss natürlich 1 heissen shame on me

Ach ja btw RAID 10 ist für gewöhnlich ein gespiegeltes RAID 5

bye

Sven

Argus · 26. April 2003

Zitat

Original von jo01

Das "Instabil" bezog sich auf ähnliche Threads wie unten und viele google-suchen aus alten Jahren..

hallo,

ich kann wegen LVM nicht aus eigener Erfahrung sprechen, aber SuSE bsw. zwängt doch in den neueren Distries per default jedem lvm auf. Und die sind doch eher konservativ und hätten sicher schon Prügel bekommen, wenns nicht richtig laufen würde, oder ?

Gruß lola

dimitri · 26. April 2003

Hi,

meine Billig variante mit LVM ( noch NIE probleme gehabt )
sieht so aus :

PC MSI 845 mit Raid Controller.
Anstatt Raid greife ich aber auf die Platten direkt durch und kann so ein LVM aus 8 Platten bauen.

Zur zeit sind bei mir 7 Platten drin.
Hier die config :

Code

[root@zeus root]# vgdisplay -v uservg
--- Volume group ---
VG Name               uservg
VG Access             read/write
VG Status             available/resizable
VG #                  0
MAX LV                255
Cur LV                13
Open LV               10
MAX LV Size           255.99 GB
Max PV                255
Cur PV                7
Act PV                7
VG Size               867.93 GB
PE Size               4 MB
Total PE              222189
Alloc PE / Size       221693 / 865.99 GB
Free  PE / Size       496 / 1.94 GB
VG UUID               vZXlu8-cQlQ-Sxkb-7JFS-LDLq-vPUC-fSaX1o


--- Logical volume ---
LV Name                /dev/uservg/video_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   1
# open                 1
LV Size                250 GB
Current LE             64000
Allocated LE           64000
Allocation             next free
Read ahead sectors     1024
Block device           58:3


--- Logical volume ---
LV Name                /dev/uservg/audio_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   2
# open                 1
LV Size                12 GB
Current LE             3072
Allocated LE           3072
Allocation             next free
Read ahead sectors     120
Block device           58:0


--- Logical volume ---
LV Name                /dev/uservg/soft_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   3
# open                 1
LV Size                14 GB
Current LE             3584
Allocated LE           3584
Allocation             next free
Read ahead sectors     120
Block device           58:1


--- Logical volume ---
LV Name                /dev/uservg/vm_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   4
# open                 0
LV Size                10 GB
Current LE             2560
Allocated LE           2560
Allocation             next free
Read ahead sectors     120
Block device           58:2


--- Logical volume ---
LV Name                /dev/uservg/video1_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   5
# open                 1
LV Size                250.30 GB
Current LE             64077
Allocated LE           64077
Allocation             next free
Read ahead sectors     1024
Block device           58:8


--- Logical volume ---
LV Name                /dev/uservg/uhome_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   6
# open                 0
LV Size                704 MB
Current LE             176
Allocated LE           176
Allocation             next free
Read ahead sectors     1024
Block device           58:9


--- Logical volume ---
LV Name                /dev/uservg/video2_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   7
# open                 1
LV Size                130 GB
Current LE             33280
Allocated LE           33280
Allocation             next free
Read ahead sectors     1024
Block device           58:11


--- Logical volume ---
LV Name                /dev/uservg/vcd_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   8
# open                 1
LV Size                25 GB
Current LE             6400
Allocated LE           6400
Allocation             next free
Read ahead sectors     1024
Block device           58:12


--- Logical volume ---
LV Name                /dev/uservg/dvd_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   9
# open                 1
LV Size                25 GB
Current LE             6400
Allocated LE           6400
Allocation             next free
Read ahead sectors     1024
Block device           58:13


--- Logical volume ---
LV Name                /dev/uservg/film_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   10
# open                 1
LV Size                62 GB
Current LE             15872
Allocated LE           15872
Allocation             next free
Read ahead sectors     1024
Block device           58:14


--- Logical volume ---
LV Name                /dev/uservg/wine_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   11
# open                 0
LV Size                2 GB
Current LE             512
Allocated LE           512
Allocation             next free
Read ahead sectors     1024
Block device           58:15


--- Logical volume ---
LV Name                /dev/uservg/movies_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   12
# open                 1
LV Size                60 GB
Current LE             15360
Allocated LE           15360
Allocation             next free
Read ahead sectors     1024
Block device           58:16


--- Logical volume ---
LV Name                /dev/uservg/video3_lv
VG Name                uservg
LV Write Access        read/write
LV Status              available
LV #                   13
# open                 1
LV Size                25 GB
Current LE             6400
Allocated LE           6400
Allocation             next free
Read ahead sectors     1024
Block device           58:17




--- Physical volumes ---
PV Name (#)           /dev/hdg1 (8)
PV Status             available / allocatable
Total PE / Free PE    42924 / 0


PV Name (#)           /dev/hdh1 (7)
PV Status             available / allocatable
Total PE / Free PE    42924 / 0


PV Name (#)           /dev/hde1 (1)
PV Status             available / allocatable
Total PE / Free PE    23847 / 496


PV Name (#)           /dev/hdf1 (4)
PV Status             available / allocatable
Total PE / Free PE    19078 / 0


PV Name (#)           /dev/hdc1 (2)
PV Status             available / allocatable
Total PE / Free PE    19538 / 0


PV Name (#)           /dev/hda8 (3)
PV Status             available / allocatable
Total PE / Free PE    34927 / 0


PV Name (#)           /dev/hdb2 (6)
PV Status             available / allocatable
Total PE / Free PE    38951 / 0

Alles anzeigen

Ich habe schon zig mal bei dieser Volume Group Platten getauscht und auch schon komplett die Hardware (MB) gewechselt.
Letzte aktion war der wechsel von SuSe 8.1 auf RedHat 9.
Die VG war sofort da und konnte direkt benutzt werden.

Alles reagierte so wie ich es auch schon unter AIX gewohnt bin.

PS. Bei RedHat 9 kann man jetzt auch direkt während der Installation LVM bauen.

Gruss
Dimitri

Thomas · 26. April 2003

Zitat

Original von dimitri

PS. Bei RedHat 9 kann man jetzt auch direkt während der Installation LVM bauen.

Ging das bei der 8 nicht auch schon?
Ich mein ich hätte das mal gemacht....

Ich hab LVM auch fast seit 2 Jahren am laufen, auf einem MP3-Server hier in der Firma, über mangelnde Stabilität kann ich nicht klagen, es hat in der Zeit bei durchschnittlich 8 Stunden/Tag Zugriff keine Fehler gegeben.

Hat genau die Vorzüge die Du brauchst: neue Platte rein, am LVM anmelden, weiter gehts mit draufschieben.
Mit IDE geht das auch mit mehr als vier Platten, es gibt auch IDE-Controller zum nachrüsten, manche sogar mit acht Kanälen.
Und das ist weit billiger als SCSI.

jo01 · 26. April 2003

im Chat hat mir Dirk auch schon einiges zum Thema
IDE-Controller und Raid erzählt
Am Schluss waren wir mal vorerst bei z.B. Promise FastTrak100 TX2 gelandet.
Jetzt muss ich mal weitersehen, ob ich einen Rechner dafür missbrauchen werde

Aber mal vielen Dank für die ganzen Tips
Joachim

Dirk · 26. April 2003

Hi

wie gesagt, du kannst etwas Googlen, dann findest einige gute angebote für IDE-Kontroller!

für lvm brauchst du keinen Raid-Kontraller!

der billigsten IDE-Kontroller, den ich bisher gesehen habe, war so um die 20Euro.

SvenS

Raid 10 ist eine Kombination aus Raid 0 und 1!
2 Platten laufen im Raid0 und 2 weitere spiegeln diese!
aber ein Raid5 ist einem Raid 10 vorzuziehen!!!

Adama · 8. Juni 2004

Hallo Experten,

Irgendwann wird ja auch die dickste Pladde voll, und so lese ich mit wachsender Begeisterung diesen Thread...

Hier nu mal meine Frage:

Was würde man denn so brauchen, wenn man sich einen Fileserver (a la NAS) aus nem alten PC mit zusätzlichen IDE-karten einrichten wollte, und zum Betrieb nicht ne ganze grosse Distribution draufladen will, sondern so ein kleines schnuckeliges Micro-Linux (wie mans auch für VDR-Clients findet) aufsetzt, das nur die nötigsten Dinge für den Fileserver enthält???

Ich habe zwar NASlite gefunden, aber das scheint nur mit den onboard IDE-Platten (also max. 4 Stück) zu laufen.

link: www.serverelements.com

Gruss

Adama

P.S. Wäre doch was, wenn wir ne VDR-micro-Distri einfach dafür "umbiegen" könnten, oder???

knebb · 8. Juni 2004

Zitat

Original von Adama
Hallo Experten,

Irgendwann wird ja auch die dickste Pladde voll, und so lese ich mit wachsender Begeisterung diesen Thread...

...der aber nicht aufzeigt, daß LVM ohne RAID höchstgefährlich ist! Wenn eine der Platte nausfällt, ist das ganze LVM Schrott!
Der einzig gangbare weg ist der, LVM ÜBER RAID einzusetzen. Also dem LVM nicht einzelne Platten verfüttern, sondern (Software-/Hardware-) RAID Partitionen. Nachteil ist dann natürlich, daß man nicht nur eine einzelne Platte dem LVM hinzufügen kann, sondern min. 2 (RAID1).

Zitat

Was würde man denn so brauchen, wenn man sich einen Fileserver (a la NAS) aus nem alten PC mit zusätzlichen IDE-karten einrichten wollte, und zum Betrieb nicht ne ganze grosse Distribution draufladen will,

Welchen Zweck soll das Teil haben? Nur Fileserver (SMB, NFS)?
Nimm eine Distri Deiner Wahl (SuSE, Debian, RedHat,...) installiere das Teil als Minimalsystem mit Serverausstattung (w.o.). Pack als Hardware das ausgelutschteste Teil dazu, was Du finden kannst (Pentium 1 aufwärts), gib ihm Netzwerkkarte und soviel wie möglich RAM und Platten, fertig ist die Laube.

Zitat

sondern so ein kleines schnuckeliges Micro-Linux (wie mans auch für VDR-Clients findet) aufsetzt, das nur die nötigsten Dinge für den Fileserver enthält???

Gegenfrage: Warum willst Du Dich künstlich einschränken? Die Kiste kannst Du dann noch zusätzlich als (Mail-, DNS-, DHCP-, News-, Proxy-, Zeit-, Backup-, FAX-, ...) Server nutzen.

Eine Mini- Distri brauche ich, wenn die Kisten einen bestimmten Zweck hat (und der ist nicht Fileserver!) oder die Administration und Integration in mein bestehendes System so einfach wie möglich machen will.

jo01 · 8. Juni 2004

Nachdem ich ja der Verursacher des Threads bin und ein Jahr später immer noch nicht viel mehr Geld investieren wollte, schreib ich mal wie ich mittlerweile vorgegangen bin.
In Ermangelung einer Minidistri (wie zb. oben) habe ich eine kleine Festplatte als Master mit Gentoo versorgt. An einem alten 900mhzPC hängen im Moment 3 Platten dran. Die sind einzeln eingehangen. Und jetzt mein persönlicher Trick: Ich hab einfach die Filme nach Kategorien auf die 3 Festplatten verteilt. Auf einer sind eben Ächkschin-Filme, auf der anderen Serien.
Geht mir jetzt eine hinüber, habe ich hoffentlich nur ein paar Kategorien verloren. Da ja das deutsche Fernsehen eh pausenlos wiederholt (also das größte Sendearchiv selbst ist), wäre dann nur Geduld bis zur nächsten Wiederholung angesagt.
Pferdefuss ist natürlich, das ich so nie etwas direkt auf die Platten aufnehmen kann. Ich nehme auf einer Arbeitsplatte auf und move dann hin und her.

Aber das mit dem NASLite muss ich mir mal ansehen
Sowas Kleines suchte ich schon länger

Bin immer noch geckig auf eine richtige Lösung, aber das liebe Geld.
Da holt man sich doch lieber wieder eine Festplatte.

Jo, der Testende

Adama · 8. Juni 2004

Servus zusammen,

Also dann muss ich mal etwas genauer werden:

1. NAS interessiert mich allein aus dem Grunde, dass ich ohne Stress eine gigantische Pladde (oder mehr) in mein VDR-Netzwerk hängen können will (oh mann was ein scheiss deutsch ), und diese bequem vom VDR aus (oder vom Client des VDR) administrieren möchte (denn dat Ding steht sicher im Keller und nicht im Wohnzimmer).
2. Natürlich kann ein Fileserver auch noch alles möglich andere machen. Das habe ich auch nicht in Abrede gestellt, aber ich brauche es für meine Zwecke momentan nicht. Und wenn doch, dann wird halt aus dem NAS-Klotz eben jener Minimal-Server-Knubbel, den Knebb so treffend beschrieben hat. (Man weiss ja nie, wann der Appetit auf mehr so kommt, und dann ist man halt mit Linux nicht vermilchreist *grins*. )
3. Wenn ich mal ganz klien mit so nem NAS-Ansatz beginnen will, dann möchte eigentlich keinen kostbaren Festplatten-Platz mit der Distribution verbraten. Deswegen auch die Idee mit dem USB-Stick als Boot-Device.
4. Folgt man dem Ansatz, dann kann ich mit nem Uralt-PC und den üblichen 4 Platten an 2 IDE-Kanälen beginnen.
5. Wenn ich mehr will, dann kann ich IDE-Kontroller nachrüsten, soviel wie PCI-Steckplätze noch verfügbar sind.
6. Natürlich wäre die Integration von RAID und LVM wünschenswert, aber deswegen habe ich auch die Frage hier gestellt, damit wir mal exemplarisch sowas wie ein minimales Anforderungsprofil herausfinden.
7. Wenn das Profil steht, dann können wir diese Messlatte auch an schon verfügbare NAS-Pakete dranlegen, und sehen ob alles "drin" ist oder nicht, und ggfs. selber noch Hand anlegen. (Natürlich kann man auch das ganze "from Scratch" machen, und dazu war ja der Hinweis gedacht ne Micro-Linux distri "umzubiegen".

Alles klar?

Bin mal gespannt auf Eure Kommentare, und wie immer

Grüsse aus dem Lötdampf

Adama

p.S.: Hat mal einer von euch bei das DARMA NAS OS geschaut. Da gibt eine kleine Version zum download auf deren Homepage (http://nas.darma.com). Ich hab´s jetzt bestimmt schon 20 mal probiert, und immer wieder flieg ich raus, weil "file not found". Vielleicht keinnt einer von euch ja noch ne andere Quelle wo man das Packet saugen kann???

Massenhaft Daten speichern, Hardwarelösung ?

Jetzt mitmachen!

Teilen

Benutzer online in diesem Thema