OSX unter KVM

[Lechner Richard]

Hat zufällig jemand einen OSX inklusive Serversoftware unter Linux
virtualisiert?
Ich müsste einen Mac ablösen und die neuen sind als Server wenig geeignet.
Ich dachte ich setze eine VM mit OSX auf, ist das stabil genug für 30 User
mit 20 TB Daten?

Ich brauch leider unbedingt Spotlight und kann den Mac nicht mit Linux
ersetzen.

Oder doch besser einen neuen Mac mit einem Cephcluster als Storage über
iscsi mounten und exportieren?

Betreibt jemand sowas in der Art und kann dazu was sagen?

MfG

Richard Lechner

[Sven Hartge]

Post by Lechner Richard
Hat zufällig jemand einen OSX inklusive Serversoftware unter Linux
virtualisiert?

Da MacOS recht stark an die spezielle Apple-Hardware gebundelt ist, kann
man das nicht so einfach virtualisieren.

VMware macht dies mit ESX, aber der ESX muss dann auf Apple-Hardware
laufen damit das sauber, auch lizenztechnisch gesehen, läuft.

Post by Lechner Richard
Ich müsste einen Mac ablösen und die neuen sind als Server wenig geeignet.
Ich dachte ich setze eine VM mit OSX auf, ist das stabil genug für 30 User
mit 20 TB Daten?

Also ein produktives System, von dem einiges abhängt?

Dann solltest du besser nicht rumfrickeln sondern eben passende Hardware
nehmen, die von MacOS unterstützt wird.

S°

[Lechner Richard]

Post by Sven Hartge
Da MacOS recht stark an die spezielle Apple-Hardware gebundelt ist, kann
man das nicht so einfach virtualisieren.

Wo ein Wille da ein Weg. :-)

http://www.contrib.andrew.cmu.edu/~somlo/OSXKVM/

Post by Sven Hartge

Post by Lechner Richard
Ich müsste einen Mac ablösen und die neuen sind als Server wenig
geeignet. Ich dachte ich setze eine VM mit OSX auf, ist das stabil genug
für 30 User mit 20 TB Daten?

Also ein produktives System, von dem einiges abhängt?
Dann solltest du besser nicht rumfrickeln sondern eben passende Hardware
nehmen, die von MacOS unterstützt wird.

Ja daran hängt einiges, darum soll es auch möglichst keine Stehzeiten geben.
Nun gibt es aber schon Engpässe bei den Ersatzteilen für die bestehende
Lösung und es muss Ersatz her.
Am "Frickeln" kommst ja in der EDV kaum vorbei, Apples SMBX ist ja total
kaputt und ohne Homebrew wäre auch die Konsole unbrauchbar. Apple ist auf
dem Ohr aber taub und mehr mit Mobiles beschäftigt, so muss sich der User
eben selber helfen.
Steckt eben auch viel Mythos in einem Appleprodukt.

http://www.heise.de/foto/artikel/Meinung-Andauernder-Murks-in-Mac-OS-X-2543466.html

Das ist genau das Problem, es gibt keine passende Serverhardware von Apple
mehr und Thunderbolt ist Frickelsteckerchen mit Wackelambitionen, daran 2
Raids hängen? Hab ich noch keinen getroffen der das uneingeschränkt
empfehlen würde aber jeder rät bei dem Vorhaben zum Heißkleber. :-)

Wir haben derzeit 2 x 2 Raids laufen und spiegeln die Daten in einen Vmware
Cluster, nun wächst das ganze aber immer schneller und die Raids sind zu
unflexibel. Ein Ceph ist da viel besser geeignet, lässt sich leicht
erweitern, kein Bottleneck und auch der Austausch & Erweiterung der alten
Platten ist einfach und im laufenden Betrieb möglich. Auch das Spiegeln der
Daten kann Ceph direkt übernehmen und Ceph skaliert schön, dazu geht alles
via IP und ist nicht von Apples Launen abhängig, so spricht alles für Ceph
und nichts für neue Raids mit Thunderbolt.

Nun suche ich nach "Leidensgenossen" die vor dem gleichen Problem stehen.
:-)

VM oder iSCSI?

Dazu könnte ich noch die VM's aus dem Cluster in den Ceph schieben und auch
Vmware entsorgen. Nur noch ein System welches ich im Haus über den Speicher
repliziere, Hersteller- und Hardwareunabhängig, sexy! :-)

[Sven Hartge]

Post by Lechner Richard

Post by Sven Hartge
Da MacOS recht stark an die spezielle Apple-Hardware gebundelt ist, kann
man das nicht so einfach virtualisieren.

Wo ein Wille da ein Weg. :-)
http://www.contrib.andrew.cmu.edu/~somlo/OSXKVM/

Damit bist du dann aber weit außerhalb der Lizenz, sofern du nicht auf
Apple-Hardware läufst. Wie auf der Seite auch genannt wird: "[...] you
are granted a [...] license to install, use and run one (1) copy of the
Apple Software on a single Apple-Branded computer at any one time"

Daher virtualisiert VMware z.B. OSX nur dann, wenn der ESX-Server auf
Apple-Hardware läuft.

Ich komme beruflich aus einer Welt, in der aktiv betriebener Lizenzbruch
zur Abmahnung oder Kündigung führt, ich würde solche Spielchen daher gar
nicht erst versuchen wollen.

S°

[Michael Logies]

On Mon, 02 Nov 2015 12:06:53 +0100, Lechner Richard

Post by Lechner Richard
Ich brauch leider unbedingt Spotlight

Darf ich fragen, warum? Sehr gute Desktopsuchmaschinen gibt es doch
genug (X1, Copernic). Ich nutze eine alte Version von X1 (www.x1.com),
weil ich damit Suchstrategien in XML-Dateien hinterlegen und in
Outlookaufgaben diese einbetten kann.

Grüße

M.

[Lechner Richard]

Post by Michael Logies
Darf ich fragen, warum? Sehr gute Desktopsuchmaschinen gibt es doch
genug (X1, Copernic). Ich nutze eine alte Version von X1 (www.x1.com),
weil ich damit Suchstrategien in XML-Dateien hinterlegen und in
Outlookaufgaben diese einbetten kann.

Ja aber die User haben Mac's und wollen ihre Arbeitsweise beibehalten, die
ist leicht "creativ". Ohne Spotlite sind mehr als 4 Millionen Files ein
Datengrab.

[Michael Logies]

On Fri, 06 Nov 2015 13:13:42 +0100, Lechner Richard

Post by Lechner Richard
Ja aber die User haben Mac's und wollen ihre Arbeitsweise beibehalten, die
ist leicht "creativ". Ohne Spotlite sind mehr als 4 Millionen Files ein
Datengrab.

Gibt`s eine freie Suchmaschine für Linux für Desktop und LAN, die ihre
Suchergebnisse im Webbrowser der Macs darstellen kann und danach
leichten Dateizugriff auf die gefundenen Dateien ermöglicht? Ich habe
eben etwas gesucht, aber nichts gefunden:
https://wiki.ubuntuusers.de/Desktopsuchmaschinen

Meine X1-Version (von 2007) unterstützt noch Thunderbird (bei mir 1,2
Mio Emails), was bei neueren Versionen nicht der Fall ist.

Folgende Diskussion Spotlight (plus fremdes Front-End (HoudahSpot))
versus X1 Professional ist nicht neu, aber noch interessant, denke
ich, weil ich den Desktopsuchmaschinenmarkt als wenig dynamisch
einschätze (Copernic für Mac ist Anfang 2014 eingestellt worden, die
Windowsversion kann mit X1 (2007) m. E. nicht mithalten):
http://forums.macrumors.com/threads/what-is-the-best-desktop-search-engine-on-mac-os-x.1134780/
What is the Best Desktop Search Engine on Mac OS X?
Discussion in 'Mac Apps and Mac App Store' started by Bigmacduck, Apr
11, 2011.

Die gleichen Programme werden auch in einem neueren Artikel genannt:
http://www.computerwoche.de/a/top-tools-fuer-die-desktop-suche,2502031
Top-Tools für die Desktop-Suche
17.09.2014 | von Thomas Bär (Autor) und Frank-Michael Schlede (Autor)

Günstige Suchmaschinen für kleine Unternehmen gibt es m. W. kaum mehr
als die oben genannten.

Ich verstehe noch nicht, warum Du einen Mac virtualisieren willst.
Spotlight durchsucht auch Netzwerklaufwerke. Warum also nicht die
Daten ins Ceph und jeden der 30 Macs einen eigenen Spotlightindex
aufbauen lassen? Ich habe nur 5, 6 Anwender, die laufen alle auf einem
Windows-XP-Thinstuff-Terminalserver (VM auf SSD), und X1 indexiert für
jeden User alle Dateien.

Grüße

M.

[Florian Weimer]

Post by Michael Logies
Ich verstehe noch nicht, warum Du einen Mac virtualisieren willst.
Spotlight durchsucht auch Netzwerklaufwerke. Warum also nicht die
Daten ins Ceph und jeden der 30 Macs einen eigenen Spotlightindex
aufbauen lassen?

Bei vier Millionen Dateien ist es schwierig, ohne Server-Hilfe den
Index aktuell zu halten.

Auch ist fraglich, ob der Index überhaupt so erstellt werden kann.
Wenn es ein Volltextindex ist, muß der Client die Dateien kopieren,
was allein schon mindestens zwei Tage dauert, und das für jeden
Client. Das kann eigentlich nur funktionieren, wenn nicht mehr
gebraucht wird als eine einfache Dateiliste.

[Michael Logies]

Post by Florian Weimer
Bei vier Millionen Dateien ist es schwierig, ohne Server-Hilfe den
Index aktuell zu halten.
Auch ist fraglich, ob der Index überhaupt so erstellt werden kann.
Wenn es ein Volltextindex ist, muß der Client die Dateien kopieren,
was allein schon mindestens zwei Tage dauert, und das für jeden
Client.

Jein. Die Ersterstellung des Index kann etwas dauern, aber die
Aktualisierung bezieht sich dann jeweils nur auf geänderte oder neue
Dateien. Man könnte auf einem Mac-Client die Erstindexierung laufen
lassen und das Ergebnis auf die 30 anderen Macs replizieren.
Aktualisierung macht dann jeder Client selbst.

Ob die Dateien kopiert und indexiert oder nur gelesen und indexiert
werden, hängt von der Suchmaschine ab. Bei x1 hat man bezüglich Emails
die Wahl, Dateien werden nur gelesen und indexiert.

Mir fehlt die Macerfahrung, um abschätzen zu können, wie schnell
Spotlight ist. Die Leistungsfähigkeit des Speichers und dessen
Anbindung ist bei X1 der entscheidende Faktor. Selbst von SSD (Samsung
EVO 850) liegt die Prozessorlast unter 10%, wenn x1 indexiert.

Wie die 4 Millionen Dateien organisiert sind, dürfte auch eine Rolle
spielen. Wenn sie in Verzeichnissen stecken, die schreibend nicht mehr
angefaßt werden, sollte der Indexierer die Verzeichnisse ab dem 2.
Suchlauf auslassen.

Grüße

M.

[Florian Weimer]

Post by Michael Logies

Post by Florian Weimer
Bei vier Millionen Dateien ist es schwierig, ohne Server-Hilfe den
Index aktuell zu halten.
Auch ist fraglich, ob der Index überhaupt so erstellt werden kann.
Wenn es ein Volltextindex ist, muß der Client die Dateien kopieren,
was allein schon mindestens zwei Tage dauert, und das für jeden
Client.

Jein. Die Ersterstellung des Index kann etwas dauern, aber die
Aktualisierung bezieht sich dann jeweils nur auf geänderte oder neue
Dateien. Man könnte auf einem Mac-Client die Erstindexierung laufen
lassen und das Ergebnis auf die 30 anderen Macs replizieren.

Ich bin mir nicht sicher, ob das geht.

Post by Michael Logies
Aktualisierung macht dann jeder Client selbst.

Auch die Aktualisierung wird bei vier Millionen Dateien und 30 Clients
jede Menge I/O machen.

Post by Michael Logies
Wie die 4 Millionen Dateien organisiert sind, dürfte auch eine Rolle
spielen. Wenn sie in Verzeichnissen stecken, die schreibend nicht mehr
angefaßt werden, sollte der Indexierer die Verzeichnisse ab dem 2.
Suchlauf auslassen.

Wenn man nur die Dateinamen haben will, dann kann man das vielleicht
anhand der Zeitstempel der Verzeichnisse ein bißchen optimieren, aber
bei Änderungen der Inhalte ändert sich der Zeitstempel nicht
zwangsläufig, ebensowenig wie Änderungen tief unten im Verzeichnisbaum
den Zeitstempel von übergeordneten Verzeichnissen beeinflussen.

Spotlight wird wohl auf Apple-Dateisysteme optimiert sein, weshalb es
solche Verrenkungen eher nicht machen wird (denn ich glaube, es gibr
dort eine Art Änderungshistorie, die über bloße Snapshots
o.ä. hinausgeht).

[Lechner Richard]

Post by Michael Logies
Jein. Die Ersterstellung des Index kann etwas dauern, aber die
Aktualisierung bezieht sich dann jeweils nur auf geänderte oder neue
Dateien. Man könnte auf einem Mac-Client die Erstindexierung laufen
lassen und das Ergebnis auf die 30 anderen Macs replizieren.
Aktualisierung macht dann jeder Client selbst.

Zuviel Gebastel wo es immer wieder hacken kann.

Post by Michael Logies
Ob die Dateien kopiert und indexiert oder nur gelesen und indexiert
werden, hängt von der Suchmaschine ab. Bei x1 hat man bezüglich Emails
die Wahl, Dateien werden nur gelesen und indexiert.

Ähm wir sprechen von fast 5 Millionen Files mit nahe 20 Terra.

Post by Michael Logies
Mir fehlt die Macerfahrung, um abschätzen zu können, wie schnell
Spotlight ist. Die Leistungsfähigkeit des Speichers und dessen
Anbindung ist bei X1 der entscheidende Faktor. Selbst von SSD (Samsung
EVO 850) liegt die Prozessorlast unter 10%, wenn x1 indexiert.

Der Server macht das in 3 - 5 Stunden falls er mal hängt und ich den Task
neu starte. Ohne Netzlast.

Post by Michael Logies
Wie die 4 Millionen Dateien organisiert sind, dürfte auch eine Rolle
spielen. Wenn sie in Verzeichnissen stecken, die schreibend nicht mehr
angefaßt werden, sollte der Indexierer die Verzeichnisse ab dem 2.
Suchlauf auslassen.

Es wir laufen wo geändert oder neu gespeichert. Der mds bekommt das am
Server mit und schreibt es in seine Datenbank, braucht eine CPU.

[Lechner Richard]

Post by Florian Weimer
Bei vier Millionen Dateien ist es schwierig, ohne Server-Hilfe den
Index aktuell zu halten.
Auch ist fraglich, ob der Index überhaupt so erstellt werden kann.
Wenn es ein Volltextindex ist, muß der Client die Dateien kopieren,
was allein schon mindestens zwei Tage dauert, und das für jeden
Client. Das kann eigentlich nur funktionieren, wenn nicht mehr
gebraucht wird als eine einfache Dateiliste.

Selbst als Dateiliste unbrauchbar, hatten sie vorher und er hatte immer
wieder nichts gefunden.

[Florian Weimer]

Post by Lechner Richard
Selbst als Dateiliste unbrauchbar, hatten sie vorher und er hatte
immer wieder nichts gefunden.

D.h. Ihr macht wirklich einen Volltextindex auf die 20 TB? Spannend.
Oder wie habe ich das zu verstehen?

Ich würde mich mal bei diversen Filer-Herstellern erkundigen (und
ggf. auch Anbietern von Software Defined Storage, oder wie man das
nennen will). Ihr werdet nicht die einzigen mit diesem Problem sein.

[Lechner Richard]

Post by Florian Weimer
D.h. Ihr macht wirklich einen Volltextindex auf die 20 TB? Spannend.
Oder wie habe ich das zu verstehen?
Ich würde mich mal bei diversen Filer-Herstellern erkundigen (und
ggf. auch Anbietern von Software Defined Storage, oder wie man das
nennen will). Ihr werdet nicht die einzigen mit diesem Problem sein.

Ich nicht aber Spotlite macht etwas das den Usern ermöglicht nach Daten zu
suchen. Was genau müsstest du Apple fragen, das Teil heisst mds und werkelt
am Server. Der Indexer bekommt die Nachricht vom Filesystemtreiber/AFP-
Servertask wenn ich richtig erinnere und macht das in Echtzeit, nur wenn es
hakt dann braucht er mal einen Stubser und dann ließt er die Daten alle ein
(vermutlich), damit sind 8 CPU's zwischen 3 - 5 Stunden beschäftigt. Danach
können sie wieder suchen, nach Namen und Inhalt, das ganze funktioniert so
einige Monate bis es wieder soweit ist und ich den Task killen muss.

Ich habe kein Problem mit Spotlite sondern möchte von der alten Hardware
weg, ausserdem ist das Raid bald voll und ich muss sowieso vergrößern, da
ich aber nicht 3 neue Raids kaufen will (1 x MAC & 1 x Vmware Cluster als
Spiegel) dachte ich es ist besser ich mache es mit Ceph und wir können dann
wachsen ohne in irgendwelche Bottlenecks zu laufen. Derzeit müsste ich den
MAC mit einem neuen Kontroller ausrüsten denn beide SAS sind voll, läuft
aber dann alles über den einen Steckplatz im Mac.
Mit Ceph starte ich mit 5 Rechnern a 8 Platten & 2 SSD's und kann jederzeit
Rechner dazu stellen, fällt mal einer aus starte ich die VM auf einem
anderen Node und weiter gehts. Also Ceph habe ich schon mehr oder weniger
entschieden, mein Problem ist ich habe keine VM's mit OSX laufen und wüsste
gerne ob das stabil läuft oder eher etwas für schnell mal zwischendurch ist.

Nachdem sie keinerlei Daten löschen wollen und der Bedarf stetig wächst
halte ich das für eine gute und flexible Lösung. Mit jeder Erweiterung
wächst auch der Speed der VM denn die schiebt man einfach auf den neuen und
schnelleren Node.

Vielleicht nimmt sich Apple ja in 10 jahren wieder seiner User an, momentan
sind sie einfach mit der Cashcow iPhone beschäftigt. :-(

[Lechner Richard]

Post by Florian Weimer
D.h. Ihr macht wirklich einen Volltextindex auf die 20 TB? Spannend.
Oder wie habe ich das zu verstehen?

Extra nachgefragt, also zumindest pdf und postscript scheint er auch den
Inhalt zu indexieren. Zumindest finden sie das Zeuch in Spotlite, so genau
weiss das keiner, Hauptsache es ist da wenn es einer braucht, wo immer es
auch liegen mag. :-)

[Lechner Richard]

Post by Michael Logies
Gibt`s eine freie Suchmaschine für Linux für Desktop und LAN, die ihre
Suchergebnisse im Webbrowser der Macs darstellen kann und danach
leichten Dateizugriff auf die gefundenen Dateien ermöglicht? Ich habe
https://wiki.ubuntuusers.de/Desktopsuchmaschinen

Keine Ahnung ob es sowas gibt, brauch ich auch nicht den die User haben
vorwiegend MAC's.

Post by Michael Logies
Folgende Diskussion Spotlight (plus fremdes Front-End (HoudahSpot))
versus X1 Professional ist nicht neu, aber noch interessant, denke
ich, weil ich den Desktopsuchmaschinenmarkt als wenig dynamisch
einschätze (Copernic für Mac ist Anfang 2014 eingestellt worden, die
http://forums.macrumors.com/threads/what-is-the-best-desktop-search-engine-on-mac-os-x.1134780/
What is the Best Desktop Search Engine on Mac OS X?
Discussion in 'Mac Apps and Mac App Store' started by Bigmacduck, Apr
11, 2011.

Naja jeder hat seine Vorlieben und diese User wollen ihr Spotlite haben. Ich
werde mich da nicht gegen auflehnen sondern sie zufrieden stellen. Vorgänger
hatten das Ding mit Linux unter Vmware laufen, 45MB/s laut Helios Lantest,
ich habe ihnen gesagt: Nur nativ ist full speet und Spotlite! Also haben wir
umgebaut und dann sagte Helios: 120MB/s
Das hat die umgehauen! Seitdem sind sie unsere Kunden, zufriedene Kunden
sind glückliche Kunden! :-)

Alle 4 - 5 Monate hängt die Spotlite Servertask, Beschwerden kommen
innerhalb 15 Minuten, dann starte ich die Task neu und dann ist einige
Stunden Last am Raid und danach sind wieder alle glücklich. :-)

Post by Michael Logies
Günstige Suchmaschinen für kleine Unternehmen gibt es m. W. kaum mehr
als die oben genannten.

Brauche ich alles nicht solange Spotlite funktioniert!

Post by Michael Logies
Ich verstehe noch nicht, warum Du einen Mac virtualisieren willst.
Spotlight durchsucht auch Netzwerklaufwerke. Warum also nicht die
Daten ins Ceph und jeden der 30 Macs einen eigenen Spotlightindex
aufbauen lassen? Ich habe nur 5, 6 Anwender, die laufen alle auf einem
Windows-XP-Thinstuff-Terminalserver (VM auf SSD), und X1 indexiert für
jeden User alle Dateien.

Ich habe eben nachgesehen, 4.967.566 Files! Nö du das funktioniert mit dem
Servertask super, sowas will ich nicht über Netzwerk indizieren müssen.
Hatte genug mit Kaspersky zu tun, die haben früher am Netzlaufwerk auch alle
Zip's gescannt wenn du in den Ordner rein bist, die PC User mussten immer
ewig warten bis er die Gigabytes an Zip's durch hatte.

Ich habe über 30 Mac's und 10 PC's oder so, die produzieren laufen neue
Files in der ganzen Hirachie verteilt, das wird über Netzwerk nichts.

Ich brauche nur ein neues Speichersystem und will den Mac virtualisieren
damit ich erstens nicht mehr auf Apples Hardware Ersatzteilabzocke
angewiesen bin und auch ausfallsicheren Service bieten kann. Mache ich es
virtuell dann brauch ich keine Teile mehr, mach ich es via iSCSI bleibt mir
immer noch der Mac an der backe kleben, von denen habe ich aber nur 2 Stück
noch in Reserve.

Frage ist, ist das stabil und macht das auch die 100 MB/s?

[Michael Logies]

On Mon, 09 Nov 2015 19:51:30 +0100, Lechner Richard

Post by Lechner Richard
Naja jeder hat seine Vorlieben und diese User wollen ihr Spotlite haben. Ich
werde mich da nicht gegen auflehnen sondern sie zufrieden stellen.

Dann sollten sie vielleicht noch HoudahSpot mögen, das Spotlight
erweitert.

Post by Lechner Richard
Ich habe eben nachgesehen, 4.967.566 Files! Nö du das funktioniert mit dem
Servertask super, sowas will ich nicht über Netzwerk indizieren müssen.

Wenn Du den Server virtualisierst, den Storage aber außerhalb der VM
hast, wirst Du übers Netzwerk indexieren. ;-) Ich denke, das
Problem des geringen Durchsatzes der VM-LAN-Schnittstelle kommt dann
wieder hoch.

Noch was:
http://www.apfeltalk.de/community/threads/spotlight-suche-auf-netzwerk-volume.479212/
(...)
gerne genommener Fehler: Spotlight hat keine Benutzerrechte auf der
Freigabe
älterer AppleBug: Indizierungen von eSATA/iSCSI Laufwerke wurden über
den Spotlight-Server nicht durchgereicht. Wäre zu testen ob das ggf.
auch für TB-RAIDs gilt. Der Workaround hiess, auf der lokalen
Startplatte einen Symlink zum Freigabeordner zu errichten. Dann war er
Inhalt der Freigabe Bestandteil des Index des lokalen Volumen und die
Weitergabe funktionierte.

Grüße

M.

[Lechner Richard]

Post by Michael Logies

Post by Lechner Richard
Naja jeder hat seine Vorlieben und diese User wollen ihr Spotlite haben.
Ich werde mich da nicht gegen auflehnen sondern sie zufrieden stellen.

Dann sollten sie vielleicht noch HoudahSpot mögen, das Spotlight
erweitert.

Nö das sieht zu kompliziert aus! Die "Creativen" wollen es schön einfach,
darum sind sie ja auch MAC User. :-)

Post by Michael Logies

Post by Lechner Richard
Ich habe eben nachgesehen, 4.967.566 Files! Nö du das funktioniert mit dem
Servertask super, sowas will ich nicht über Netzwerk indizieren müssen.

Wenn Du den Server virtualisierst, den Storage aber außerhalb der VM
hast, wirst Du übers Netzwerk indexieren. ;-) Ich denke, das
Problem des geringen Durchsatzes der VM-LAN-Schnittstelle kommt dann
wieder hoch.

Den Ceph-Storage kann man aber über 10 Gbit verkabeln und die VM hat dann
die VMD's über kvm gemountet. Einzig die LAN-Schnittstelle ist dann die
Frage, da muss ich erst noch auf unserem Cluster testen ob ich die auch voll
auslasten kann. Unter 100MB/s ist das nicht mehr akzeptabel für die Leute,
die möchten jetzt eh schon wieder was schnelleres.

Post by Michael Logies
gerne genommener Fehler: Spotlight hat keine Benutzerrechte auf der
Freigabe
älterer AppleBug: Indizierungen von eSATA/iSCSI Laufwerke wurden über
den Spotlight-Server nicht durchgereicht. Wäre zu testen ob das ggf.
auch für TB-RAIDs gilt. Der Workaround hiess, auf der lokalen
Startplatte einen Symlink zum Freigabeordner zu errichten. Dann war er
Inhalt der Freigabe Bestandteil des Index des lokalen Volumen und die
Weitergabe funktionierte.

Trifft mich alles nicht, sollte Spotlite mal hängen starte ich den
_Servertask_ neu und Stunden später sind alle wieder glücklich. Fehler die
ich nicht habe machen mir auch kein Kopfweh. :-)

Kopfweh hab ich nur mit den Ersatzteilen, der Speichergröße und dem
Wachstumstempo das die an den Tag legen, mit dem Bandroboter, mit dem
Netzwerkspeed und nicht zuletzt mit Apples bekacktem 16TB limit in AFP. :-(
Sonst gehts uns gut! :-)

[Michael Logies]

On Wed, 11 Nov 2015 09:34:59 +0100, Lechner Richard

Post by Lechner Richard
Einzig die LAN-Schnittstelle ist dann die
Frage, da muss ich erst noch auf unserem Cluster testen ob ich die auch voll
auslasten kann.

Könnte es etwas bringen, auf Hardware und in der VM zwei LAN-Karten zu
installieren?

Grüße

M.

[Lechner Richard]

Post by Michael Logies

Post by Lechner Richard
Einzig die LAN-Schnittstelle ist dann die
Frage, da muss ich erst noch auf unserem Cluster testen ob ich die auch
voll auslasten kann.

Könnte es etwas bringen, auf Hardware und in der VM zwei LAN-Karten zu
installieren?

Du meinst bounding? Wenn dann hilft das nur wenn er auf einem Strang die
100MB/s mindestens schafft. Weil mit 2 x 50MB/s oder so ist mir nicht
geholfen bei den Filegrößen.

Der Ceph bekommt sowieso sein 10Gbit Netzwerk getrennt vom normalen
LAN.Immerhin schreibt der ja alles 3fach.

[Michael Logies]

On Wed, 11 Nov 2015 10:33:01 +0100, Lechner Richard

Post by Lechner Richard

Post by Michael Logies
Könnte es etwas bringen, auf Hardware und in der VM zwei LAN-Karten zu
installieren?

Du meinst bounding?

Nicht zwingend. Indexierung sollte sich doch gut parallelisieren
lassen. Und zumindest zur parallelen Suche im Index schreibt Apple was
für Entwickler von Drittsoftware - keine Ahnung, ob Spotlight selbst
das kann:

https://developer.apple.com/library/mac/documentation/UserExperience/Conceptual/SearchKitConcepts/searchKit_tasks/searchKit_tasks.html
(...)
Using Timeout to Search an Index Group in Parallel

To search an index group in parallel you can use a separate thread for
querying each search object. Alternatively, as illustrated here, you
can repeatedly rotate through a set of search objects, querying one
and then moving on to the next, by using the timeout option in the
SKSearchFindMatches function.
(...)

Grüße

M.

[Lechner Richard]

Post by Michael Logies
Nicht zwingend. Indexierung sollte sich doch gut parallelisieren
lassen. Und zumindest zur parallelen Suche im Index schreibt Apple was
für Entwickler von Drittsoftware - keine Ahnung, ob Spotlight selbst

Hmm ohne bounding habe ich aber dann 2 verschieden
Servernamen/Adressen/Freigaben? Das kann ich nicht brauchen denn die
Indesignfiles enthalten ja Links zu den Bildern! Das wäre ein total
unbrauchbares gebastel!

Egal ich will sowieso nicht am Client rumeiern, das funktioniert ja derzeit
am Server! Wozu sollte ich das ändern? Um das Netz lahm zu legen?

Also alle Clientlösung sind tod ab jetzt, bitte nur mehr über
Virtualisierung nachdenken, oder eben via iSCSI auf den Ceph und mit AFP
freigeben, da habe ich dann aber immer noch die MAC-Hardware an der Backe!
:-(
Denn auch die neue Apple Hardware wird schnell veralten und die Apple
Teilepreise sind gleich mal wieder jenseits von gut und böse! :-(
Und ich weiss auch nicht wie sie mit AFP weiter machen, sie wollen ja nach
SMB aber deren SMBx ist zum kotz..! So einen Müll habe ich schon lange nicht
mehr gesehen, gut das Homebrew und Samba darauf noch läuft!

[Michael Logies]

On Wed, 11 Nov 2015 12:45:16 +0100, Lechner Richard

Post by Lechner Richard
Also alle Clientlösung sind tod ab jetzt, bitte nur mehr über
Virtualisierung nachdenken,

Also ich dachte daran, die VM mit dem Spotlightserver über 2 (oder
mehr) LAN-Karten (virtuell wie real) an den Ceph anzuschließen, um die
Indexierung zu beschleunigen. Und auf der anderen Seite muß der Server
mit den Clients kommunizieren, da können doch 2 oder mehr LAN-Karten
im Server nicht schaden? Der Prozessor der VM wird nicht der
Geschwindigkeitsengpaß werden, das RAM auch nicht, das Ceph mit 10
GBit nicht. Vermutlich also die virtuelle wie reale LAN-Anbindung des
Servers?
(Mit Systemen dieser Größenordnung kenne ich mich nicht aus. Bei mir
ist bei 3 VMs und 24 GB auf der Workstation Schluß.)

Grüße

M.

[Lechner Richard]

Post by Michael Logies
Also ich dachte daran, die VM mit dem Spotlightserver über 2 (oder
mehr) LAN-Karten (virtuell wie real) an den Ceph anzuschließen, um die
Indexierung zu beschleunigen. Und auf der anderen Seite muß der Server
mit den Clients kommunizieren, da können doch 2 oder mehr LAN-Karten
im Server nicht schaden? Der Prozessor der VM wird nicht der
Geschwindigkeitsengpaß werden, das RAM auch nicht, das Ceph mit 10
GBit nicht. Vermutlich also die virtuelle wie reale LAN-Anbindung des
Servers?
(Mit Systemen dieser Größenordnung kenne ich mich nicht aus. Bei mir
ist bei 3 VMs und 24 GB auf der Workstation Schluß.)

Ahh OK, jetzt versteh ich. Nein die virtuellen HD's mounte ich via
KVM/libvirt direkt als HD ins OSX, ohne Umweg über einen zusätzlichen
Netzwerktreiber.
Also ein Imagefile in den Ceph rein und via libvirt/KVM in die qemu-conf als
HD eintragen. So funktioniert es auf dem Mailcluster ohne Probleme.

Hast du denn OSX als VM's unter KVM laufen? Oder unter Vmware?

[Michael Logies]

On Wed, 11 Nov 2015 15:07:40 +0100, Lechner Richard

Post by Lechner Richard
Hast du denn OSX als VM's unter KVM laufen? Oder unter Vmware?

Nein, weder noch. Ich habe nur VMs mit und unter Windows am Laufen.

Grüße

M.

[Michael Logies]

On Wed, 11 Nov 2015 09:34:59 +0100, Lechner Richard

Post by Lechner Richard
Den Ceph-Storage kann man aber über 10 Gbit verkabeln und die VM hat dann
die VMD's über kvm gemountet. Einzig die LAN-Schnittstelle ist dann die
Frage, da muss ich erst noch auf unserem Cluster testen ob ich die auch voll
auslasten kann.

Unten die Situation der LAN-Schnittstellenkarten bei VMWare. Mit KVM
habe ich keine Erfahrungen - vielleicht lohnt da Recherche.

Grüße

M.

http://www.heise.de/netze/artikel/Emulierte-Netzwerkadapter-224208.html
(...)
VMwares Server stellt jeder VM bis zu vier virtuelle Netzkarten zur
Verfügung, die der Anwender über "VM ?> Settings ?> Hardware" zuweisen
oder entfernen kann. Die Software emuliert jeden NIC vollständig,
unabhängig von der tatsächlich eingebauten Hardware. VMs können für
Testzwecke sogar völlig ohne physische Adapter in virtuellen Netzen
Daten austauschen.

Standardmäßig emuliert VMware einen PCNet Adapter von AMD, für den
fast jedes Betriebssystem Treiber mitbringt. Dank Plug&Play
installiert das Gastsystem den Treiber automatisch, ohne einen
Unterschied zu realer Hardware festzustellen. Alle Protokolle, etwa
TCP/IP oder IPX/SPX, funktionieren wie gewohnt. Sind VMwares Tools im
Gast installiert, ersetzen sie den Standardtreiber mit einem
optimierten "VMware Accelerated AMD PCNet Adapter". Er bietet eine
bessere Leistung bei Gigabit-Ethernet und entlastet die Host-CPU.
Daneben emuliert VMware in 64-Bit-Gästen einen Intel PRO/1000 Adapter,
für den viele Gast-Betriebssysteme einen 64-Bit-Treiber liefern.

Die Anzeige der LAN-Geschwindigkeit im Gast ist übrigens rein
kosmetisch. Beim Standardtreiber beträgt sie immer nur 10 MBit/s,
obwohl das System die verfügbare Geschwindigkeit der physischen
Verbindung ausnutzt. Der optimierte Treiber zeigt dagegen immer 1
GBit/s an, selbst wenn der physische Link nur 100 MBit/s schnell ist.
(...)

[Lechner Richard]

Post by Michael Logies

Post by Lechner Richard
Den Ceph-Storage kann man aber über 10 Gbit verkabeln und die VM hat dann
die VMD's über kvm gemountet. Einzig die LAN-Schnittstelle ist dann die
Frage, da muss ich erst noch auf unserem Cluster testen ob ich die auch
voll auslasten kann.

Unten die Situation der LAN-Schnittstellenkarten bei VMWare. Mit KVM
habe ich keine Erfahrungen - vielleicht lohnt da Recherche.

Ich weiss! Dort steht ja auch ein Vmwarecluster mit 2 Raids, darauf lief
vorher ein Linux mit Netatalk und da schaffte Helios Lantest gerade mal 45
MB/s! Trotz installierter VmTools! Das ist zu schlecht!

Frage ist ob OSX unter KVM mehr schafft, zumindest die 100 MB/s muss es
bringen, das ist der Speed den die meisten Clients eingebaut haben.