<font size=2 face="sans-serif">yes... to add some more details .... </font><br><font size=2 face="sans-serif">even though it might be very theoretical,

that only some nodes from the foreign cluster 'll suffer from connection

issues, the rule to react up on expel request is</font><br><br><font size=2 face="sans-serif">A) if the requested node is really unreachable

(or in trouble) ... the node will loose the disk lease after next lease

period anyway -  so the clsmgr will expel that node </font><br><font size=2 face="sans-serif">B) if the node is (from the perspective

of clsmgr) still healthy ... then the clsmgr decides smth like this</font><br><br><img src=cid:_1_DDE1DBE4DDE1D60C004846BAC1258220 style="border:0px solid;"><br><font size=2 face="sans-serif">So the "remote" nodes gets

expelled first .</font><br><font size=2 face="sans-serif">please keep in mind... even your local

file system / disk access might get in trouble if token revokes/tokem msg

can't be send or 're delayed .. </font><br><br><br><br><br><br><br><font size=1 color=#5f5f5f face="sans-serif">From:      

 </font><font size=1 face="sans-serif">"Achim Rehor"

<Achim.Rehor@de.ibm.com></font><br><font size=1 color=#5f5f5f face="sans-serif">To:      

 </font><font size=1 face="sans-serif">gpfsug main discussion

list <gpfsug-discuss@spectrumscale.org></font><br><font size=1 color=#5f5f5f face="sans-serif">Date:      

 </font><font size=1 face="sans-serif">01/25/2018 11:24 AM</font><br><font size=1 color=#5f5f5f face="sans-serif">Subject:    

   </font><font size=1 face="sans-serif">Re: [gpfsug-discuss]

storage-based replication for Spectrum Scale</font><br><font size=1 color=#5f5f5f face="sans-serif">Sent by:    

   </font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><br><hr noshade><br><br><br><font size=2 face="sans-serif">John, </font><font size=3><br></font><font size=2 face="sans-serif"><br>yes, they definitely can!<br>Nodes in a remote cluster are tob viewed just as local nodes in terms of

taking part in the mechanisms of access to data.<br>Token management will be done just as with local nodes. </font><font size=3><br></font><font size=2 face="sans-serif"><br>So if one node in cluster A recognizes a communication issue with a node

in cluster B, it will let the clustermgr know, <br>and that one then decides on whether to expel one or the other.</font><font size=3><br></font><font size=2 face="sans-serif"><br>Having a remote cluster connected relies on a stable and low latency network,

just as a local cluster does.<br>if your network is not reliable, you woudl go for AFM or other replication

mechanisms (as the thread title implies;) ) </font><font size=3><br></font><font size=1 face="Arial"><br><br>Mit freundlichen Grüßen / Kind regards</font><p><font size=2 face="Arial"><b>Achim Rehor</b></font><p><table width=600 style="border-collapse:collapse;"><tr height=8><td width=598 colspan=4 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><div align=center><hr noshade></div><tr height=8><td width=598 colspan=4 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 face="Arial"> </font><tr height=8><td width=491 colspan=3 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 face="Arial">Software

Technical Support Specialist AIX/ Emea HPC Support</font><td width=104 rowspan=10 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><div align=right><img align=bottom src=cid:_1_F259290CF25924F0004846BAC1258220 width=103 height=164 style="border:0px solid;"></div><tr height=8><td width=491 colspan=3 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 face="Arial">IBM

Certified Advanced Technical Expert - Power Systems with AIX</font><tr height=8><td width=491 colspan=3 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 face="Arial">TSCC

Software Service, Dept. 7922</font><tr height=8><td width=491 colspan=3 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 face="Arial">Global

Technology Services </font><tr height=8><td width=491 colspan=3 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><div align=center><hr noshade></div><tr height=8><td width=43 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial">Phone:</font><td width=195 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial">+49-7034-274-7862</font><td width=248 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> IBM

Deutschland</font><tr height=8><td width=43 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial">E-Mail:</font><td width=195 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial">Achim.Rehor@de.ibm.com</font><td width=248 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> Am

Weiher 24</font><tr height=8><td width=43 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> </font><td width=195 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> </font><td width=248 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> 65451

Kelsterbach</font><tr height=8><td width=43 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> </font><td width=195 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> </font><td width=248 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> Germany</font><tr height=8><td width=43 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> </font><td width=195 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> </font><td width=248 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#0060a0 face="Arial"> </font><tr height=8><td width=598 colspan=4 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><div align=center><hr noshade></div><tr height=8><td width=598 colspan=4 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 face="Arial"> </font><tr height=8><td width=598 colspan=4 style="border-style:none none none none;border-color:#000000;border-width:0px 0px 0px 0px;padding:1px 1px;"><font size=1 color=#a2a2a2 face="Arial">IBM

Deutschland GmbH / Vorsitzender des Aufsichtsrats: Martin Jetter <br>Geschäftsführung: Martin Hartmann (Vorsitzender), Norbert Janzen, Stefan

Lutz, Nicole Reimer, Dr. Klaus Seifert, Wolfgang Wendt  Sitz der Gesellschaft: Ehningen / Registergericht: Amtsgericht Stuttgart,

HRB 14562 WEEE-Reg.-Nr. DE 99369940 </font></table><br><p><font size=3> <br><br><br></font><font size=1 color=#5f5f5f face="sans-serif"><br>From:        </font><font size=1 face="sans-serif">John

Hearns <john.hearns@asml.com></font><font size=1 color=#5f5f5f face="sans-serif"><br>To:        </font><font size=1 face="sans-serif">gpfsug

main discussion list <gpfsug-discuss@spectrumscale.org></font><font size=1 color=#5f5f5f face="sans-serif"><br>Date:        </font><font size=1 face="sans-serif">25/01/2018

10:53</font><font size=1 color=#5f5f5f face="sans-serif"><br>Subject:        </font><font size=1 face="sans-serif">Re:

[gpfsug-discuss] storage-based replication for Spectrum Scale</font><font size=1 color=#5f5f5f face="sans-serif"><br>Sent by:        </font><font size=1 face="sans-serif">gpfsug-discuss-bounces@spectrumscale.org</font><font size=3><br></font><hr noshade><font size=3><br><br></font><font size=2 face="Calibri"><br>Jan Frode, thankyou for that link.<br> <br>I have a general question regarding remote GPFS filesystems.<br>If we have two clusters, in separate locations on separate Infiniband fabrics,<br>we can set up a remote relationship between filesystems.<br> <br>As Valdis discusses, what happens if the IP link between the clusters goes

down or is unstable?<br>Can nodes in one cluster vote out nodes in the other cluster?<br> <br> <br> <b><br>From:</b> gpfsug-discuss-bounces@spectrumscale.org [</font><a href="mailto:gpfsug-discuss-bounces@spectrumscale.org"><font size=2 color=blue face="Calibri"><u>mailto:gpfsug-discuss-bounces@spectrumscale.org</u></font></a><font size=2 face="Calibri">]

<b>On Behalf Of </b>Jan-Frode Myklebust<b><br>Sent:</b> Wednesday, January 24, 2018 8:08 AM<b><br>To:</b> gpfsug main discussion list <gpfsug-discuss@spectrumscale.org><b><br>Subject:</b> Re: [gpfsug-discuss] storage-based replication for Spectrum

Scale     Have you seen <a href="https://emea01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.ibm.com%2Fsupport%2Fknowledgecenter%2Fen%2FSTXKQY_4.2.0%2Fcom.ibm.spectrum.scale.v4r2.adv.doc%2Fbl1adv_dr.htm&data=01%7C01%7Cjohn.hearns%40asml.com%7C1e23d7bb660147eab5c908d562f93422%7Caf73baa8f5944eb2a39d93e96cad61fc%7C1&sdata=iFBORcGPjln9bDh1d2vpOHAvjHAZuiNguvNwZSMJJ2g%3D&reserved=0"><font size=2 color=blue face="Calibri">https://www.ibm.com/support/knowledgecenter/en/STXKQY_4.2.0/com.ibm.spectrum.scale.v4r2.adv.doc/bl1adv_dr.htm</a><font size=2 face="Calibri">?

Seems to cover what you’re looking for..<br> <br> <br>  -jf<br> <br>ons. 24. jan. 2018 kl. 07:33 skrev Harold Morales <</font><a href=mailto:hmorales@optimizeit.co><font size=2 color=blue face="Calibri"><u>hmorales@optimizeit.co</u></font></a><font size=2 face="Calibri">>:</font><font size=3 face="Tahoma"><br>Thanks for answering.<br> <br>Essentially, the idea being explored is to replicate LUNs between identical

storage hardware (HP 3PAR volumesrein) on both sites. There is an IP connection

between storage boxes but not between servers on both sites, there is a

dark fiber connecting both sites. Here they dont want to explore the idea

of a scaled-based.</font><font size=2 face="Calibri"><br> <br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at </font><a href="https://emea01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fspectrumscale.org&data=01%7C01%7Cjohn.hearns%40asml.com%7C1e23d7bb660147eab5c908d562f93422%7Caf73baa8f5944eb2a39d93e96cad61fc%7C1&sdata=FVtmqVGOzo12QBMwvPxDS2Sl%2BXWJefLI5K73S7hT%2Fzw%3D&reserved=0" target=_blank><font size=2 color=blue face="Calibri"><u>spectrumscale.org</u></font></a><font size=3 color=blue><u><br></u></font><a href="https://emea01.safelinks.protection.outlook.com/?url=http%3A%2F%2Fgpfsug.org%2Fmailman%2Flistinfo%2Fgpfsug-discuss&data=01%7C01%7Cjohn.hearns%40asml.com%7C1e23d7bb660147eab5c908d562f93422%7Caf73baa8f5944eb2a39d93e96cad61fc%7C1&sdata=iHSD5viqbXERH%2B9KaoPl12KeihSW0s4REJw%2F8T2MYBU%3D&reserved=0" target=_blank><font size=2 color=blue face="Calibri"><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></a><p><font size=3>-- The information contained in this communication and

any attachments is confidential and may be privileged, and is for the sole

use of the intended recipient(s). Any unauthorized review, use, disclosure

or distribution is prohibited. Unless explicitly stated otherwise in the

body of this communication or the attachment thereto (if any), the information

is provided on an AS-IS basis without any express or implied warranties

or liabilities. To the extent you are relying on this information, you

are doing so at your own risk. If you are not the intended recipient, please

notify the sender immediately by replying to this message and destroy all

copies of this message and any attachments. Neither the sender nor the

company/group of companies he or she represents shall be liable for the

proper and complete transmission of the information contained in this communication,

or for any delay in its receipt. </font><tt><font size=2>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org</font></tt><font size=3 color=blue><u><br></u></font><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2 color=blue><u>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</u></font></tt></a><p><tt><font size=2>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br></font></tt><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss"><tt><font size=2>http://gpfsug.org/mailman/listinfo/gpfsug-discuss</font></tt></a><tt><font size=2><br></font></tt><p><p><BR>