<div class="socmaildefaultfont" dir="ltr" style="font-family:Arial, Helvetica, sans-serif;font-size:10pt" ><div dir="ltr" >Lukas,</div>
<div dir="ltr" > </div>
<div dir="ltr" >If you are hitting a crash on a kernel level prior to 3.10.0-1062.18.1, I recommend reporting it now. Depending on the nature of the problem, we may end up requesting recreating the problem with traces enabled.</div>
<div dir="ltr" > </div>
<div dir="ltr" >For crashes hit on 3.10.0-1062.18.1 or later, I recommend waiting for the fix.</div>
<div dir="ltr" > </div>
<div dir="ltr" >  Felipe</div>
<div dir="ltr" > </div>
<div dir="ltr" >----<br>Felipe Knop knop@us.ibm.com<br>GPFS Development and Security<br>IBM Systems<br>IBM Building 008<br>2455 South Rd, Poughkeepsie, NY 12601<br>(845) 433-9314 T/L 293-9314<br> </div>
<div dir="ltr" > </div>
<div dir="ltr" > </div>
<blockquote data-history-content-modified="1" data-history-expanded="1" dir="ltr" style="border-left:solid #aaaaaa 2px; margin-left:5px; padding-left:5px; direction:ltr; margin-right:0px" >----- Original message -----<br>From: Lukas Hejtmanek <xhejtman@ics.muni.cz><br>Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>To: gpfsug main discussion list <gpfsug-discuss@spectrumscale.org><br>Cc:<br>Subject: [EXTERNAL] Re: [gpfsug-discuss] Kernel crashes with Spectrum Scale and RHEL 7.7 3.10.0-1062.18.1.el7 kernel<br>Date: Wed, Apr 15, 2020 1:07 PM<br> 
<div><font size="2" face="Default Monospace,Courier New,Courier,monospace" >Should I report then or just wait to fix 18.1 problem and see whether older<br>ones are gone as well?<br><br>On Wed, Apr 15, 2020 at 04:51:02PM +0000, Felipe Knop wrote:<br>>    Lukas,<br>>     <br>>    There was one particular kernel change introduced in 3.10.0-1062.18.1 that<br>>    has triggered a given set of crashes. It's possible, though, that there is<br>>    a lingering problem affecting older levels of 3.10.0-1062. I believe that<br>>    crashes occurring on older kernels should be treated as separate problems.<br>>     <br>>      Felipe<br>>     <br>>    ----<br>>    Felipe Knop knop@us.ibm.com<br>>    GPFS Development and Security<br>>    IBM Systems<br>>    IBM Building 008<br>>    2455 South Rd, Poughkeepsie, NY 12601<br>>    (845) 433-9314 T/L 293-9314<br>>     <br>>     <br>>     <br>><br>>      ----- Original message -----<br>>      From: Lukas Hejtmanek <xhejtman@ics.muni.cz><br>>      Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>>      To: gpfsug main discussion list <gpfsug-discuss@spectrumscale.org><br>>      Cc:<br>>      Subject: [EXTERNAL] Re: [gpfsug-discuss] Kernel crashes with Spectrum<br>>      Scale and RHEL 7.7 3.10.0-1062.18.1.el7 kernel<br>>      Date: Wed, Apr 15, 2020 12:35 PM<br>>       <br>>      And are you sure it is present only in -1062.18.1.el7 kernel? I think it<br>>      is<br>>      present in all -1062.* kernels..<br>><br>>      On Wed, Apr 15, 2020 at 04:25:41PM +0000, Felipe Knop wrote:<br>>      >    Laurence,<br>>      >     <br>>      >    The problem affects all the Scale releases / PTFs.<br>>      >     <br>>      >      Felipe<br>>      >     <br>>      >    ----<br>>      >    Felipe Knop knop@us.ibm.com<br>>      >    GPFS Development and Security<br>>      >    IBM Systems<br>>      >    IBM Building 008<br>>      >    2455 South Rd, Poughkeepsie, NY 12601<br>>      >    (845) 433-9314 T/L 293-9314<br>>      >     <br>>      >     <br>>      >     <br>>      ><br>>      >      ----- Original message -----<br>>      >      From: "Schuler, Laurence (GSFC-606.4)[ADNET SYSTEMS INC]"<br>>      >      <laurence.schuler@nasa.gov><br>>      >      Sent by: gpfsug-discuss-bounces@spectrumscale.org<br>>      >      To: gpfsug main discussion list<br>>      <gpfsug-discuss@spectrumscale.org><br>>      >      Cc:<br>>      >      Subject: Re: [gpfsug-discuss] [EXTERNAL] Kernel crashes with<br>>      Spectrum<br>>      >      Scale and RHEL 7.7 3.10.0-1062.18.1.el7 kernel<br>>      >      Date: Wed, Apr 15, 2020 12:10 PM<br>>      >       <br>>      ><br>>      >      Will this impact *any* version of Spectrum Scale?<br>>      ><br>>      >       <br>>      ><br>>      >      -Laurence<br>>      ><br>>      >       <br>>      ><br>>      >      From: <gpfsug-discuss-bounces@spectrumscale.org> on behalf of<br>>      Felipe<br>>      >      Knop <knop@us.ibm.com><br>>      >      Reply-To: gpfsug main discussion list<br>>      <gpfsug-discuss@spectrumscale.org><br>>      >      Date: Wednesday, April 15, 2020 at 11:30 AM<br>>      >      To: "gpfsug-discuss@spectrumscale.org"<br>>      >      <gpfsug-discuss@spectrumscale.org><br>>      >      Subject: [EXTERNAL] [gpfsug-discuss] Kernel crashes with Spectrum<br>>      Scale<br>>      >      and RHEL 7.7 3.10.0-1062.18.1.el7 kernel<br>>      ><br>>      >       <br>>      ><br>>      >      All,<br>>      ><br>>      >       <br>>      ><br>>      >      A problem has been identified with Spectrum Scale when running on<br>>      RHEL<br>>      >      7.7 and kernel 3.10.0-1062.18.1.el7.  While a fix is being<br>>      currently<br>>      >      developed, customers should not move up to this kernel level.<br>>      ><br>>      >       <br>>      ><br>>      >      The new kernel was issued on March 17 via the following errata: <br>>      >      [1][1]<a href="https://access.redhat.com/errata/RHSA-2020:0834" target="_blank">https://access.redhat.com/errata/RHSA-2020:0834</a>  <br>>      ><br>>      >       <br>>      ><br>>      >      When this kernel is used with Scale, system crashes have been<br>>      observed.<br>>      >      The following are a couple of examples of kernel stack traces for<br>>      the<br>>      >      crash:<br>>      ><br>>      >       <br>>      ><br>>      >       <br>>      ><br>>      >      [ 2915.625015] BUG: unable to handle kernel NULL pointer<br>>      dereference at<br>>      >      0000000000000040<br>>      >      [ 2915.633770] IP: [<ffffffffc0e2cf90>]<br>>      >      cxiDropSambaDCacheEntry+0x190/0x1b0 [mmfslinux]<br>>      ><br>>      >      [ 2915.914097]  [<ffffffffc0e3d28c>] gpfs_i_rmdir+0x29c/0x310<br>>      >      [mmfslinux]<br>>      >      [ 2915.921381]  [<ffffffffb9663130>] ?<br>>      >      take_dentry_name_snapshot+0xf0/0xf0<br>>      >      [ 2915.928760]  [<ffffffffb9664f60>] ?<br>>      shrink_dcache_parent+0x60/0x90<br>>      >      [ 2915.935656]  [<ffffffffb96577cc>] vfs_rmdir+0xdc/0x150<br>>      >      [ 2915.941388]  [<ffffffffb965cca1>] do_rmdir+0x1f1/0x220<br>>      >      [ 2915.947119]  [<ffffffffb964ce66>] ? __fput+0x186/0x260<br>>      >      [ 2915.952849]  [<ffffffffb964d02e>] ? ____fput+0xe/0x10<br>>      >      [ 2915.958484]  [<ffffffffb94c2e60>] ? task_work_run+0xc0/0xe0<br>>      >      [ 2915.964701]  [<ffffffffb965df05>] SyS_unlinkat+0x25/0x40<br>>      ><br>>      >       <br>>      ><br>>      >      [1224278.495993] [<ffffffff88e63918>] __dentry_kill+0x128/0x190<br>>      >      [1224278.496678] [<ffffffff88e63a36>] dput+0xb6/0x1a0<br>>      >      [1224278.497378] [<ffffffff88e64116>] d_prune_aliases+0xb6/0xf0<br>>      >      [1224278.498083] [<ffffffffc0c2c0ea>]<br>>      cxiPruneDCacheEntry+0x13a/0x1c0<br>>      >      [mmfslinux]<br>>      >      [1224278.498798] [<ffffffffc0eba608>]<br>>      >      _ZN10gpfsNode_t16invalidateOSNodeEPS_Pvij+0x108/0x350 [mmfs26]<br>>      ><br>>      >       <br>>      ><br>>      >       <br>>      ><br>>      >      RHEL 7.8 is also impacted by the same problem, but validation of<br>>      Scale<br>>      >      with 7.8 is still under way.<br>>      ><br>>      >       <br>>      ><br>>      >       <br>>      ><br>>      >        Felipe<br>>      ><br>>      >       <br>>      ><br>>      >      ----<br>>      >      Felipe Knop knop@us.ibm.com<br>>      >      GPFS Development and Security<br>>      >      IBM Systems<br>>      >      IBM Building 008<br>>      >      2455 South Rd, Poughkeepsie, NY 12601<br>>      >      (845) 433-9314 T/L 293-9314<br>>      >       <br>>      ><br>>      >       <br>>      >      _______________________________________________<br>>      >      gpfsug-discuss mailing list<br>>      >      gpfsug-discuss at spectrumscale.org<br>>      >      [2][2]<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a>  <br>>      ><br>>      >     <br>>      ><br>>      > References<br>>      ><br>>      >    Visible links<br>>      >    1. [3]<a href="https://access.redhat.com/errata/RHSA-2020:0834" target="_blank">https://access.redhat.com/errata/RHSA-2020:0834</a>  <br>>      >    2. [4]<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a>  <br>><br>>      > _______________________________________________<br>>      > gpfsug-discuss mailing list<br>>      > gpfsug-discuss at spectrumscale.org<br>>      > [5]<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a>  <br>><br>>      --<br>>      Lukáš Hejtmánek<br>><br>>      Linux Administrator only because<br>>        Full Time Multitasking Ninja<br>>        is not an official job title<br>>      _______________________________________________<br>>      gpfsug-discuss mailing list<br>>      gpfsug-discuss at spectrumscale.org<br>>      [6]<a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a>  <br>>       <br>><br>>     <br>><br>> References<br>><br>>    Visible links<br>>    1. <a href="https://access.redhat.com/errata/RHSA-2020:0834" target="_blank">https://access.redhat.com/errata/RHSA-2020:0834</a> <br>>    2. <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a> <br>>    3. <a href="https://access.redhat.com/errata/RHSA-2020:0834" target="_blank">https://access.redhat.com/errata/RHSA-2020:0834</a> <br>>    4. <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a> <br>>    5. <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a> <br>>    6. <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a> <br><br>> _______________________________________________<br>> gpfsug-discuss mailing list<br>> gpfsug-discuss at spectrumscale.org<br>> <a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a> <br><br><br>--<br>Lukáš Hejtmánek<br><br>Linux Administrator only because<br>  Full Time Multitasking Ninja<br>  is not an official job title<br>_______________________________________________<br>gpfsug-discuss mailing list<br>gpfsug-discuss at spectrumscale.org<br><a href="http://gpfsug.org/mailman/listinfo/gpfsug-discuss" target="_blank">http://gpfsug.org/mailman/listinfo/gpfsug-discuss</a> </font><br> </div></blockquote>
<div dir="ltr" > </div></div><BR>