OpenCL/m01440_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA256_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "inc_hash_constants.h"
  11 #include "inc_vendor.cl"
  12
  13 #define DGST_R0 3
  14 #define DGST_R1 7
  15 #define DGST_R2 2
  16 #define DGST_R3 6
  17
  18 #include "inc_hash_functions.cl"
  19 #include "inc_types.cl"
  20 #include "inc_common.cl"
  21 #include "inc_simd.cl"
  22
  23 void m01440m (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset)
  24 {
  25   /**
  26    * modifier
  27    */
  28
  29   const u32 gid = get_global_id (0);
  30   const u32 lid = get_local_id (0);
  31
  32   /**
  33    * salt
  34    */
  35
  36   u32 salt_buf0[4];
  37   u32 salt_buf1[4];
  38   u32 salt_buf2[4];
  39   u32 salt_buf3[4];
  40
  41   salt_buf0[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 0]);
  42   salt_buf0[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 1]);
  43   salt_buf0[2] = swap32_S (salt_bufs[salt_pos].salt_buf[ 2]);
  44   salt_buf0[3] = swap32_S (salt_bufs[salt_pos].salt_buf[ 3]);
  45   salt_buf1[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 4]);
  46   salt_buf1[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 5]);
  47   salt_buf1[2] = swap32_S (salt_bufs[salt_pos].salt_buf[ 6]);
  48   salt_buf1[3] = swap32_S (salt_bufs[salt_pos].salt_buf[ 7]);
  49   salt_buf2[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 8]);
  50   salt_buf2[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 9]);
  51   salt_buf2[2] = swap32_S (salt_bufs[salt_pos].salt_buf[10]);
  52   salt_buf2[3] = swap32_S (salt_bufs[salt_pos].salt_buf[11]);
  53   salt_buf3[0] = swap32_S (salt_bufs[salt_pos].salt_buf[12]);
  54   salt_buf3[1] = swap32_S (salt_bufs[salt_pos].salt_buf[13]);
  55   salt_buf3[2] = swap32_S (salt_bufs[salt_pos].salt_buf[14]);
  56   salt_buf3[3] = swap32_S (salt_bufs[salt_pos].salt_buf[15]);
  57
  58   const u32 salt_len = salt_bufs[salt_pos].salt_len;
  59
  60   const u32 pw_salt_len = pw_len + salt_len;
  61
  62   /**
  63    * prepend salt
  64    */
  65
  66   const u32 w0l = w0[0];
  67
  68   switch_buffer_by_offset_be_S (w0, w1, w2, w3, salt_len);
  69
  70   w0[0] |= salt_buf0[0];
  71   w0[1] |= salt_buf0[1];
  72   w0[2] |= salt_buf0[2];
  73   w0[3] |= salt_buf0[3];
  74   w1[0] |= salt_buf1[0];
  75   w1[1] |= salt_buf1[1];
  76   w1[2] |= salt_buf1[2];
  77   w1[3] |= salt_buf1[3];
  78   w2[0] |= salt_buf2[0];
  79   w2[1] |= salt_buf2[1];
  80   w2[2] |= salt_buf2[2];
  81   w2[3] |= salt_buf2[3];
  82   w3[0] |= salt_buf3[0];
  83   w3[1] |= salt_buf3[1];
  84   w3[2] |= salt_buf3[2];
  85   w3[3] |= salt_buf3[3];
  86
  87   u32x t0[4];
  88   u32x t1[4];
  89   u32x t2[4];
  90   u32x t3[4];
  91
  92   t0[0] = w0[0];
  93   t0[1] = w0[1];
  94   t0[2] = w0[2];
  95   t0[3] = w0[3];
  96   t1[0] = w1[0];
  97   t1[1] = w1[1];
  98   t1[2] = w1[2];
  99   t1[3] = w1[3];
 100   t2[0] = w2[0];
 101   t2[1] = w2[1];
 102   t2[2] = w2[2];
 103   t2[3] = w2[3];
 104   t3[0] = w3[0];
 105   t3[1] = w3[1];
 106   t3[2] = w3[2];
 107   t3[3] = w3[3];
 108
 109   /**
 110    * loop
 111    */
 112
 113   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 114   {
 115     const u32x w0r = ix_create_bft (bfs_buf, il_pos);
 116
 117     const u32x w0lr = w0l | w0r;
 118
 119     overwrite_at_be_4x4 (t0, t1, t2, t3, w0lr, salt_len);
 120
 121     /**
 122      * sha256
 123      */
 124
 125     u32x w0_t = t0[0];
 126     u32x w1_t = t0[1];
 127     u32x w2_t = t0[2];
 128     u32x w3_t = t0[3];
 129     u32x w4_t = t1[0];
 130     u32x w5_t = t1[1];
 131     u32x w6_t = t1[2];
 132     u32x w7_t = t1[3];
 133     u32x w8_t = t2[0];
 134     u32x w9_t = t2[1];
 135     u32x wa_t = t2[2];
 136     u32x wb_t = t2[3];
 137     u32x wc_t = t3[0];
 138     u32x wd_t = t3[1];
 139     u32x we_t = 0;
 140     u32x wf_t = pw_salt_len * 8;
 141
 142     u32x a = SHA256M_A;
 143     u32x b = SHA256M_B;
 144     u32x c = SHA256M_C;
 145     u32x d = SHA256M_D;
 146     u32x e = SHA256M_E;
 147     u32x f = SHA256M_F;
 148     u32x g = SHA256M_G;
 149     u32x h = SHA256M_H;
 150
 151     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C00);
 152     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C01);
 153     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C02);
 154     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C03);
 155     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C04);
 156     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C05);
 157     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C06);
 158     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C07);
 159     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C08);
 160     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C09);
 161     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C0a);
 162     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C0b);
 163     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C0c);
 164     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C0d);
 165     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C0e);
 166     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C0f);
 167
 168     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C10);
 169     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C11);
 170     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C12);
 171     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C13);
 172     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C14);
 173     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C15);
 174     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C16);
 175     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C17);
 176     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C18);
 177     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C19);
 178     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C1a);
 179     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C1b);
 180     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C1c);
 181     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C1d);
 182     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C1e);
 183     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C1f);
 184
 185     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C20);
 186     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C21);
 187     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C22);
 188     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C23);
 189     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C24);
 190     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C25);
 191     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C26);
 192     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C27);
 193     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C28);
 194     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C29);
 195     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C2a);
 196     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C2b);
 197     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C2c);
 198     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C2d);
 199     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C2e);
 200     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C2f);
 201
 202     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C30);
 203     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C31);
 204     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C32);
 205     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C33);
 206     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C34);
 207     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C35);
 208     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C36);
 209     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C37);
 210     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C38);
 211     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C39);
 212     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C3a);
 213     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C3b);
 214     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C3c);
 215     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C3d);
 216     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C3e);
 217     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C3f);
 218
 219     COMPARE_M_SIMD (d, h, c, g);
 220   }
 221 }
 222
 223 void m01440s (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset)
 224 {
 225   /**
 226    * modifier
 227    */
 228
 229   const u32 gid = get_global_id (0);
 230   const u32 lid = get_local_id (0);
 231
 232   /**
 233    * digest
 234    */
 235
 236   const u32 search[4] =
 237   {
 238     digests_buf[digests_offset].digest_buf[DGST_R0],
 239     digests_buf[digests_offset].digest_buf[DGST_R1],
 240     digests_buf[digests_offset].digest_buf[DGST_R2],
 241     digests_buf[digests_offset].digest_buf[DGST_R3]
 242   };
 243
 244   /**
 245    * salt
 246    */
 247
 248   u32 salt_buf0[4];
 249   u32 salt_buf1[4];
 250   u32 salt_buf2[4];
 251   u32 salt_buf3[4];
 252
 253   salt_buf0[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 0]);
 254   salt_buf0[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 1]);
 255   salt_buf0[2] = swap32_S (salt_bufs[salt_pos].salt_buf[ 2]);
 256   salt_buf0[3] = swap32_S (salt_bufs[salt_pos].salt_buf[ 3]);
 257   salt_buf1[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 4]);
 258   salt_buf1[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 5]);
 259   salt_buf1[2] = swap32_S (salt_bufs[salt_pos].salt_buf[ 6]);
 260   salt_buf1[3] = swap32_S (salt_bufs[salt_pos].salt_buf[ 7]);
 261   salt_buf2[0] = swap32_S (salt_bufs[salt_pos].salt_buf[ 8]);
 262   salt_buf2[1] = swap32_S (salt_bufs[salt_pos].salt_buf[ 9]);
 263   salt_buf2[2] = swap32_S (salt_bufs[salt_pos].salt_buf[10]);
 264   salt_buf2[3] = swap32_S (salt_bufs[salt_pos].salt_buf[11]);
 265   salt_buf3[0] = swap32_S (salt_bufs[salt_pos].salt_buf[12]);
 266   salt_buf3[1] = swap32_S (salt_bufs[salt_pos].salt_buf[13]);
 267   salt_buf3[2] = swap32_S (salt_bufs[salt_pos].salt_buf[14]);
 268   salt_buf3[3] = swap32_S (salt_bufs[salt_pos].salt_buf[15]);
 269
 270   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 271
 272   const u32 pw_salt_len = pw_len + salt_len;
 273
 274   /**
 275    * prepend salt
 276    */
 277
 278   const u32 w0l = w0[0];
 279
 280   switch_buffer_by_offset_be_S (w0, w1, w2, w3, salt_len);
 281
 282   w0[0] |= salt_buf0[0];
 283   w0[1] |= salt_buf0[1];
 284   w0[2] |= salt_buf0[2];
 285   w0[3] |= salt_buf0[3];
 286   w1[0] |= salt_buf1[0];
 287   w1[1] |= salt_buf1[1];
 288   w1[2] |= salt_buf1[2];
 289   w1[3] |= salt_buf1[3];
 290   w2[0] |= salt_buf2[0];
 291   w2[1] |= salt_buf2[1];
 292   w2[2] |= salt_buf2[2];
 293   w2[3] |= salt_buf2[3];
 294   w3[0] |= salt_buf3[0];
 295   w3[1] |= salt_buf3[1];
 296   w3[2] |= salt_buf3[2];
 297   w3[3] |= salt_buf3[3];
 298
 299   u32x t0[4];
 300   u32x t1[4];
 301   u32x t2[4];
 302   u32x t3[4];
 303
 304   t0[0] = w0[0];
 305   t0[1] = w0[1];
 306   t0[2] = w0[2];
 307   t0[3] = w0[3];
 308   t1[0] = w1[0];
 309   t1[1] = w1[1];
 310   t1[2] = w1[2];
 311   t1[3] = w1[3];
 312   t2[0] = w2[0];
 313   t2[1] = w2[1];
 314   t2[2] = w2[2];
 315   t2[3] = w2[3];
 316   t3[0] = w3[0];
 317   t3[1] = w3[1];
 318   t3[2] = w3[2];
 319   t3[3] = w3[3];
 320
 321   /**
 322    * loop
 323    */
 324
 325   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 326   {
 327     const u32x w0r = ix_create_bft (bfs_buf, il_pos);
 328
 329     const u32x w0lr = w0l | w0r;
 330
 331     overwrite_at_be_4x4 (t0, t1, t2, t3, w0lr, salt_len);
 332
 333     /**
 334      * sha256
 335      */
 336
 337     u32x w0_t = t0[0];
 338     u32x w1_t = t0[1];
 339     u32x w2_t = t0[2];
 340     u32x w3_t = t0[3];
 341     u32x w4_t = t1[0];
 342     u32x w5_t = t1[1];
 343     u32x w6_t = t1[2];
 344     u32x w7_t = t1[3];
 345     u32x w8_t = t2[0];
 346     u32x w9_t = t2[1];
 347     u32x wa_t = t2[2];
 348     u32x wb_t = t2[3];
 349     u32x wc_t = t3[0];
 350     u32x wd_t = t3[1];
 351     u32x we_t = 0;
 352     u32x wf_t = pw_salt_len * 8;
 353
 354     u32x a = SHA256M_A;
 355     u32x b = SHA256M_B;
 356     u32x c = SHA256M_C;
 357     u32x d = SHA256M_D;
 358     u32x e = SHA256M_E;
 359     u32x f = SHA256M_F;
 360     u32x g = SHA256M_G;
 361     u32x h = SHA256M_H;
 362
 363     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C00);
 364     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C01);
 365     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C02);
 366     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C03);
 367     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C04);
 368     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C05);
 369     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C06);
 370     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C07);
 371     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C08);
 372     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C09);
 373     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C0a);
 374     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C0b);
 375     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C0c);
 376     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C0d);
 377     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C0e);
 378     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C0f);
 379
 380     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C10);
 381     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C11);
 382     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C12);
 383     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C13);
 384     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C14);
 385     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C15);
 386     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C16);
 387     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C17);
 388     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C18);
 389     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C19);
 390     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C1a);
 391     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C1b);
 392     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C1c);
 393     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C1d);
 394     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C1e);
 395     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C1f);
 396
 397     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C20);
 398     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C21);
 399     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C22);
 400     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C23);
 401     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C24);
 402     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C25);
 403     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C26);
 404     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C27);
 405     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C28);
 406     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C29);
 407     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C2a);
 408     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C2b);
 409     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C2c);
 410     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C2d);
 411     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C2e);
 412     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C2f);
 413
 414     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C30);
 415     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C31);
 416     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C32);
 417     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C33);
 418     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C34);
 419     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C35);
 420     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C36);
 421     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C37);
 422     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C38);
 423     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C39);
 424     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C3a);
 425     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C3b);
 426     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C3c);
 427
 428     if (MATCHES_NONE_VS (d, search[0])) continue;
 429
 430     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C3d);
 431     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C3e);
 432     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C3f);
 433
 434     COMPARE_S_SIMD (d, h, c, g);
 435   }
 436 }
 437
 438 __kernel void m01440_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 439 {
 440   /**
 441    * base
 442    */
 443
 444   const u32 gid = get_global_id (0);
 445
 446   if (gid >= gid_max) return;
 447
 448   u32 w0[4];
 449
 450   w0[0] = pws[gid].i[ 0];
 451   w0[1] = pws[gid].i[ 1];
 452   w0[2] = pws[gid].i[ 2];
 453   w0[3] = pws[gid].i[ 3];
 454
 455   u32 w1[4];
 456
 457   w1[0] = 0;
 458   w1[1] = 0;
 459   w1[2] = 0;
 460   w1[3] = 0;
 461
 462   u32 w2[4];
 463
 464   w2[0] = 0;
 465   w2[1] = 0;
 466   w2[2] = 0;
 467   w2[3] = 0;
 468
 469   u32 w3[4];
 470
 471   w3[0] = 0;
 472   w3[1] = 0;
 473   w3[2] = 0;
 474   w3[3] = 0;
 475
 476   const u32 pw_len = pws[gid].pw_len;
 477
 478   /**
 479    * main
 480    */
 481
 482   m01440m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 483 }
 484
 485 __kernel void m01440_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 486 {
 487   /**
 488    * base
 489    */
 490
 491   const u32 gid = get_global_id (0);
 492
 493   if (gid >= gid_max) return;
 494
 495   u32 w0[4];
 496
 497   w0[0] = pws[gid].i[ 0];
 498   w0[1] = pws[gid].i[ 1];
 499   w0[2] = pws[gid].i[ 2];
 500   w0[3] = pws[gid].i[ 3];
 501
 502   u32 w1[4];
 503
 504   w1[0] = pws[gid].i[ 4];
 505   w1[1] = pws[gid].i[ 5];
 506   w1[2] = pws[gid].i[ 6];
 507   w1[3] = pws[gid].i[ 7];
 508
 509   u32 w2[4];
 510
 511   w2[0] = 0;
 512   w2[1] = 0;
 513   w2[2] = 0;
 514   w2[3] = 0;
 515
 516   u32 w3[4];
 517
 518   w3[0] = 0;
 519   w3[1] = 0;
 520   w3[2] = 0;
 521   w3[3] = 0;
 522
 523   const u32 pw_len = pws[gid].pw_len;
 524
 525   /**
 526    * main
 527    */
 528
 529   m01440m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 530 }
 531
 532 __kernel void m01440_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 533 {
 534   /**
 535    * base
 536    */
 537
 538   const u32 gid = get_global_id (0);
 539
 540   if (gid >= gid_max) return;
 541
 542   u32 w0[4];
 543
 544   w0[0] = pws[gid].i[ 0];
 545   w0[1] = pws[gid].i[ 1];
 546   w0[2] = pws[gid].i[ 2];
 547   w0[3] = pws[gid].i[ 3];
 548
 549   u32 w1[4];
 550
 551   w1[0] = pws[gid].i[ 4];
 552   w1[1] = pws[gid].i[ 5];
 553   w1[2] = pws[gid].i[ 6];
 554   w1[3] = pws[gid].i[ 7];
 555
 556   u32 w2[4];
 557
 558   w2[0] = pws[gid].i[ 8];
 559   w2[1] = pws[gid].i[ 9];
 560   w2[2] = pws[gid].i[10];
 561   w2[3] = pws[gid].i[11];
 562
 563   u32 w3[4];
 564
 565   w3[0] = pws[gid].i[12];
 566   w3[1] = pws[gid].i[13];
 567   w3[2] = 0;
 568   w3[3] = 0;
 569
 570   const u32 pw_len = pws[gid].pw_len;
 571
 572   /**
 573    * main
 574    */
 575
 576   m01440m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 577 }
 578
 579 __kernel void m01440_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 580 {
 581   /**
 582    * base
 583    */
 584
 585   const u32 gid = get_global_id (0);
 586
 587   if (gid >= gid_max) return;
 588
 589   u32 w0[4];
 590
 591   w0[0] = pws[gid].i[ 0];
 592   w0[1] = pws[gid].i[ 1];
 593   w0[2] = pws[gid].i[ 2];
 594   w0[3] = pws[gid].i[ 3];
 595
 596   u32 w1[4];
 597
 598   w1[0] = 0;
 599   w1[1] = 0;
 600   w1[2] = 0;
 601   w1[3] = 0;
 602
 603   u32 w2[4];
 604
 605   w2[0] = 0;
 606   w2[1] = 0;
 607   w2[2] = 0;
 608   w2[3] = 0;
 609
 610   u32 w3[4];
 611
 612   w3[0] = 0;
 613   w3[1] = 0;
 614   w3[2] = 0;
 615   w3[3] = 0;
 616
 617   const u32 pw_len = pws[gid].pw_len;
 618
 619   /**
 620    * main
 621    */
 622
 623   m01440s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 624 }
 625
 626 __kernel void m01440_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 627 {
 628   /**
 629    * base
 630    */
 631
 632   const u32 gid = get_global_id (0);
 633
 634   if (gid >= gid_max) return;
 635
 636   u32 w0[4];
 637
 638   w0[0] = pws[gid].i[ 0];
 639   w0[1] = pws[gid].i[ 1];
 640   w0[2] = pws[gid].i[ 2];
 641   w0[3] = pws[gid].i[ 3];
 642
 643   u32 w1[4];
 644
 645   w1[0] = pws[gid].i[ 4];
 646   w1[1] = pws[gid].i[ 5];
 647   w1[2] = pws[gid].i[ 6];
 648   w1[3] = pws[gid].i[ 7];
 649
 650   u32 w2[4];
 651
 652   w2[0] = 0;
 653   w2[1] = 0;
 654   w2[2] = 0;
 655   w2[3] = 0;
 656
 657   u32 w3[4];
 658
 659   w3[0] = 0;
 660   w3[1] = 0;
 661   w3[2] = 0;
 662   w3[3] = 0;
 663
 664   const u32 pw_len = pws[gid].pw_len;
 665
 666   /**
 667    * main
 668    */
 669
 670   m01440s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 671 }
 672
 673 __kernel void m01440_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 674 {
 675   /**
 676    * base
 677    */
 678
 679   const u32 gid = get_global_id (0);
 680
 681   if (gid >= gid_max) return;
 682
 683   u32 w0[4];
 684
 685   w0[0] = pws[gid].i[ 0];
 686   w0[1] = pws[gid].i[ 1];
 687   w0[2] = pws[gid].i[ 2];
 688   w0[3] = pws[gid].i[ 3];
 689
 690   u32 w1[4];
 691
 692   w1[0] = pws[gid].i[ 4];
 693   w1[1] = pws[gid].i[ 5];
 694   w1[2] = pws[gid].i[ 6];
 695   w1[3] = pws[gid].i[ 7];
 696
 697   u32 w2[4];
 698
 699   w2[0] = pws[gid].i[ 8];
 700   w2[1] = pws[gid].i[ 9];
 701   w2[2] = pws[gid].i[10];
 702   w2[3] = pws[gid].i[11];
 703
 704   u32 w3[4];
 705
 706   w3[0] = pws[gid].i[12];
 707   w3[1] = pws[gid].i[13];
 708   w3[2] = 0;
 709   w3[3] = 0;
 710
 711   const u32 pw_len = pws[gid].pw_len;
 712
 713   /**
 714    * main
 715    */
 716
 717   m01440s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset);
 718 }