OpenCL/m01410_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA256_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "inc_vendor.cl"
  11 #include "inc_hash_constants.h"
  12 #include "inc_hash_functions.cl"
  13 #include "inc_types.cl"
  14 #include "inc_common.cl"
  15 #include "inc_simd.cl"
  16
  17 __kernel void m01410_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  18 {
  19   /**
  20    * modifier
  21    */
  22
  23   const u32 lid = get_local_id (0);
  24
  25   /**
  26    * base
  27    */
  28
  29   const u32 gid = get_global_id (0);
  30
  31   if (gid >= gid_max) return;
  32
  33   u32 pw_buf0[4];
  34   u32 pw_buf1[4];
  35
  36   pw_buf0[0] = pws[gid].i[0];
  37   pw_buf0[1] = pws[gid].i[1];
  38   pw_buf0[2] = pws[gid].i[2];
  39   pw_buf0[3] = pws[gid].i[3];
  40   pw_buf1[0] = pws[gid].i[4];
  41   pw_buf1[1] = pws[gid].i[5];
  42   pw_buf1[2] = pws[gid].i[6];
  43   pw_buf1[3] = pws[gid].i[7];
  44
  45   const u32 pw_l_len = pws[gid].pw_len;
  46
  47   /**
  48    * salt
  49    */
  50
  51   u32 salt_buf0[4];
  52   u32 salt_buf1[4];
  53   u32 salt_buf2[4];
  54   u32 salt_buf3[4];
  55
  56   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
  57   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
  58   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
  59   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
  60   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
  61   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
  62   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
  63   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
  64   salt_buf2[0] = salt_bufs[salt_pos].salt_buf[ 8];
  65   salt_buf2[1] = salt_bufs[salt_pos].salt_buf[ 9];
  66   salt_buf2[2] = salt_bufs[salt_pos].salt_buf[10];
  67   salt_buf2[3] = salt_bufs[salt_pos].salt_buf[11];
  68   salt_buf3[0] = salt_bufs[salt_pos].salt_buf[12];
  69   salt_buf3[1] = salt_bufs[salt_pos].salt_buf[13];
  70   salt_buf3[2] = salt_bufs[salt_pos].salt_buf[14];
  71   salt_buf3[3] = salt_bufs[salt_pos].salt_buf[15];
  72
  73   const u32 salt_len = salt_bufs[salt_pos].salt_len;
  74
  75   /**
  76    * loop
  77    */
  78
  79   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
  80   {
  81     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
  82
  83     const u32x pw_len = pw_l_len + pw_r_len;
  84
  85     /**
  86      * concat password candidate
  87      */
  88
  89     u32x wordl0[4] = { 0 };
  90     u32x wordl1[4] = { 0 };
  91     u32x wordl2[4] = { 0 };
  92     u32x wordl3[4] = { 0 };
  93
  94     wordl0[0] = pw_buf0[0];
  95     wordl0[1] = pw_buf0[1];
  96     wordl0[2] = pw_buf0[2];
  97     wordl0[3] = pw_buf0[3];
  98     wordl1[0] = pw_buf1[0];
  99     wordl1[1] = pw_buf1[1];
 100     wordl1[2] = pw_buf1[2];
 101     wordl1[3] = pw_buf1[3];
 102
 103     u32x wordr0[4] = { 0 };
 104     u32x wordr1[4] = { 0 };
 105     u32x wordr2[4] = { 0 };
 106     u32x wordr3[4] = { 0 };
 107
 108     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 109     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 110     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 111     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 112     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 113     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 114     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 115     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 116
 117     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 118     {
 119       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 120     }
 121     else
 122     {
 123       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 124     }
 125
 126     u32x w0[4];
 127     u32x w1[4];
 128     u32x w2[4];
 129     u32x w3[4];
 130
 131     w0[0] = wordl0[0] | wordr0[0];
 132     w0[1] = wordl0[1] | wordr0[1];
 133     w0[2] = wordl0[2] | wordr0[2];
 134     w0[3] = wordl0[3] | wordr0[3];
 135     w1[0] = wordl1[0] | wordr1[0];
 136     w1[1] = wordl1[1] | wordr1[1];
 137     w1[2] = wordl1[2] | wordr1[2];
 138     w1[3] = wordl1[3] | wordr1[3];
 139     w2[0] = wordl2[0] | wordr2[0];
 140     w2[1] = wordl2[1] | wordr2[1];
 141     w2[2] = wordl2[2] | wordr2[2];
 142     w2[3] = wordl2[3] | wordr2[3];
 143     w3[0] = wordl3[0] | wordr3[0];
 144     w3[1] = wordl3[1] | wordr3[1];
 145     w3[2] = wordl3[2] | wordr3[2];
 146     w3[3] = wordl3[3] | wordr3[3];
 147
 148     /**
 149      * append salt
 150      */
 151
 152     u32x s0[4];
 153     u32x s1[4];
 154     u32x s2[4];
 155     u32x s3[4];
 156
 157     s0[0] = salt_buf0[0];
 158     s0[1] = salt_buf0[1];
 159     s0[2] = salt_buf0[2];
 160     s0[3] = salt_buf0[3];
 161     s1[0] = salt_buf1[0];
 162     s1[1] = salt_buf1[1];
 163     s1[2] = salt_buf1[2];
 164     s1[3] = salt_buf1[3];
 165     s2[0] = salt_buf2[0];
 166     s2[1] = salt_buf2[1];
 167     s2[2] = salt_buf2[2];
 168     s2[3] = salt_buf2[3];
 169     s3[0] = salt_buf3[0];
 170     s3[1] = salt_buf3[1];
 171     s3[2] = salt_buf3[2];
 172     s3[3] = salt_buf3[3];
 173
 174     switch_buffer_by_offset_le_VV (s0, s1, s2, s3, pw_len);
 175
 176     const u32x pw_salt_len = pw_len + salt_len;
 177
 178     w0[0] |= s0[0];
 179     w0[1] |= s0[1];
 180     w0[2] |= s0[2];
 181     w0[3] |= s0[3];
 182     w1[0] |= s1[0];
 183     w1[1] |= s1[1];
 184     w1[2] |= s1[2];
 185     w1[3] |= s1[3];
 186     w2[0] |= s2[0];
 187     w2[1] |= s2[1];
 188     w2[2] |= s2[2];
 189     w2[3] |= s2[3];
 190     w3[0] |= s3[0];
 191     w3[1] |= s3[1];
 192     w3[2] |= s3[2];
 193     w3[3] |= s3[3];
 194
 195     /**
 196      * sha256
 197      */
 198
 199     u32x w0_t = swap32 (w0[0]);
 200     u32x w1_t = swap32 (w0[1]);
 201     u32x w2_t = swap32 (w0[2]);
 202     u32x w3_t = swap32 (w0[3]);
 203     u32x w4_t = swap32 (w1[0]);
 204     u32x w5_t = swap32 (w1[1]);
 205     u32x w6_t = swap32 (w1[2]);
 206     u32x w7_t = swap32 (w1[3]);
 207     u32x w8_t = swap32 (w2[0]);
 208     u32x w9_t = swap32 (w2[1]);
 209     u32x wa_t = swap32 (w2[2]);
 210     u32x wb_t = swap32 (w2[3]);
 211     u32x wc_t = swap32 (w3[0]);
 212     u32x wd_t = swap32 (w3[1]);
 213     u32x we_t = 0;
 214     u32x wf_t = pw_salt_len * 8;
 215
 216     u32x a = SHA256M_A;
 217     u32x b = SHA256M_B;
 218     u32x c = SHA256M_C;
 219     u32x d = SHA256M_D;
 220     u32x e = SHA256M_E;
 221     u32x f = SHA256M_F;
 222     u32x g = SHA256M_G;
 223     u32x h = SHA256M_H;
 224
 225     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C00);
 226     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C01);
 227     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C02);
 228     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C03);
 229     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C04);
 230     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C05);
 231     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C06);
 232     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C07);
 233     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C08);
 234     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C09);
 235     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C0a);
 236     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C0b);
 237     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C0c);
 238     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C0d);
 239     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C0e);
 240     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C0f);
 241
 242     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C10);
 243     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C11);
 244     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C12);
 245     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C13);
 246     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C14);
 247     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C15);
 248     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C16);
 249     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C17);
 250     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C18);
 251     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C19);
 252     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C1a);
 253     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C1b);
 254     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C1c);
 255     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C1d);
 256     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C1e);
 257     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C1f);
 258
 259     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C20);
 260     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C21);
 261     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C22);
 262     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C23);
 263     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C24);
 264     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C25);
 265     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C26);
 266     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C27);
 267     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C28);
 268     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C29);
 269     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C2a);
 270     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C2b);
 271     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C2c);
 272     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C2d);
 273     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C2e);
 274     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C2f);
 275
 276     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C30);
 277     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C31);
 278     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C32);
 279     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C33);
 280     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C34);
 281     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C35);
 282     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C36);
 283     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C37);
 284     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C38);
 285     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C39);
 286     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C3a);
 287     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C3b);
 288     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C3c);
 289     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C3d);
 290     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C3e);
 291     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C3f);
 292
 293     COMPARE_M_SIMD (d, h, c, g);
 294   }
 295 }
 296
 297 __kernel void m01410_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 298 {
 299 }
 300
 301 __kernel void m01410_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 302 {
 303 }
 304
 305 __kernel void m01410_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 306 {
 307   /**
 308    * modifier
 309    */
 310
 311   const u32 lid = get_local_id (0);
 312
 313   /**
 314    * base
 315    */
 316
 317   const u32 gid = get_global_id (0);
 318
 319   if (gid >= gid_max) return;
 320
 321   u32 pw_buf0[4];
 322   u32 pw_buf1[4];
 323
 324   pw_buf0[0] = pws[gid].i[0];
 325   pw_buf0[1] = pws[gid].i[1];
 326   pw_buf0[2] = pws[gid].i[2];
 327   pw_buf0[3] = pws[gid].i[3];
 328   pw_buf1[0] = pws[gid].i[4];
 329   pw_buf1[1] = pws[gid].i[5];
 330   pw_buf1[2] = pws[gid].i[6];
 331   pw_buf1[3] = pws[gid].i[7];
 332
 333   const u32 pw_l_len = pws[gid].pw_len;
 334
 335   /**
 336    * salt
 337    */
 338
 339   u32 salt_buf0[4];
 340   u32 salt_buf1[4];
 341   u32 salt_buf2[4];
 342   u32 salt_buf3[4];
 343
 344   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
 345   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
 346   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
 347   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
 348   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
 349   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
 350   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
 351   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
 352   salt_buf2[0] = salt_bufs[salt_pos].salt_buf[ 8];
 353   salt_buf2[1] = salt_bufs[salt_pos].salt_buf[ 9];
 354   salt_buf2[2] = salt_bufs[salt_pos].salt_buf[10];
 355   salt_buf2[3] = salt_bufs[salt_pos].salt_buf[11];
 356   salt_buf3[0] = salt_bufs[salt_pos].salt_buf[12];
 357   salt_buf3[1] = salt_bufs[salt_pos].salt_buf[13];
 358   salt_buf3[2] = salt_bufs[salt_pos].salt_buf[14];
 359   salt_buf3[3] = salt_bufs[salt_pos].salt_buf[15];
 360
 361   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 362
 363   /**
 364    * digest
 365    */
 366
 367   const u32 search[4] =
 368   {
 369     digests_buf[digests_offset].digest_buf[DGST_R0],
 370     digests_buf[digests_offset].digest_buf[DGST_R1],
 371     digests_buf[digests_offset].digest_buf[DGST_R2],
 372     digests_buf[digests_offset].digest_buf[DGST_R3]
 373   };
 374
 375   /**
 376    * loop
 377    */
 378
 379   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 380   {
 381     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 382
 383     const u32x pw_len = pw_l_len + pw_r_len;
 384
 385     /**
 386      * concat password candidate
 387      */
 388
 389     u32x wordl0[4] = { 0 };
 390     u32x wordl1[4] = { 0 };
 391     u32x wordl2[4] = { 0 };
 392     u32x wordl3[4] = { 0 };
 393
 394     wordl0[0] = pw_buf0[0];
 395     wordl0[1] = pw_buf0[1];
 396     wordl0[2] = pw_buf0[2];
 397     wordl0[3] = pw_buf0[3];
 398     wordl1[0] = pw_buf1[0];
 399     wordl1[1] = pw_buf1[1];
 400     wordl1[2] = pw_buf1[2];
 401     wordl1[3] = pw_buf1[3];
 402
 403     u32x wordr0[4] = { 0 };
 404     u32x wordr1[4] = { 0 };
 405     u32x wordr2[4] = { 0 };
 406     u32x wordr3[4] = { 0 };
 407
 408     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 409     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 410     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 411     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 412     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 413     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 414     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 415     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 416
 417     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 418     {
 419       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 420     }
 421     else
 422     {
 423       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 424     }
 425
 426     u32x w0[4];
 427     u32x w1[4];
 428     u32x w2[4];
 429     u32x w3[4];
 430
 431     w0[0] = wordl0[0] | wordr0[0];
 432     w0[1] = wordl0[1] | wordr0[1];
 433     w0[2] = wordl0[2] | wordr0[2];
 434     w0[3] = wordl0[3] | wordr0[3];
 435     w1[0] = wordl1[0] | wordr1[0];
 436     w1[1] = wordl1[1] | wordr1[1];
 437     w1[2] = wordl1[2] | wordr1[2];
 438     w1[3] = wordl1[3] | wordr1[3];
 439     w2[0] = wordl2[0] | wordr2[0];
 440     w2[1] = wordl2[1] | wordr2[1];
 441     w2[2] = wordl2[2] | wordr2[2];
 442     w2[3] = wordl2[3] | wordr2[3];
 443     w3[0] = wordl3[0] | wordr3[0];
 444     w3[1] = wordl3[1] | wordr3[1];
 445     w3[2] = wordl3[2] | wordr3[2];
 446     w3[3] = wordl3[3] | wordr3[3];
 447
 448     /**
 449      * append salt
 450      */
 451
 452     u32x s0[4];
 453     u32x s1[4];
 454     u32x s2[4];
 455     u32x s3[4];
 456
 457     s0[0] = salt_buf0[0];
 458     s0[1] = salt_buf0[1];
 459     s0[2] = salt_buf0[2];
 460     s0[3] = salt_buf0[3];
 461     s1[0] = salt_buf1[0];
 462     s1[1] = salt_buf1[1];
 463     s1[2] = salt_buf1[2];
 464     s1[3] = salt_buf1[3];
 465     s2[0] = salt_buf2[0];
 466     s2[1] = salt_buf2[1];
 467     s2[2] = salt_buf2[2];
 468     s2[3] = salt_buf2[3];
 469     s3[0] = salt_buf3[0];
 470     s3[1] = salt_buf3[1];
 471     s3[2] = salt_buf3[2];
 472     s3[3] = salt_buf3[3];
 473
 474     switch_buffer_by_offset_le_VV (s0, s1, s2, s3, pw_len);
 475
 476     const u32x pw_salt_len = pw_len + salt_len;
 477
 478     w0[0] |= s0[0];
 479     w0[1] |= s0[1];
 480     w0[2] |= s0[2];
 481     w0[3] |= s0[3];
 482     w1[0] |= s1[0];
 483     w1[1] |= s1[1];
 484     w1[2] |= s1[2];
 485     w1[3] |= s1[3];
 486     w2[0] |= s2[0];
 487     w2[1] |= s2[1];
 488     w2[2] |= s2[2];
 489     w2[3] |= s2[3];
 490     w3[0] |= s3[0];
 491     w3[1] |= s3[1];
 492     w3[2] |= s3[2];
 493     w3[3] |= s3[3];
 494
 495     /**
 496      * sha256
 497      */
 498
 499     u32x w0_t = swap32 (w0[0]);
 500     u32x w1_t = swap32 (w0[1]);
 501     u32x w2_t = swap32 (w0[2]);
 502     u32x w3_t = swap32 (w0[3]);
 503     u32x w4_t = swap32 (w1[0]);
 504     u32x w5_t = swap32 (w1[1]);
 505     u32x w6_t = swap32 (w1[2]);
 506     u32x w7_t = swap32 (w1[3]);
 507     u32x w8_t = swap32 (w2[0]);
 508     u32x w9_t = swap32 (w2[1]);
 509     u32x wa_t = swap32 (w2[2]);
 510     u32x wb_t = swap32 (w2[3]);
 511     u32x wc_t = swap32 (w3[0]);
 512     u32x wd_t = swap32 (w3[1]);
 513     u32x we_t = 0;
 514     u32x wf_t = pw_salt_len * 8;
 515
 516     u32x a = SHA256M_A;
 517     u32x b = SHA256M_B;
 518     u32x c = SHA256M_C;
 519     u32x d = SHA256M_D;
 520     u32x e = SHA256M_E;
 521     u32x f = SHA256M_F;
 522     u32x g = SHA256M_G;
 523     u32x h = SHA256M_H;
 524
 525     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C00);
 526     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C01);
 527     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C02);
 528     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C03);
 529     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C04);
 530     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C05);
 531     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C06);
 532     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C07);
 533     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C08);
 534     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C09);
 535     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C0a);
 536     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C0b);
 537     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C0c);
 538     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C0d);
 539     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C0e);
 540     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C0f);
 541
 542     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C10);
 543     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C11);
 544     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C12);
 545     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C13);
 546     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C14);
 547     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C15);
 548     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C16);
 549     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C17);
 550     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C18);
 551     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C19);
 552     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C1a);
 553     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C1b);
 554     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C1c);
 555     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C1d);
 556     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C1e);
 557     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C1f);
 558
 559     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C20);
 560     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C21);
 561     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C22);
 562     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C23);
 563     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C24);
 564     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C25);
 565     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C26);
 566     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C27);
 567     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C28);
 568     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C29);
 569     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C2a);
 570     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C2b);
 571     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C2c);
 572     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C2d);
 573     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C2e);
 574     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C2f);
 575
 576     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C30);
 577     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C31);
 578     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C32);
 579     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C33);
 580     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C34);
 581     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C35);
 582     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C36);
 583     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C37);
 584     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C38);
 585     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C39);
 586     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C3a);
 587     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C3b);
 588     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C3c);
 589
 590     if (MATCHES_NONE_VS (d, search[0])) continue;
 591
 592     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C3d);
 593     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C3e);
 594     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C3f);
 595
 596     COMPARE_S_SIMD (d, h, c, g);
 597   }
 598 }
 599
 600 __kernel void m01410_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 601 {
 602 }
 603
 604 __kernel void m01410_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 605 {
 606 }