OpenCL/m00110_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA1_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "inc_hash_constants.h"
  11 #include "inc_vendor.cl"
  12
  13 #define DGST_R0 3
  14 #define DGST_R1 4
  15 #define DGST_R2 2
  16 #define DGST_R3 1
  17
  18 #include "inc_hash_functions.cl"
  19 #include "inc_types.cl"
  20 #include "inc_common.cl"
  21 #include "inc_simd.cl"
  22
  23 __kernel void m00110_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  24 {
  25   /**
  26    * modifier
  27    */
  28
  29   const u32 lid = get_local_id (0);
  30
  31   /**
  32    * base
  33    */
  34
  35   const u32 gid = get_global_id (0);
  36
  37   if (gid >= gid_max) return;
  38
  39   u32 pw_buf0[4];
  40   u32 pw_buf1[4];
  41
  42   pw_buf0[0] = pws[gid].i[0];
  43   pw_buf0[1] = pws[gid].i[1];
  44   pw_buf0[2] = pws[gid].i[2];
  45   pw_buf0[3] = pws[gid].i[3];
  46   pw_buf1[0] = pws[gid].i[4];
  47   pw_buf1[1] = pws[gid].i[5];
  48   pw_buf1[2] = pws[gid].i[6];
  49   pw_buf1[3] = pws[gid].i[7];
  50
  51   const u32 pw_l_len = pws[gid].pw_len;
  52
  53   /**
  54    * salt
  55    */
  56
  57   u32 salt_buf0[4];
  58   u32 salt_buf1[4];
  59   u32 salt_buf2[4];
  60   u32 salt_buf3[4];
  61
  62   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
  63   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
  64   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
  65   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
  66   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
  67   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
  68   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
  69   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
  70   salt_buf2[0] = salt_bufs[salt_pos].salt_buf[ 8];
  71   salt_buf2[1] = salt_bufs[salt_pos].salt_buf[ 9];
  72   salt_buf2[2] = salt_bufs[salt_pos].salt_buf[10];
  73   salt_buf2[3] = salt_bufs[salt_pos].salt_buf[11];
  74   salt_buf3[0] = salt_bufs[salt_pos].salt_buf[12];
  75   salt_buf3[1] = salt_bufs[salt_pos].salt_buf[13];
  76   salt_buf3[2] = salt_bufs[salt_pos].salt_buf[14];
  77   salt_buf3[3] = salt_bufs[salt_pos].salt_buf[15];
  78
  79   const u32 salt_len = salt_bufs[salt_pos].salt_len;
  80
  81   /**
  82    * loop
  83    */
  84
  85   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
  86   {
  87     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
  88
  89     const u32x pw_len = pw_l_len + pw_r_len;
  90
  91     /**
  92      * concat password candidate
  93      */
  94
  95     u32x wordl0[4] = { 0 };
  96     u32x wordl1[4] = { 0 };
  97     u32x wordl2[4] = { 0 };
  98     u32x wordl3[4] = { 0 };
  99
 100     wordl0[0] = pw_buf0[0];
 101     wordl0[1] = pw_buf0[1];
 102     wordl0[2] = pw_buf0[2];
 103     wordl0[3] = pw_buf0[3];
 104     wordl1[0] = pw_buf1[0];
 105     wordl1[1] = pw_buf1[1];
 106     wordl1[2] = pw_buf1[2];
 107     wordl1[3] = pw_buf1[3];
 108
 109     u32x wordr0[4] = { 0 };
 110     u32x wordr1[4] = { 0 };
 111     u32x wordr2[4] = { 0 };
 112     u32x wordr3[4] = { 0 };
 113
 114     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 115     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 116     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 117     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 118     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 119     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 120     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 121     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 122
 123     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 124     {
 125       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 126     }
 127     else
 128     {
 129       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 130     }
 131
 132     u32x w0[4];
 133     u32x w1[4];
 134     u32x w2[4];
 135     u32x w3[4];
 136
 137     w0[0] = wordl0[0] | wordr0[0];
 138     w0[1] = wordl0[1] | wordr0[1];
 139     w0[2] = wordl0[2] | wordr0[2];
 140     w0[3] = wordl0[3] | wordr0[3];
 141     w1[0] = wordl1[0] | wordr1[0];
 142     w1[1] = wordl1[1] | wordr1[1];
 143     w1[2] = wordl1[2] | wordr1[2];
 144     w1[3] = wordl1[3] | wordr1[3];
 145     w2[0] = wordl2[0] | wordr2[0];
 146     w2[1] = wordl2[1] | wordr2[1];
 147     w2[2] = wordl2[2] | wordr2[2];
 148     w2[3] = wordl2[3] | wordr2[3];
 149     w3[0] = wordl3[0] | wordr3[0];
 150     w3[1] = wordl3[1] | wordr3[1];
 151     w3[2] = wordl3[2] | wordr3[2];
 152     w3[3] = wordl3[3] | wordr3[3];
 153
 154     /**
 155      * append salt
 156      */
 157
 158     u32x s0[4];
 159     u32x s1[4];
 160     u32x s2[4];
 161     u32x s3[4];
 162
 163     s0[0] = salt_buf0[0];
 164     s0[1] = salt_buf0[1];
 165     s0[2] = salt_buf0[2];
 166     s0[3] = salt_buf0[3];
 167     s1[0] = salt_buf1[0];
 168     s1[1] = salt_buf1[1];
 169     s1[2] = salt_buf1[2];
 170     s1[3] = salt_buf1[3];
 171     s2[0] = salt_buf2[0];
 172     s2[1] = salt_buf2[1];
 173     s2[2] = salt_buf2[2];
 174     s2[3] = salt_buf2[3];
 175     s3[0] = salt_buf3[0];
 176     s3[1] = salt_buf3[1];
 177     s3[2] = salt_buf3[2];
 178     s3[3] = salt_buf3[3];
 179
 180     switch_buffer_by_offset_le_VV (s0, s1, s2, s3, pw_len);
 181
 182     const u32x pw_salt_len = pw_len + salt_len;
 183
 184     w0[0] |= s0[0];
 185     w0[1] |= s0[1];
 186     w0[2] |= s0[2];
 187     w0[3] |= s0[3];
 188     w1[0] |= s1[0];
 189     w1[1] |= s1[1];
 190     w1[2] |= s1[2];
 191     w1[3] |= s1[3];
 192     w2[0] |= s2[0];
 193     w2[1] |= s2[1];
 194     w2[2] |= s2[2];
 195     w2[3] |= s2[3];
 196     w3[0] |= s3[0];
 197     w3[1] |= s3[1];
 198     w3[2] |= s3[2];
 199     w3[3] |= s3[3];
 200
 201     /**
 202      * sha1
 203      */
 204
 205     u32x w0_t = swap32 (w0[0]);
 206     u32x w1_t = swap32 (w0[1]);
 207     u32x w2_t = swap32 (w0[2]);
 208     u32x w3_t = swap32 (w0[3]);
 209     u32x w4_t = swap32 (w1[0]);
 210     u32x w5_t = swap32 (w1[1]);
 211     u32x w6_t = swap32 (w1[2]);
 212     u32x w7_t = swap32 (w1[3]);
 213     u32x w8_t = swap32 (w2[0]);
 214     u32x w9_t = swap32 (w2[1]);
 215     u32x wa_t = swap32 (w2[2]);
 216     u32x wb_t = swap32 (w2[3]);
 217     u32x wc_t = swap32 (w3[0]);
 218     u32x wd_t = swap32 (w3[1]);
 219     u32x we_t = 0;
 220     u32x wf_t = pw_salt_len * 8;
 221
 222     u32x a = SHA1M_A;
 223     u32x b = SHA1M_B;
 224     u32x c = SHA1M_C;
 225     u32x d = SHA1M_D;
 226     u32x e = SHA1M_E;
 227
 228     #undef K
 229     #define K SHA1C00
 230
 231     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 232     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 233     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 234     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 235     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 236     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 237     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 238     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 239     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 240     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 241     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 242     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 243     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 244     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 245     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 246     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 247     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 248     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 249     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 250     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 251
 252     #undef K
 253     #define K SHA1C01
 254
 255     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 256     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 257     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 258     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 259     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 260     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 261     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 262     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 263     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 264     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 265     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 266     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 267     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 268     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 269     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 270     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 271     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 272     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 273     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 274     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 275
 276     #undef K
 277     #define K SHA1C02
 278
 279     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 280     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 281     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 282     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 283     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 284     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 285     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 286     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 287     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 288     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 289     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 290     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 291     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 292     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 293     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 294     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 295     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 296     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 297     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 298     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 299
 300     #undef K
 301     #define K SHA1C03
 302
 303     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 304     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 305     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 306     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 307     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 308     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 309     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 310     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 311     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 312     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 313     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 314     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 315     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 316     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 317     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 318     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 319     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 320     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 321     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 322     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 323
 324     COMPARE_M_SIMD (d, e, c, b);
 325   }
 326 }
 327
 328 __kernel void m00110_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 329 {
 330 }
 331
 332 __kernel void m00110_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 333 {
 334 }
 335
 336 __kernel void m00110_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 337 {
 338   /**
 339    * modifier
 340    */
 341
 342   const u32 lid = get_local_id (0);
 343
 344   /**
 345    * base
 346    */
 347
 348   const u32 gid = get_global_id (0);
 349
 350   if (gid >= gid_max) return;
 351
 352   u32 pw_buf0[4];
 353   u32 pw_buf1[4];
 354
 355   pw_buf0[0] = pws[gid].i[0];
 356   pw_buf0[1] = pws[gid].i[1];
 357   pw_buf0[2] = pws[gid].i[2];
 358   pw_buf0[3] = pws[gid].i[3];
 359   pw_buf1[0] = pws[gid].i[4];
 360   pw_buf1[1] = pws[gid].i[5];
 361   pw_buf1[2] = pws[gid].i[6];
 362   pw_buf1[3] = pws[gid].i[7];
 363
 364   const u32 pw_l_len = pws[gid].pw_len;
 365
 366   /**
 367    * salt
 368    */
 369
 370   u32 salt_buf0[4];
 371   u32 salt_buf1[4];
 372   u32 salt_buf2[4];
 373   u32 salt_buf3[4];
 374
 375   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
 376   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
 377   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
 378   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
 379   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
 380   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
 381   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
 382   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
 383   salt_buf2[0] = salt_bufs[salt_pos].salt_buf[ 8];
 384   salt_buf2[1] = salt_bufs[salt_pos].salt_buf[ 9];
 385   salt_buf2[2] = salt_bufs[salt_pos].salt_buf[10];
 386   salt_buf2[3] = salt_bufs[salt_pos].salt_buf[11];
 387   salt_buf3[0] = salt_bufs[salt_pos].salt_buf[12];
 388   salt_buf3[1] = salt_bufs[salt_pos].salt_buf[13];
 389   salt_buf3[2] = salt_bufs[salt_pos].salt_buf[14];
 390   salt_buf3[3] = salt_bufs[salt_pos].salt_buf[15];
 391
 392   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 393
 394   /**
 395    * digest
 396    */
 397
 398   const u32 search[4] =
 399   {
 400     digests_buf[digests_offset].digest_buf[DGST_R0],
 401     digests_buf[digests_offset].digest_buf[DGST_R1],
 402     digests_buf[digests_offset].digest_buf[DGST_R2],
 403     digests_buf[digests_offset].digest_buf[DGST_R3]
 404   };
 405
 406   /**
 407    * reverse
 408    */
 409
 410   const u32 e_rev = rotl32_S (search[1], 2u);
 411
 412   /**
 413    * loop
 414    */
 415
 416   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 417   {
 418     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 419
 420     const u32x pw_len = pw_l_len + pw_r_len;
 421
 422     /**
 423      * concat password candidate
 424      */
 425
 426     u32x wordl0[4] = { 0 };
 427     u32x wordl1[4] = { 0 };
 428     u32x wordl2[4] = { 0 };
 429     u32x wordl3[4] = { 0 };
 430
 431     wordl0[0] = pw_buf0[0];
 432     wordl0[1] = pw_buf0[1];
 433     wordl0[2] = pw_buf0[2];
 434     wordl0[3] = pw_buf0[3];
 435     wordl1[0] = pw_buf1[0];
 436     wordl1[1] = pw_buf1[1];
 437     wordl1[2] = pw_buf1[2];
 438     wordl1[3] = pw_buf1[3];
 439
 440     u32x wordr0[4] = { 0 };
 441     u32x wordr1[4] = { 0 };
 442     u32x wordr2[4] = { 0 };
 443     u32x wordr3[4] = { 0 };
 444
 445     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 446     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 447     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 448     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 449     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 450     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 451     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 452     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 453
 454     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 455     {
 456       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 457     }
 458     else
 459     {
 460       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 461     }
 462
 463     u32x w0[4];
 464     u32x w1[4];
 465     u32x w2[4];
 466     u32x w3[4];
 467
 468     w0[0] = wordl0[0] | wordr0[0];
 469     w0[1] = wordl0[1] | wordr0[1];
 470     w0[2] = wordl0[2] | wordr0[2];
 471     w0[3] = wordl0[3] | wordr0[3];
 472     w1[0] = wordl1[0] | wordr1[0];
 473     w1[1] = wordl1[1] | wordr1[1];
 474     w1[2] = wordl1[2] | wordr1[2];
 475     w1[3] = wordl1[3] | wordr1[3];
 476     w2[0] = wordl2[0] | wordr2[0];
 477     w2[1] = wordl2[1] | wordr2[1];
 478     w2[2] = wordl2[2] | wordr2[2];
 479     w2[3] = wordl2[3] | wordr2[3];
 480     w3[0] = wordl3[0] | wordr3[0];
 481     w3[1] = wordl3[1] | wordr3[1];
 482     w3[2] = wordl3[2] | wordr3[2];
 483     w3[3] = wordl3[3] | wordr3[3];
 484
 485     /**
 486      * append salt
 487      */
 488
 489     u32x s0[4];
 490     u32x s1[4];
 491     u32x s2[4];
 492     u32x s3[4];
 493
 494     s0[0] = salt_buf0[0];
 495     s0[1] = salt_buf0[1];
 496     s0[2] = salt_buf0[2];
 497     s0[3] = salt_buf0[3];
 498     s1[0] = salt_buf1[0];
 499     s1[1] = salt_buf1[1];
 500     s1[2] = salt_buf1[2];
 501     s1[3] = salt_buf1[3];
 502     s2[0] = salt_buf2[0];
 503     s2[1] = salt_buf2[1];
 504     s2[2] = salt_buf2[2];
 505     s2[3] = salt_buf2[3];
 506     s3[0] = salt_buf3[0];
 507     s3[1] = salt_buf3[1];
 508     s3[2] = salt_buf3[2];
 509     s3[3] = salt_buf3[3];
 510
 511     switch_buffer_by_offset_le_VV (s0, s1, s2, s3, pw_len);
 512
 513     const u32x pw_salt_len = pw_len + salt_len;
 514
 515     w0[0] |= s0[0];
 516     w0[1] |= s0[1];
 517     w0[2] |= s0[2];
 518     w0[3] |= s0[3];
 519     w1[0] |= s1[0];
 520     w1[1] |= s1[1];
 521     w1[2] |= s1[2];
 522     w1[3] |= s1[3];
 523     w2[0] |= s2[0];
 524     w2[1] |= s2[1];
 525     w2[2] |= s2[2];
 526     w2[3] |= s2[3];
 527     w3[0] |= s3[0];
 528     w3[1] |= s3[1];
 529     w3[2] |= s3[2];
 530     w3[3] |= s3[3];
 531
 532     /**
 533      * sha1
 534      */
 535
 536     u32x w0_t = swap32 (w0[0]);
 537     u32x w1_t = swap32 (w0[1]);
 538     u32x w2_t = swap32 (w0[2]);
 539     u32x w3_t = swap32 (w0[3]);
 540     u32x w4_t = swap32 (w1[0]);
 541     u32x w5_t = swap32 (w1[1]);
 542     u32x w6_t = swap32 (w1[2]);
 543     u32x w7_t = swap32 (w1[3]);
 544     u32x w8_t = swap32 (w2[0]);
 545     u32x w9_t = swap32 (w2[1]);
 546     u32x wa_t = swap32 (w2[2]);
 547     u32x wb_t = swap32 (w2[3]);
 548     u32x wc_t = swap32 (w3[0]);
 549     u32x wd_t = swap32 (w3[1]);
 550     u32x we_t = 0;
 551     u32x wf_t = pw_salt_len * 8;
 552
 553     u32x a = SHA1M_A;
 554     u32x b = SHA1M_B;
 555     u32x c = SHA1M_C;
 556     u32x d = SHA1M_D;
 557     u32x e = SHA1M_E;
 558
 559     #undef K
 560     #define K SHA1C00
 561
 562     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 563     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 564     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 565     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 566     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 567     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 568     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 569     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 570     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 571     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 572     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 573     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 574     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 575     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 576     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 577     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 578     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 579     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 580     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 581     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 582
 583     #undef K
 584     #define K SHA1C01
 585
 586     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 587     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 588     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 589     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 590     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 591     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 592     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 593     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 594     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 595     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 596     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 597     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 598     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 599     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 600     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 601     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 602     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 603     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 604     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 605     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 606
 607     #undef K
 608     #define K SHA1C02
 609
 610     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 611     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 612     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 613     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 614     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 615     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 616     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 617     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 618     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 619     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 620     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 621     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 622     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 623     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 624     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 625     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 626     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 627     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 628     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 629     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 630
 631     #undef K
 632     #define K SHA1C03
 633
 634     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 635     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 636     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 637     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 638     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 639     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 640     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 641     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 642     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 643     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 644     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 645     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 646     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 647     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 648     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 649     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 650
 651     if (MATCHES_NONE_VS (e, e_rev)) continue;
 652
 653     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 654     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 655     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 656     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 657
 658     COMPARE_S_SIMD (d, e, c, b);
 659   }
 660 }
 661
 662 __kernel void m00110_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 663 {
 664 }
 665
 666 __kernel void m00110_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 667 {
 668 }