OpenCL/m08100_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA1_
   7
   8 #define NEW_SIMD_CODE
   9
  10 #include "inc_vendor.cl"
  11 #include "inc_hash_constants.h"
  12 #include "inc_hash_functions.cl"
  13 #include "inc_types.cl"
  14 #include "inc_common.cl"
  15 #include "inc_simd.cl"
  16
  17 __kernel void m08100_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  18 {
  19   /**
  20    * modifier
  21    */
  22
  23   const u32 lid = get_local_id (0);
  24
  25   /**
  26    * base
  27    */
  28
  29   const u32 gid = get_global_id (0);
  30
  31   if (gid >= gid_max) return;
  32
  33   u32 pw_buf0[4];
  34   u32 pw_buf1[4];
  35
  36   pw_buf0[0] = pws[gid].i[0];
  37   pw_buf0[1] = pws[gid].i[1];
  38   pw_buf0[2] = pws[gid].i[2];
  39   pw_buf0[3] = pws[gid].i[3];
  40   pw_buf1[0] = pws[gid].i[4];
  41   pw_buf1[1] = pws[gid].i[5];
  42   pw_buf1[2] = pws[gid].i[6];
  43   pw_buf1[3] = pws[gid].i[7];
  44
  45   const u32 pw_l_len = pws[gid].pw_len;
  46
  47   /**
  48    * salt
  49    */
  50
  51   u32 salt_buf0[2];
  52
  53   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
  54   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
  55
  56   const u32 salt_len = salt_bufs[salt_pos].salt_len;
  57
  58   /**
  59    * digest
  60    */
  61
  62   const u32 search[4] =
  63   {
  64     digests_buf[digests_offset].digest_buf[DGST_R0],
  65     digests_buf[digests_offset].digest_buf[DGST_R1],
  66     digests_buf[digests_offset].digest_buf[DGST_R2],
  67     digests_buf[digests_offset].digest_buf[DGST_R3]
  68   };
  69
  70   /**
  71    * loop
  72    */
  73
  74   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
  75   {
  76     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
  77
  78     const u32x pw_len = pw_l_len + pw_r_len;
  79
  80     /**
  81      * concat password candidate
  82      */
  83
  84     u32x wordl0[4] = { 0 };
  85     u32x wordl1[4] = { 0 };
  86     u32x wordl2[4] = { 0 };
  87     u32x wordl3[4] = { 0 };
  88
  89     wordl0[0] = pw_buf0[0];
  90     wordl0[1] = pw_buf0[1];
  91     wordl0[2] = pw_buf0[2];
  92     wordl0[3] = pw_buf0[3];
  93     wordl1[0] = pw_buf1[0];
  94     wordl1[1] = pw_buf1[1];
  95     wordl1[2] = pw_buf1[2];
  96     wordl1[3] = pw_buf1[3];
  97
  98     u32x wordr0[4] = { 0 };
  99     u32x wordr1[4] = { 0 };
 100     u32x wordr2[4] = { 0 };
 101     u32x wordr3[4] = { 0 };
 102
 103     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 104     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 105     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 106     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 107     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 108     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 109     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 110     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 111
 112     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 113     {
 114       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 115     }
 116     else
 117     {
 118       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 119     }
 120
 121     u32x w0[4];
 122     u32x w1[4];
 123     u32x w2[4];
 124     u32x w3[4];
 125
 126     w0[0] = wordl0[0] | wordr0[0];
 127     w0[1] = wordl0[1] | wordr0[1];
 128     w0[2] = wordl0[2] | wordr0[2];
 129     w0[3] = wordl0[3] | wordr0[3];
 130     w1[0] = wordl1[0] | wordr1[0];
 131     w1[1] = wordl1[1] | wordr1[1];
 132     w1[2] = wordl1[2] | wordr1[2];
 133     w1[3] = wordl1[3] | wordr1[3];
 134     w2[0] = wordl2[0] | wordr2[0];
 135     w2[1] = wordl2[1] | wordr2[1];
 136     w2[2] = wordl2[2] | wordr2[2];
 137     w2[3] = wordl2[3] | wordr2[3];
 138
 139     append_0x80_4x4_VV (w0, w1, w2, w3, pw_len + 1);
 140
 141     w0[0] = swap32 (w0[0]);
 142     w0[1] = swap32 (w0[1]);
 143     w0[2] = swap32 (w0[2]);
 144     w0[3] = swap32 (w0[3]);
 145     w1[0] = swap32 (w1[0]);
 146     w1[1] = swap32 (w1[1]);
 147     w1[2] = swap32 (w1[2]);
 148     w1[3] = swap32 (w1[3]);
 149     w2[0] = swap32 (w2[0]);
 150     w2[1] = swap32 (w2[1]);
 151     w2[2] = swap32 (w2[2]);
 152     w2[3] = swap32 (w2[3]);
 153
 154     /**
 155      * prepend salt
 156      */
 157
 158     const u32x pw_salt_len = pw_len + salt_len;
 159
 160     u32x w0_t[4];
 161     u32x w1_t[4];
 162     u32x w2_t[4];
 163     u32x w3_t[4];
 164
 165     w0_t[0] = salt_buf0[0];
 166     w0_t[1] = salt_buf0[1];
 167     w0_t[2] = w0[0];
 168     w0_t[3] = w0[1];
 169     w1_t[0] = w0[2];
 170     w1_t[1] = w0[3];
 171     w1_t[2] = w1[0];
 172     w1_t[3] = w1[1];
 173     w2_t[0] = w1[2];
 174     w2_t[1] = w1[3];
 175     w2_t[2] = w2[0];
 176     w2_t[3] = w2[1];
 177     w3_t[0] = w2[2];
 178     w3_t[1] = w2[3];
 179     w3_t[2] = 0;
 180     w3_t[3] = (pw_salt_len + 1) * 8;
 181
 182     /**
 183      * sha1
 184      */
 185
 186     u32x a = SHA1M_A;
 187     u32x b = SHA1M_B;
 188     u32x c = SHA1M_C;
 189     u32x d = SHA1M_D;
 190     u32x e = SHA1M_E;
 191
 192     #undef K
 193     #define K SHA1C00
 194
 195     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t[0]);
 196     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t[1]);
 197     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w0_t[2]);
 198     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w0_t[3]);
 199     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w1_t[0]);
 200     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w1_t[1]);
 201     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t[2]);
 202     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t[3]);
 203     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t[0]);
 204     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w2_t[1]);
 205     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w2_t[2]);
 206     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w2_t[3]);
 207     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w3_t[0]);
 208     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t[1]);
 209     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t[2]);
 210     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w3_t[3]);
 211     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t[0]);
 212     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w0_t[1]);
 213     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w0_t[2]);
 214     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w0_t[3]);
 215
 216     #undef K
 217     #define K SHA1C01
 218
 219     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t[0]);
 220     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[1]);
 221     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w1_t[2]);
 222     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[3]);
 223     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t[0]);
 224     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w2_t[1]);
 225     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t[2]);
 226     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w2_t[3]);
 227     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[0]);
 228     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w3_t[1]);
 229     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t[2]);
 230     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[3]);
 231     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t[0]);
 232     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w0_t[1]);
 233     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t[2]);
 234     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w0_t[3]);
 235     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[0]);
 236     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w1_t[1]);
 237     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[2]);
 238     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w1_t[3]);
 239
 240     #undef K
 241     #define K SHA1C02
 242
 243     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t[0]);
 244     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w2_t[1]);
 245     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w2_t[2]);
 246     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w2_t[3]);
 247     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w3_t[0]);
 248     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w3_t[1]);
 249     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t[2]);
 250     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w3_t[3]);
 251     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t[0]);
 252     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w0_t[1]);
 253     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w0_t[2]);
 254     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w0_t[3]);
 255     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w1_t[0]);
 256     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w1_t[1]);
 257     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t[2]);
 258     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w1_t[3]);
 259     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w2_t[0]);
 260     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w2_t[1]);
 261     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w2_t[2]);
 262     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w2_t[3]);
 263
 264     #undef K
 265     #define K SHA1C03
 266
 267     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t[0]);
 268     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[1]);
 269     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t[2]);
 270     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[3]);
 271     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t[0]);
 272     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w0_t[1]);
 273     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w0_t[2]);
 274     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t[3]);
 275     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[0]);
 276     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w1_t[1]);
 277     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t[2]);
 278     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[3]);
 279     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w2_t[0]);
 280     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w2_t[1]);
 281     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t[2]);
 282     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w2_t[3]);
 283     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[0]);
 284     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t[1]);
 285     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[2]);
 286     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w3_t[3]);
 287
 288     COMPARE_M_SIMD (d, e, c, b);
 289   }
 290 }
 291
 292 __kernel void m08100_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 293 {
 294 }
 295
 296 __kernel void m08100_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 297 {
 298 }
 299
 300 __kernel void m08100_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 301 {
 302   /**
 303    * modifier
 304    */
 305
 306   const u32 lid = get_local_id (0);
 307
 308   /**
 309    * base
 310    */
 311
 312   const u32 gid = get_global_id (0);
 313
 314   if (gid >= gid_max) return;
 315
 316   u32 pw_buf0[4];
 317   u32 pw_buf1[4];
 318
 319   pw_buf0[0] = pws[gid].i[0];
 320   pw_buf0[1] = pws[gid].i[1];
 321   pw_buf0[2] = pws[gid].i[2];
 322   pw_buf0[3] = pws[gid].i[3];
 323   pw_buf1[0] = pws[gid].i[4];
 324   pw_buf1[1] = pws[gid].i[5];
 325   pw_buf1[2] = pws[gid].i[6];
 326   pw_buf1[3] = pws[gid].i[7];
 327
 328   const u32 pw_l_len = pws[gid].pw_len;
 329
 330   /**
 331    * salt
 332    */
 333
 334   u32 salt_buf0[2];
 335
 336   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 337   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 338
 339   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 340
 341   /**
 342    * digest
 343    */
 344
 345   const u32 search[4] =
 346   {
 347     digests_buf[digests_offset].digest_buf[DGST_R0],
 348     digests_buf[digests_offset].digest_buf[DGST_R1],
 349     digests_buf[digests_offset].digest_buf[DGST_R2],
 350     digests_buf[digests_offset].digest_buf[DGST_R3]
 351   };
 352
 353   /**
 354    * reverse
 355    */
 356
 357   const u32 e_rev = rotl32_S (search[1], 2u);
 358
 359   /**
 360    * loop
 361    */
 362
 363   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 364   {
 365     const u32x pw_r_len = pwlenx_create_combt (combs_buf, il_pos);
 366
 367     const u32x pw_len = pw_l_len + pw_r_len;
 368
 369     /**
 370      * concat password candidate
 371      */
 372
 373     u32x wordl0[4] = { 0 };
 374     u32x wordl1[4] = { 0 };
 375     u32x wordl2[4] = { 0 };
 376     u32x wordl3[4] = { 0 };
 377
 378     wordl0[0] = pw_buf0[0];
 379     wordl0[1] = pw_buf0[1];
 380     wordl0[2] = pw_buf0[2];
 381     wordl0[3] = pw_buf0[3];
 382     wordl1[0] = pw_buf1[0];
 383     wordl1[1] = pw_buf1[1];
 384     wordl1[2] = pw_buf1[2];
 385     wordl1[3] = pw_buf1[3];
 386
 387     u32x wordr0[4] = { 0 };
 388     u32x wordr1[4] = { 0 };
 389     u32x wordr2[4] = { 0 };
 390     u32x wordr3[4] = { 0 };
 391
 392     wordr0[0] = ix_create_combt (combs_buf, il_pos, 0);
 393     wordr0[1] = ix_create_combt (combs_buf, il_pos, 1);
 394     wordr0[2] = ix_create_combt (combs_buf, il_pos, 2);
 395     wordr0[3] = ix_create_combt (combs_buf, il_pos, 3);
 396     wordr1[0] = ix_create_combt (combs_buf, il_pos, 4);
 397     wordr1[1] = ix_create_combt (combs_buf, il_pos, 5);
 398     wordr1[2] = ix_create_combt (combs_buf, il_pos, 6);
 399     wordr1[3] = ix_create_combt (combs_buf, il_pos, 7);
 400
 401     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 402     {
 403       switch_buffer_by_offset_le_VV (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 404     }
 405     else
 406     {
 407       switch_buffer_by_offset_le_VV (wordl0, wordl1, wordl2, wordl3, pw_r_len);
 408     }
 409
 410     u32x w0[4];
 411     u32x w1[4];
 412     u32x w2[4];
 413     u32x w3[4];
 414
 415     w0[0] = wordl0[0] | wordr0[0];
 416     w0[1] = wordl0[1] | wordr0[1];
 417     w0[2] = wordl0[2] | wordr0[2];
 418     w0[3] = wordl0[3] | wordr0[3];
 419     w1[0] = wordl1[0] | wordr1[0];
 420     w1[1] = wordl1[1] | wordr1[1];
 421     w1[2] = wordl1[2] | wordr1[2];
 422     w1[3] = wordl1[3] | wordr1[3];
 423     w2[0] = wordl2[0] | wordr2[0];
 424     w2[1] = wordl2[1] | wordr2[1];
 425     w2[2] = wordl2[2] | wordr2[2];
 426     w2[3] = wordl2[3] | wordr2[3];
 427
 428     append_0x80_4x4_VV (w0, w1, w2, w3, pw_len + 1);
 429
 430     w0[0] = swap32 (w0[0]);
 431     w0[1] = swap32 (w0[1]);
 432     w0[2] = swap32 (w0[2]);
 433     w0[3] = swap32 (w0[3]);
 434     w1[0] = swap32 (w1[0]);
 435     w1[1] = swap32 (w1[1]);
 436     w1[2] = swap32 (w1[2]);
 437     w1[3] = swap32 (w1[3]);
 438     w2[0] = swap32 (w2[0]);
 439     w2[1] = swap32 (w2[1]);
 440     w2[2] = swap32 (w2[2]);
 441     w2[3] = swap32 (w2[3]);
 442
 443     /**
 444      * prepend salt
 445      */
 446
 447     const u32x pw_salt_len = pw_len + salt_len;
 448
 449     u32x w0_t[4];
 450     u32x w1_t[4];
 451     u32x w2_t[4];
 452     u32x w3_t[4];
 453
 454     w0_t[0] = salt_buf0[0];
 455     w0_t[1] = salt_buf0[1];
 456     w0_t[2] = w0[0];
 457     w0_t[3] = w0[1];
 458     w1_t[0] = w0[2];
 459     w1_t[1] = w0[3];
 460     w1_t[2] = w1[0];
 461     w1_t[3] = w1[1];
 462     w2_t[0] = w1[2];
 463     w2_t[1] = w1[3];
 464     w2_t[2] = w2[0];
 465     w2_t[3] = w2[1];
 466     w3_t[0] = w2[2];
 467     w3_t[1] = w2[3];
 468     w3_t[2] = 0;
 469     w3_t[3] = (pw_salt_len + 1) * 8;
 470
 471     /**
 472      * sha1
 473      */
 474
 475     u32x a = SHA1M_A;
 476     u32x b = SHA1M_B;
 477     u32x c = SHA1M_C;
 478     u32x d = SHA1M_D;
 479     u32x e = SHA1M_E;
 480
 481     #undef K
 482     #define K SHA1C00
 483
 484     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t[0]);
 485     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t[1]);
 486     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w0_t[2]);
 487     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w0_t[3]);
 488     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w1_t[0]);
 489     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w1_t[1]);
 490     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t[2]);
 491     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t[3]);
 492     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t[0]);
 493     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w2_t[1]);
 494     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w2_t[2]);
 495     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w2_t[3]);
 496     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w3_t[0]);
 497     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t[1]);
 498     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t[2]);
 499     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w3_t[3]);
 500     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t[0]);
 501     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w0_t[1]);
 502     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w0_t[2]);
 503     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w0_t[3]);
 504
 505     #undef K
 506     #define K SHA1C01
 507
 508     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t[0]);
 509     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[1]);
 510     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w1_t[2]);
 511     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[3]);
 512     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t[0]);
 513     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w2_t[1]);
 514     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t[2]);
 515     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w2_t[3]);
 516     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[0]);
 517     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w3_t[1]);
 518     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t[2]);
 519     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[3]);
 520     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t[0]);
 521     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w0_t[1]);
 522     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t[2]);
 523     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w0_t[3]);
 524     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[0]);
 525     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w1_t[1]);
 526     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[2]);
 527     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w1_t[3]);
 528
 529     #undef K
 530     #define K SHA1C02
 531
 532     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t[0]);
 533     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w2_t[1]);
 534     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w2_t[2]);
 535     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w2_t[3]);
 536     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w3_t[0]);
 537     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w3_t[1]);
 538     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t[2]);
 539     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w3_t[3]);
 540     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t[0]);
 541     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w0_t[1]);
 542     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w0_t[2]);
 543     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w0_t[3]);
 544     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w1_t[0]);
 545     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w1_t[1]);
 546     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t[2]);
 547     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w1_t[3]);
 548     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w2_t[0]);
 549     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w2_t[1]);
 550     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w2_t[2]);
 551     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w2_t[3]);
 552
 553     #undef K
 554     #define K SHA1C03
 555
 556     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t[0]);
 557     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[1]);
 558     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t[2]);
 559     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[3]);
 560     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t[0]);
 561     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w0_t[1]);
 562     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w0_t[2]);
 563     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t[3]);
 564     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[0]);
 565     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w1_t[1]);
 566     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t[2]);
 567     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[3]);
 568     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w2_t[0]);
 569     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w2_t[1]);
 570     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t[2]);
 571     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w2_t[3]);
 572
 573     if (MATCHES_NONE_VS (e, e_rev)) continue;
 574
 575     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[0]);
 576     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t[1]);
 577     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[2]);
 578     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w3_t[3]);
 579
 580     COMPARE_S_SIMD (d, e, c, b);
 581   }
 582 }
 583
 584 __kernel void m08100_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 585 {
 586 }
 587
 588 __kernel void m08100_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 589 {
 590 }