nv/m00120_a0.cu

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA1_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #ifdef  VLIW1
  12 #define VECT_SIZE1
  13 #endif
  14
  15 #ifdef  VLIW2
  16 #define VECT_SIZE1
  17 #endif
  18
  19 #define DGST_R0 3
  20 #define DGST_R1 4
  21 #define DGST_R2 2
  22 #define DGST_R3 1
  23
  24 #include "include/kernel_functions.c"
  25 #include "types_nv.c"
  26 #include "common_nv.c"
  27 #include "include/rp_gpu.h"
  28 #include "rp_nv.c"
  29
  30 #ifdef  VECT_SIZE1
  31 #define VECT_COMPARE_S "check_single_vect1_comp4.c"
  32 #define VECT_COMPARE_M "check_multi_vect1_comp4.c"
  33 #endif
  34
  35 #ifdef  VECT_SIZE2
  36 #define VECT_COMPARE_S "check_single_vect2_comp4.c"
  37 #define VECT_COMPARE_M "check_multi_vect2_comp4.c"
  38 #endif
  39
  40 #ifdef  VECT_SIZE4
  41 #define VECT_COMPARE_S "check_single_vect4_comp4.c"
  42 #define VECT_COMPARE_M "check_multi_vect4_comp4.c"
  43 #endif
  44
  45 __device__ __constant__ gpu_rule_t c_rules[1024];
  46
  47 extern "C" __global__ void __launch_bounds__ (256, 1) m00120_m04 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const void *esalt_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  48 {
  49   /**
  50    * modifier
  51    */
  52
  53   const u32 lid = threadIdx.x;
  54
  55   /**
  56    * base
  57    */
  58
  59   const u32 gid = (blockIdx.x * blockDim.x) + threadIdx.x;
  60
  61   if (gid >= gid_max) return;
  62
  63   u32x pw_buf0[4];
  64
  65   pw_buf0[0] = pws[gid].i[ 0];
  66   pw_buf0[1] = pws[gid].i[ 1];
  67   pw_buf0[2] = pws[gid].i[ 2];
  68   pw_buf0[3] = pws[gid].i[ 3];
  69
  70   u32x pw_buf1[4];
  71
  72   pw_buf1[0] = pws[gid].i[ 4];
  73   pw_buf1[1] = pws[gid].i[ 5];
  74   pw_buf1[2] = pws[gid].i[ 6];
  75   pw_buf1[3] = pws[gid].i[ 7];
  76
  77   const u32 pw_len = pws[gid].pw_len;
  78
  79   /**
  80    * salt
  81    */
  82
  83   u32 salt_buf0[4];
  84
  85   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
  86   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
  87   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
  88   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
  89
  90   u32 salt_buf1[4];
  91
  92   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
  93   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
  94   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
  95   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
  96
  97   const u32 salt_len = salt_bufs[salt_pos].salt_len;
  98
  99   /**
 100    * loop
 101    */
 102
 103   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 104   {
 105     u32x w0[4];
 106     u32x w1[4];
 107     u32x w2[4];
 108     u32x w3[4];
 109
 110     w0[0] = pw_buf0[0];
 111     w0[1] = pw_buf0[1];
 112     w0[2] = pw_buf0[2];
 113     w0[3] = pw_buf0[3];
 114     w1[0] = pw_buf1[0];
 115     w1[1] = pw_buf1[1];
 116     w1[2] = pw_buf1[2];
 117     w1[3] = pw_buf1[3];
 118     w2[0] = 0;
 119     w2[1] = 0;
 120     w2[2] = 0;
 121     w2[3] = 0;
 122     w3[0] = 0;
 123     w3[1] = 0;
 124     w3[2] = 0;
 125     w3[3] = 0;
 126
 127     const u32 out_len = apply_rules (c_rules[il_pos].cmds, w0, w1, pw_len);
 128
 129     /**
 130      * prepend salt
 131      */
 132
 133     const u32 out_salt_len = out_len + salt_len;
 134
 135     u32x w0_t[4];
 136     u32x w1_t[4];
 137     u32x w2_t[4];
 138     u32x w3_t[4];
 139
 140     w0_t[0] = w0[0];
 141     w0_t[1] = w0[1];
 142     w0_t[2] = w0[2];
 143     w0_t[3] = w0[3];
 144     w1_t[0] = w1[0];
 145     w1_t[1] = w1[1];
 146     w1_t[2] = w1[2];
 147     w1_t[3] = w1[3];
 148     w2_t[0] = w2[0];
 149     w2_t[1] = w2[1];
 150     w2_t[2] = w2[2];
 151     w2_t[3] = w2[3];
 152     w3_t[0] = w3[0];
 153     w3_t[1] = w3[1];
 154     w3_t[2] = w3[2];
 155     w3_t[3] = w3[3];
 156
 157     switch_buffer_by_offset (w0_t, w1_t, w2_t, w3_t, salt_len);
 158
 159     w0_t[0] |= salt_buf0[0];
 160     w0_t[1] |= salt_buf0[1];
 161     w0_t[2] |= salt_buf0[2];
 162     w0_t[3] |= salt_buf0[3];
 163     w1_t[0] |= salt_buf1[0];
 164     w1_t[1] |= salt_buf1[1];
 165     w1_t[2] |= salt_buf1[2];
 166     w1_t[3] |= salt_buf1[3];
 167
 168     append_0x80_4 (w0_t, w1_t, w2_t, w3_t, out_salt_len);
 169
 170     w3_t[3] = out_salt_len * 8;
 171
 172     /**
 173      * sha1
 174      */
 175
 176     w0_t[0] = swap_workaround (w0_t[0]);
 177     w0_t[1] = swap_workaround (w0_t[1]);
 178     w0_t[2] = swap_workaround (w0_t[2]);
 179     w0_t[3] = swap_workaround (w0_t[3]);
 180     w1_t[0] = swap_workaround (w1_t[0]);
 181     w1_t[1] = swap_workaround (w1_t[1]);
 182     w1_t[2] = swap_workaround (w1_t[2]);
 183     w1_t[3] = swap_workaround (w1_t[3]);
 184     w2_t[0] = swap_workaround (w2_t[0]);
 185     w2_t[1] = swap_workaround (w2_t[1]);
 186     w2_t[2] = swap_workaround (w2_t[2]);
 187     w2_t[3] = swap_workaround (w2_t[3]);
 188     w3_t[0] = swap_workaround (w3_t[0]);
 189     w3_t[1] = swap_workaround (w3_t[1]);
 190     //w3_t[2] = swap_workaround (w3_t[2]);
 191     //w3_t[3] = swap_workaround (w3_t[3]);
 192
 193     u32x a = SHA1M_A;
 194     u32x b = SHA1M_B;
 195     u32x c = SHA1M_C;
 196     u32x d = SHA1M_D;
 197     u32x e = SHA1M_E;
 198
 199     #undef K
 200     #define K SHA1C00
 201
 202     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t[0]);
 203     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t[1]);
 204     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w0_t[2]);
 205     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w0_t[3]);
 206     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w1_t[0]);
 207     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w1_t[1]);
 208     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t[2]);
 209     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t[3]);
 210     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t[0]);
 211     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w2_t[1]);
 212     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w2_t[2]);
 213     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w2_t[3]);
 214     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w3_t[0]);
 215     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t[1]);
 216     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t[2]);
 217     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w3_t[3]);
 218     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t[0]);
 219     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w0_t[1]);
 220     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w0_t[2]);
 221     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w0_t[3]);
 222
 223     #undef K
 224     #define K SHA1C01
 225
 226     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t[0]);
 227     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[1]);
 228     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w1_t[2]);
 229     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[3]);
 230     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t[0]);
 231     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w2_t[1]);
 232     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t[2]);
 233     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w2_t[3]);
 234     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[0]);
 235     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w3_t[1]);
 236     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t[2]);
 237     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[3]);
 238     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t[0]);
 239     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w0_t[1]);
 240     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t[2]);
 241     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w0_t[3]);
 242     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[0]);
 243     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w1_t[1]);
 244     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[2]);
 245     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w1_t[3]);
 246
 247     #undef K
 248     #define K SHA1C02
 249
 250     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t[0]);
 251     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w2_t[1]);
 252     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w2_t[2]);
 253     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w2_t[3]);
 254     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w3_t[0]);
 255     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w3_t[1]);
 256     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t[2]);
 257     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w3_t[3]);
 258     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t[0]);
 259     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w0_t[1]);
 260     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w0_t[2]);
 261     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w0_t[3]);
 262     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w1_t[0]);
 263     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w1_t[1]);
 264     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t[2]);
 265     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w1_t[3]);
 266     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w2_t[0]);
 267     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w2_t[1]);
 268     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w2_t[2]);
 269     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w2_t[3]);
 270
 271     #undef K
 272     #define K SHA1C03
 273
 274     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t[0]);
 275     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[1]);
 276     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t[2]);
 277     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[3]);
 278     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t[0]);
 279     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w0_t[1]);
 280     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w0_t[2]);
 281     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t[3]);
 282     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[0]);
 283     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w1_t[1]);
 284     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t[2]);
 285     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[3]);
 286     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w2_t[0]);
 287     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w2_t[1]);
 288     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t[2]);
 289     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w2_t[3]);
 290     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[0]);
 291     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t[1]);
 292     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[2]);
 293     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w3_t[3]);
 294
 295
 296     const u32x r0 = d;
 297     const u32x r1 = e;
 298     const u32x r2 = c;
 299     const u32x r3 = b;
 300
 301     #include VECT_COMPARE_M
 302   }
 303 }
 304
 305 extern "C" __global__ void __launch_bounds__ (256, 1) m00120_m08 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const void *esalt_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 306 {
 307 }
 308
 309 extern "C" __global__ void __launch_bounds__ (256, 1) m00120_m16 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const void *esalt_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 310 {
 311 }
 312
 313 extern "C" __global__ void __launch_bounds__ (256, 1) m00120_s04 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const void *esalt_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 314 {
 315   /**
 316    * modifier
 317    */
 318
 319   const u32 lid = threadIdx.x;
 320
 321   /**
 322    * base
 323    */
 324
 325   const u32 gid = (blockIdx.x * blockDim.x) + threadIdx.x;
 326
 327   if (gid >= gid_max) return;
 328
 329   u32x pw_buf0[4];
 330
 331   pw_buf0[0] = pws[gid].i[ 0];
 332   pw_buf0[1] = pws[gid].i[ 1];
 333   pw_buf0[2] = pws[gid].i[ 2];
 334   pw_buf0[3] = pws[gid].i[ 3];
 335
 336   u32x pw_buf1[4];
 337
 338   pw_buf1[0] = pws[gid].i[ 4];
 339   pw_buf1[1] = pws[gid].i[ 5];
 340   pw_buf1[2] = pws[gid].i[ 6];
 341   pw_buf1[3] = pws[gid].i[ 7];
 342
 343   const u32 pw_len = pws[gid].pw_len;
 344
 345   /**
 346    * salt
 347    */
 348
 349   u32 salt_buf0[4];
 350
 351   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[0];
 352   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[1];
 353   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[2];
 354   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[3];
 355
 356   u32 salt_buf1[4];
 357
 358   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[4];
 359   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[5];
 360   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[6];
 361   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[7];
 362
 363   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 364
 365   /**
 366    * digest
 367    */
 368
 369   const u32 search[4] =
 370   {
 371     digests_buf[digests_offset].digest_buf[DGST_R0],
 372     digests_buf[digests_offset].digest_buf[DGST_R1],
 373     digests_buf[digests_offset].digest_buf[DGST_R2],
 374     digests_buf[digests_offset].digest_buf[DGST_R3]
 375   };
 376
 377   /**
 378    * reverse
 379    */
 380
 381   const u32 e_rev = rotl32 (search[1], 2u);
 382
 383   /**
 384    * loop
 385    */
 386
 387   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 388   {
 389     u32x w0[4];
 390     u32x w1[4];
 391     u32x w2[4];
 392     u32x w3[4];
 393
 394     w0[0] = pw_buf0[0];
 395     w0[1] = pw_buf0[1];
 396     w0[2] = pw_buf0[2];
 397     w0[3] = pw_buf0[3];
 398     w1[0] = pw_buf1[0];
 399     w1[1] = pw_buf1[1];
 400     w1[2] = pw_buf1[2];
 401     w1[3] = pw_buf1[3];
 402     w2[0] = 0;
 403     w2[1] = 0;
 404     w2[2] = 0;
 405     w2[3] = 0;
 406     w3[0] = 0;
 407     w3[1] = 0;
 408     w3[2] = 0;
 409     w3[3] = 0;
 410
 411     const u32 out_len = apply_rules (c_rules[il_pos].cmds, w0, w1, pw_len);
 412
 413     /**
 414      * prepend salt
 415      */
 416
 417     const u32 out_salt_len = out_len + salt_len;
 418
 419     u32x w0_t[4];
 420     u32x w1_t[4];
 421     u32x w2_t[4];
 422     u32x w3_t[4];
 423
 424     w0_t[0] = w0[0];
 425     w0_t[1] = w0[1];
 426     w0_t[2] = w0[2];
 427     w0_t[3] = w0[3];
 428     w1_t[0] = w1[0];
 429     w1_t[1] = w1[1];
 430     w1_t[2] = w1[2];
 431     w1_t[3] = w1[3];
 432     w2_t[0] = w2[0];
 433     w2_t[1] = w2[1];
 434     w2_t[2] = w2[2];
 435     w2_t[3] = w2[3];
 436     w3_t[0] = w3[0];
 437     w3_t[1] = w3[1];
 438     w3_t[2] = w3[2];
 439     w3_t[3] = w3[3];
 440
 441     switch_buffer_by_offset (w0_t, w1_t, w2_t, w3_t, salt_len);
 442
 443     w0_t[0] |= salt_buf0[0];
 444     w0_t[1] |= salt_buf0[1];
 445     w0_t[2] |= salt_buf0[2];
 446     w0_t[3] |= salt_buf0[3];
 447     w1_t[0] |= salt_buf1[0];
 448     w1_t[1] |= salt_buf1[1];
 449     w1_t[2] |= salt_buf1[2];
 450     w1_t[3] |= salt_buf1[3];
 451
 452     append_0x80_4 (w0_t, w1_t, w2_t, w3_t, out_salt_len);
 453
 454     w3_t[3] = out_salt_len * 8;
 455
 456     /**
 457      * sha1
 458      */
 459
 460     w0_t[0] = swap_workaround (w0_t[0]);
 461     w0_t[1] = swap_workaround (w0_t[1]);
 462     w0_t[2] = swap_workaround (w0_t[2]);
 463     w0_t[3] = swap_workaround (w0_t[3]);
 464     w1_t[0] = swap_workaround (w1_t[0]);
 465     w1_t[1] = swap_workaround (w1_t[1]);
 466     w1_t[2] = swap_workaround (w1_t[2]);
 467     w1_t[3] = swap_workaround (w1_t[3]);
 468     w2_t[0] = swap_workaround (w2_t[0]);
 469     w2_t[1] = swap_workaround (w2_t[1]);
 470     w2_t[2] = swap_workaround (w2_t[2]);
 471     w2_t[3] = swap_workaround (w2_t[3]);
 472     w3_t[0] = swap_workaround (w3_t[0]);
 473     w3_t[1] = swap_workaround (w3_t[1]);
 474     //w3_t[2] = swap_workaround (w3_t[2]);
 475     //w3_t[3] = swap_workaround (w3_t[3]);
 476
 477     u32x a = SHA1M_A;
 478     u32x b = SHA1M_B;
 479     u32x c = SHA1M_C;
 480     u32x d = SHA1M_D;
 481     u32x e = SHA1M_E;
 482
 483     #undef K
 484     #define K SHA1C00
 485
 486     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t[0]);
 487     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t[1]);
 488     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w0_t[2]);
 489     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w0_t[3]);
 490     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w1_t[0]);
 491     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w1_t[1]);
 492     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t[2]);
 493     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t[3]);
 494     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t[0]);
 495     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w2_t[1]);
 496     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w2_t[2]);
 497     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w2_t[3]);
 498     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w3_t[0]);
 499     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t[1]);
 500     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t[2]);
 501     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w3_t[3]);
 502     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t[0]);
 503     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w0_t[1]);
 504     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w0_t[2]);
 505     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w0_t[3]);
 506
 507     #undef K
 508     #define K SHA1C01
 509
 510     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t[0]);
 511     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[1]);
 512     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w1_t[2]);
 513     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[3]);
 514     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t[0]);
 515     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w2_t[1]);
 516     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t[2]);
 517     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w2_t[3]);
 518     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[0]);
 519     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w3_t[1]);
 520     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t[2]);
 521     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[3]);
 522     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t[0]);
 523     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w0_t[1]);
 524     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t[2]);
 525     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w0_t[3]);
 526     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[0]);
 527     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w1_t[1]);
 528     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[2]);
 529     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w1_t[3]);
 530
 531     #undef K
 532     #define K SHA1C02
 533
 534     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t[0]);
 535     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w2_t[1]);
 536     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w2_t[2]);
 537     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w2_t[3]);
 538     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w3_t[0]);
 539     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w3_t[1]);
 540     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t[2]);
 541     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w3_t[3]);
 542     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t[0]);
 543     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w0_t[1]);
 544     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w0_t[2]);
 545     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w0_t[3]);
 546     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w1_t[0]);
 547     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w1_t[1]);
 548     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t[2]);
 549     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w1_t[3]);
 550     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w2_t[0]);
 551     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w2_t[1]);
 552     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w2_t[2]);
 553     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w2_t[3]);
 554
 555     #undef K
 556     #define K SHA1C03
 557
 558     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t[0]);
 559     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[1]);
 560     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t[2]);
 561     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[3]);
 562     w0_t[0] = rotl32 ((w3_t[1] ^ w2_t[0] ^ w0_t[2] ^ w0_t[0]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t[0]);
 563     w0_t[1] = rotl32 ((w3_t[2] ^ w2_t[1] ^ w0_t[3] ^ w0_t[1]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w0_t[1]);
 564     w0_t[2] = rotl32 ((w3_t[3] ^ w2_t[2] ^ w1_t[0] ^ w0_t[2]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w0_t[2]);
 565     w0_t[3] = rotl32 ((w0_t[0] ^ w2_t[3] ^ w1_t[1] ^ w0_t[3]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t[3]);
 566     w1_t[0] = rotl32 ((w0_t[1] ^ w3_t[0] ^ w1_t[2] ^ w1_t[0]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t[0]);
 567     w1_t[1] = rotl32 ((w0_t[2] ^ w3_t[1] ^ w1_t[3] ^ w1_t[1]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w1_t[1]);
 568     w1_t[2] = rotl32 ((w0_t[3] ^ w3_t[2] ^ w2_t[0] ^ w1_t[2]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t[2]);
 569     w1_t[3] = rotl32 ((w1_t[0] ^ w3_t[3] ^ w2_t[1] ^ w1_t[3]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w1_t[3]);
 570     w2_t[0] = rotl32 ((w1_t[1] ^ w0_t[0] ^ w2_t[2] ^ w2_t[0]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w2_t[0]);
 571     w2_t[1] = rotl32 ((w1_t[2] ^ w0_t[1] ^ w2_t[3] ^ w2_t[1]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w2_t[1]);
 572     w2_t[2] = rotl32 ((w1_t[3] ^ w0_t[2] ^ w3_t[0] ^ w2_t[2]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t[2]);
 573     w2_t[3] = rotl32 ((w2_t[0] ^ w0_t[3] ^ w3_t[1] ^ w2_t[3]), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w2_t[3]);
 574     w3_t[0] = rotl32 ((w2_t[1] ^ w1_t[0] ^ w3_t[2] ^ w3_t[0]), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w3_t[0]);
 575
 576     if (e != e_rev) continue;
 577
 578     w3_t[1] = rotl32 ((w2_t[2] ^ w1_t[1] ^ w3_t[3] ^ w3_t[1]), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t[1]);
 579     w3_t[2] = rotl32 ((w2_t[3] ^ w1_t[2] ^ w0_t[0] ^ w3_t[2]), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w3_t[2]);
 580     w3_t[3] = rotl32 ((w3_t[0] ^ w1_t[3] ^ w0_t[1] ^ w3_t[3]), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w3_t[3]);
 581
 582
 583     const u32x r0 = d;
 584     const u32x r1 = e;
 585     const u32x r2 = c;
 586     const u32x r3 = b;
 587
 588     #include VECT_COMPARE_S
 589   }
 590 }
 591
 592 extern "C" __global__ void __launch_bounds__ (256, 1) m00120_s08 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const void *esalt_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 593 {
 594 }
 595
 596 extern "C" __global__ void __launch_bounds__ (256, 1) m00120_s16 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const void *esalt_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 597 {
 598 }