OpenCL/m07600_a3.cl

   1 /**
   2  * Authors.....: Jens Steube <jens.steube@gmail.com>
   3  *               Gabriele Gristina <matrix@hashcat.net>
   4  *               magnum <john.magnum@hushmail.com>
   5  *
   6  * License.....: MIT
   7  */
   8
   9 #define _SHA1_
  10
  11 #define NEW_SIMD_CODE
  12
  13 #include "include/constants.h"
  14 #include "include/kernel_vendor.h"
  15
  16 #define DGST_R0 3
  17 #define DGST_R1 4
  18 #define DGST_R2 2
  19 #define DGST_R3 1
  20
  21 #include "include/kernel_functions.c"
  22 #include "OpenCL/types_ocl.c"
  23 #include "OpenCL/common.c"
  24 #include "OpenCL/simd.c"
  25
  26 #if   VECT_SIZE == 1
  27 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i)])
  28 #elif VECT_SIZE == 2
  29 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1])
  30 #elif VECT_SIZE == 4
  31 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3])
  32 #elif VECT_SIZE == 8
  33 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3], l_bin2asc[(i).s4], l_bin2asc[(i).s5], l_bin2asc[(i).s6], l_bin2asc[(i).s7])
  34 #elif VECT_SIZE == 16
  35 #define uint_to_hex_lower8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3], l_bin2asc[(i).s4], l_bin2asc[(i).s5], l_bin2asc[(i).s6], l_bin2asc[(i).s7], l_bin2asc[(i).s8], l_bin2asc[(i).s9], l_bin2asc[(i).sa], l_bin2asc[(i).sb], l_bin2asc[(i).sc], l_bin2asc[(i).sd], l_bin2asc[(i).se], l_bin2asc[(i).sf])
  36 #endif
  37
  38 static void m07600m (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, __local u32 *l_bin2asc)
  39 {
  40   /**
  41    * modifier
  42    */
  43
  44   const u32 gid = get_global_id (0);
  45   const u32 lid = get_local_id (0);
  46
  47   /**
  48    * salt
  49    */
  50
  51   u32 salt_buf0[4];
  52
  53   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
  54   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
  55   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
  56   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
  57
  58   u32 salt_buf1[4];
  59
  60   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
  61   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
  62   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
  63   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
  64
  65   u32 salt_buf2[4];
  66
  67   salt_buf2[0] = 0;
  68   salt_buf2[1] = 0;
  69   salt_buf2[2] = 0;
  70   salt_buf2[3] = 0;
  71
  72   u32 salt_buf3[4];
  73
  74   salt_buf3[0] = 0;
  75   salt_buf3[1] = 0;
  76   salt_buf3[2] = 0;
  77   salt_buf3[3] = 0;
  78
  79   const u32 total_len = (32 + 40) * 8;
  80
  81   /**
  82    * loop
  83    */
  84
  85   u32 w0l = w0[0];
  86
  87   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
  88   {
  89     const u32x w0r = ix_create_bft (bfs_buf, il_pos);
  90
  91     const u32x w0lr = w0l | w0r;
  92
  93     /**
  94      * sha1
  95      */
  96
  97     u32x w0_t = w0lr;
  98     u32x w1_t = w0[1];
  99     u32x w2_t = w0[2];
 100     u32x w3_t = w0[3];
 101     u32x w4_t = w1[0];
 102     u32x w5_t = w1[1];
 103     u32x w6_t = w1[2];
 104     u32x w7_t = w1[3];
 105     u32x w8_t = w2[0];
 106     u32x w9_t = w2[1];
 107     u32x wa_t = w2[2];
 108     u32x wb_t = w2[3];
 109     u32x wc_t = w3[0];
 110     u32x wd_t = w3[1];
 111     u32x we_t = 0;
 112     u32x wf_t = pw_len * 8;
 113
 114     u32x a = SHA1M_A;
 115     u32x b = SHA1M_B;
 116     u32x c = SHA1M_C;
 117     u32x d = SHA1M_D;
 118     u32x e = SHA1M_E;
 119
 120     #undef K
 121     #define K SHA1C00
 122
 123     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 124     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 125     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 126     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 127     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 128     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 129     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 130     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 131     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 132     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 133     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 134     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 135     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 136     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 137     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 138     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 139     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 140     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 141     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 142     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 143
 144     #undef K
 145     #define K SHA1C01
 146
 147     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 148     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 149     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 150     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 151     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 152     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 153     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 154     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 155     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 156     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 157     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 158     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 159     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 160     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 161     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 162     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 163     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 164     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 165     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 166     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 167
 168     #undef K
 169     #define K SHA1C02
 170
 171     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 172     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 173     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 174     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 175     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 176     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 177     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 178     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 179     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 180     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 181     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 182     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 183     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 184     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 185     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 186     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 187     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 188     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 189     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 190     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 191
 192     #undef K
 193     #define K SHA1C03
 194
 195     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 196     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 197     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 198     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 199     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 200     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 201     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 202     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 203     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 204     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 205     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 206     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 207     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 208     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 209     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 210     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 211     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 212     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 213     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 214     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 215
 216     a += SHA1M_A;
 217     b += SHA1M_B;
 218     c += SHA1M_C;
 219     d += SHA1M_D;
 220     e += SHA1M_E;
 221
 222     /**
 223      * Prepend salt
 224      */
 225
 226     u32x w0t[4];
 227
 228     w0t[0] = uint_to_hex_lower8 ((a >> 24) & 255) <<  0
 229            | uint_to_hex_lower8 ((a >> 16) & 255) << 16;
 230     w0t[1] = uint_to_hex_lower8 ((a >>  8) & 255) <<  0
 231            | uint_to_hex_lower8 ((a >>  0) & 255) << 16;
 232     w0t[2] = uint_to_hex_lower8 ((b >> 24) & 255) <<  0
 233            | uint_to_hex_lower8 ((b >> 16) & 255) << 16;
 234     w0t[3] = uint_to_hex_lower8 ((b >>  8) & 255) <<  0
 235            | uint_to_hex_lower8 ((b >>  0) & 255) << 16;
 236
 237     u32x w1t[4];
 238
 239     w1t[0] = uint_to_hex_lower8 ((c >> 24) & 255) <<  0
 240            | uint_to_hex_lower8 ((c >> 16) & 255) << 16;
 241     w1t[1] = uint_to_hex_lower8 ((c >>  8) & 255) <<  0
 242            | uint_to_hex_lower8 ((c >>  0) & 255) << 16;
 243     w1t[2] = uint_to_hex_lower8 ((d >> 24) & 255) <<  0
 244            | uint_to_hex_lower8 ((d >> 16) & 255) << 16;
 245     w1t[3] = uint_to_hex_lower8 ((d >>  8) & 255) <<  0
 246            | uint_to_hex_lower8 ((d >>  0) & 255) << 16;
 247
 248     u32x w2t[2];
 249
 250     w2t[0] = uint_to_hex_lower8 ((e >> 24) & 255) <<  0
 251            | uint_to_hex_lower8 ((e >> 16) & 255) << 16;
 252     w2t[1] = uint_to_hex_lower8 ((e >>  8) & 255) <<  0
 253            | uint_to_hex_lower8 ((e >>  0) & 255) << 16;
 254
 255     w0_t = salt_buf0[0];
 256     w1_t = salt_buf0[1];
 257     w2_t = salt_buf0[2];
 258     w3_t = salt_buf0[3];
 259     w4_t = salt_buf1[0];
 260     w5_t = salt_buf1[1];
 261     w6_t = salt_buf1[2];
 262     w7_t = salt_buf1[3];
 263     w8_t = w0t[0];
 264     w9_t = w0t[1];
 265     wa_t = w0t[2];
 266     wb_t = w0t[3];
 267     wc_t = w1t[0];
 268     wd_t = w1t[1];
 269     we_t = w1t[2];
 270     wf_t = w1t[3];
 271
 272     /**
 273      * 2nd SHA1
 274      */
 275
 276     // 1st transform
 277
 278     w0_t = swap32 (w0_t);
 279     w1_t = swap32 (w1_t);
 280     w2_t = swap32 (w2_t);
 281     w3_t = swap32 (w3_t);
 282     w4_t = swap32 (w4_t);
 283     w5_t = swap32 (w5_t);
 284     w6_t = swap32 (w6_t);
 285     w7_t = swap32 (w7_t);
 286     w8_t = swap32 (w8_t);
 287     w9_t = swap32 (w9_t);
 288     wa_t = swap32 (wa_t);
 289     wb_t = swap32 (wb_t);
 290     wc_t = swap32 (wc_t);
 291     wd_t = swap32 (wd_t);
 292     we_t = swap32 (we_t);
 293     wf_t = swap32 (wf_t);
 294
 295     a = SHA1M_A;
 296     b = SHA1M_B;
 297     c = SHA1M_C;
 298     d = SHA1M_D;
 299     e = SHA1M_E;
 300
 301     #undef K
 302     #define K SHA1C00
 303
 304     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 305     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 306     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 307     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 308     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 309     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 310     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 311     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 312     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 313     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 314     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 315     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 316     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 317     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 318     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 319     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 320     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 321     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 322     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 323     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 324
 325     #undef K
 326     #define K SHA1C01
 327
 328     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 329     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 330     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 331     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 332     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 333     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 334     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 335     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 336     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 337     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 338     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 339     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 340     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 341     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 342     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 343     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 344     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 345     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 346     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 347     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 348
 349     #undef K
 350     #define K SHA1C02
 351
 352     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 353     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 354     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 355     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 356     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 357     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 358     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 359     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 360     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 361     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 362     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 363     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 364     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 365     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 366     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 367     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 368     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 369     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 370     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 371     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 372
 373     #undef K
 374     #define K SHA1C03
 375
 376     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 377     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 378     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 379     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 380     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 381     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 382     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 383     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 384     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 385     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 386     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 387     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 388     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 389     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 390     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 391     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 392     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 393     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 394     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 395     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 396
 397     a += SHA1M_A;
 398     b += SHA1M_B;
 399     c += SHA1M_C;
 400     d += SHA1M_D;
 401     e += SHA1M_E;
 402
 403     u32x r_a = a;
 404     u32x r_b = b;
 405     u32x r_c = c;
 406     u32x r_d = d;
 407     u32x r_e = e;
 408
 409     // 2nd transform
 410
 411     w0_t = swap32 (w2t[0]);
 412     w1_t = swap32 (w2t[1]);
 413     w2_t = 0x80000000;
 414     w3_t = 0;
 415     w4_t = 0;
 416     w5_t = 0;
 417     w6_t = 0;
 418     w7_t = 0;
 419     w8_t = 0;
 420     w9_t = 0;
 421     wa_t = 0;
 422     wb_t = 0;
 423     wc_t = 0;
 424     wd_t = 0;
 425     we_t = 0;
 426     wf_t = total_len;
 427
 428     #undef K
 429     #define K SHA1C00
 430
 431     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 432     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 433     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 434     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 435     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 436     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 437     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 438     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 439     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 440     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 441     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 442     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 443     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 444     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 445     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 446     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 447     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 448     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 449     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 450     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 451
 452     #undef K
 453     #define K SHA1C01
 454
 455     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 456     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 457     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 458     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 459     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 460     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 461     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 462     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 463     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 464     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 465     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 466     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 467     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 468     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 469     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 470     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 471     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 472     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 473     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 474     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 475
 476     #undef K
 477     #define K SHA1C02
 478
 479     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 480     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 481     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 482     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 483     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 484     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 485     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 486     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 487     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 488     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 489     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 490     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 491     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 492     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 493     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 494     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 495     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 496     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 497     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 498     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 499
 500     #undef K
 501     #define K SHA1C03
 502
 503     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 504     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 505     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 506     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 507     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 508     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 509     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 510     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 511     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 512     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 513     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 514     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 515     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 516     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 517     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 518     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 519     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 520     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 521     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 522     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 523
 524     a += r_a;
 525     b += r_b;
 526     c += r_c;
 527     d += r_d;
 528     e += r_e;
 529
 530     COMPARE_M_SIMD (d, e, c, b);
 531   }
 532 }
 533
 534 static void m07600s (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, __local u32 *l_bin2asc)
 535 {
 536   /**
 537    * modifier
 538    */
 539
 540   const u32 gid = get_global_id (0);
 541   const u32 lid = get_local_id (0);
 542
 543   /**
 544    * salt
 545    */
 546
 547   u32 salt_buf0[4];
 548
 549   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
 550   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
 551   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
 552   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
 553
 554   u32 salt_buf1[4];
 555
 556   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
 557   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
 558   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
 559   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
 560
 561   u32 salt_buf2[4];
 562
 563   salt_buf2[0] = 0;
 564   salt_buf2[1] = 0;
 565   salt_buf2[2] = 0;
 566   salt_buf2[3] = 0;
 567
 568   u32 salt_buf3[4];
 569
 570   salt_buf3[0] = 0;
 571   salt_buf3[1] = 0;
 572   salt_buf3[2] = 0;
 573   salt_buf3[3] = 0;
 574
 575   const u32 total_len = (32 + 40) * 8;
 576
 577   /**
 578    * digest
 579    */
 580
 581   const u32 search[4] =
 582   {
 583     digests_buf[digests_offset].digest_buf[DGST_R0],
 584     digests_buf[digests_offset].digest_buf[DGST_R1],
 585     digests_buf[digests_offset].digest_buf[DGST_R2],
 586     digests_buf[digests_offset].digest_buf[DGST_R3]
 587   };
 588
 589   /**
 590    * loop
 591    */
 592
 593   u32 w0l = w0[0];
 594
 595   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 596   {
 597     const u32x w0r = ix_create_bft (bfs_buf, il_pos);
 598
 599     const u32x w0lr = w0l | w0r;
 600
 601     /**
 602      * sha1
 603      */
 604
 605     u32x w0_t = w0lr;
 606     u32x w1_t = w0[1];
 607     u32x w2_t = w0[2];
 608     u32x w3_t = w0[3];
 609     u32x w4_t = w1[0];
 610     u32x w5_t = w1[1];
 611     u32x w6_t = w1[2];
 612     u32x w7_t = w1[3];
 613     u32x w8_t = w2[0];
 614     u32x w9_t = w2[1];
 615     u32x wa_t = w2[2];
 616     u32x wb_t = w2[3];
 617     u32x wc_t = w3[0];
 618     u32x wd_t = w3[1];
 619     u32x we_t = 0;
 620     u32x wf_t = pw_len * 8;
 621
 622     u32x a = SHA1M_A;
 623     u32x b = SHA1M_B;
 624     u32x c = SHA1M_C;
 625     u32x d = SHA1M_D;
 626     u32x e = SHA1M_E;
 627
 628     #undef K
 629     #define K SHA1C00
 630
 631     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 632     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 633     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 634     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 635     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 636     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 637     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 638     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 639     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 640     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 641     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 642     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 643     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 644     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 645     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 646     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 647     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 648     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 649     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 650     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 651
 652     #undef K
 653     #define K SHA1C01
 654
 655     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 656     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 657     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 658     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 659     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 660     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 661     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 662     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 663     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 664     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 665     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 666     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 667     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 668     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 669     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 670     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 671     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 672     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 673     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 674     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 675
 676     #undef K
 677     #define K SHA1C02
 678
 679     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 680     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 681     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 682     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 683     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 684     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 685     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 686     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 687     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 688     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 689     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 690     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 691     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 692     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 693     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 694     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 695     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 696     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 697     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 698     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 699
 700     #undef K
 701     #define K SHA1C03
 702
 703     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 704     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 705     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 706     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 707     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 708     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 709     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 710     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 711     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 712     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 713     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 714     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 715     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 716     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 717     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 718     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 719     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 720     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 721     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 722     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 723
 724     a += SHA1M_A;
 725     b += SHA1M_B;
 726     c += SHA1M_C;
 727     d += SHA1M_D;
 728     e += SHA1M_E;
 729
 730     /**
 731      * Prepend salt
 732      */
 733
 734     u32x w0t[4];
 735
 736     w0t[0] = uint_to_hex_lower8 ((a >> 24) & 255) <<  0
 737            | uint_to_hex_lower8 ((a >> 16) & 255) << 16;
 738     w0t[1] = uint_to_hex_lower8 ((a >>  8) & 255) <<  0
 739            | uint_to_hex_lower8 ((a >>  0) & 255) << 16;
 740     w0t[2] = uint_to_hex_lower8 ((b >> 24) & 255) <<  0
 741            | uint_to_hex_lower8 ((b >> 16) & 255) << 16;
 742     w0t[3] = uint_to_hex_lower8 ((b >>  8) & 255) <<  0
 743            | uint_to_hex_lower8 ((b >>  0) & 255) << 16;
 744
 745     u32x w1t[4];
 746
 747     w1t[0] = uint_to_hex_lower8 ((c >> 24) & 255) <<  0
 748            | uint_to_hex_lower8 ((c >> 16) & 255) << 16;
 749     w1t[1] = uint_to_hex_lower8 ((c >>  8) & 255) <<  0
 750            | uint_to_hex_lower8 ((c >>  0) & 255) << 16;
 751     w1t[2] = uint_to_hex_lower8 ((d >> 24) & 255) <<  0
 752            | uint_to_hex_lower8 ((d >> 16) & 255) << 16;
 753     w1t[3] = uint_to_hex_lower8 ((d >>  8) & 255) <<  0
 754            | uint_to_hex_lower8 ((d >>  0) & 255) << 16;
 755
 756     u32x w2t[2];
 757
 758     w2t[0] = uint_to_hex_lower8 ((e >> 24) & 255) <<  0
 759            | uint_to_hex_lower8 ((e >> 16) & 255) << 16;
 760     w2t[1] = uint_to_hex_lower8 ((e >>  8) & 255) <<  0
 761            | uint_to_hex_lower8 ((e >>  0) & 255) << 16;
 762
 763     w0_t = salt_buf0[0];
 764     w1_t = salt_buf0[1];
 765     w2_t = salt_buf0[2];
 766     w3_t = salt_buf0[3];
 767     w4_t = salt_buf1[0];
 768     w5_t = salt_buf1[1];
 769     w6_t = salt_buf1[2];
 770     w7_t = salt_buf1[3];
 771     w8_t = w0t[0];
 772     w9_t = w0t[1];
 773     wa_t = w0t[2];
 774     wb_t = w0t[3];
 775     wc_t = w1t[0];
 776     wd_t = w1t[1];
 777     we_t = w1t[2];
 778     wf_t = w1t[3];
 779
 780     /**
 781      * 2nd SHA1
 782      */
 783
 784     // 1st transform
 785
 786     w0_t = swap32 (w0_t);
 787     w1_t = swap32 (w1_t);
 788     w2_t = swap32 (w2_t);
 789     w3_t = swap32 (w3_t);
 790     w4_t = swap32 (w4_t);
 791     w5_t = swap32 (w5_t);
 792     w6_t = swap32 (w6_t);
 793     w7_t = swap32 (w7_t);
 794     w8_t = swap32 (w8_t);
 795     w9_t = swap32 (w9_t);
 796     wa_t = swap32 (wa_t);
 797     wb_t = swap32 (wb_t);
 798     wc_t = swap32 (wc_t);
 799     wd_t = swap32 (wd_t);
 800     we_t = swap32 (we_t);
 801     wf_t = swap32 (wf_t);
 802
 803     a = SHA1M_A;
 804     b = SHA1M_B;
 805     c = SHA1M_C;
 806     d = SHA1M_D;
 807     e = SHA1M_E;
 808
 809     #undef K
 810     #define K SHA1C00
 811
 812     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 813     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 814     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 815     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 816     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 817     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 818     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 819     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 820     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 821     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 822     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 823     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 824     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 825     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 826     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 827     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 828     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 829     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 830     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 831     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 832
 833     #undef K
 834     #define K SHA1C01
 835
 836     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 837     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 838     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 839     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 840     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 841     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 842     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 843     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 844     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 845     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 846     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 847     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 848     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 849     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 850     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 851     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 852     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 853     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 854     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 855     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 856
 857     #undef K
 858     #define K SHA1C02
 859
 860     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 861     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 862     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 863     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 864     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 865     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 866     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 867     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 868     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 869     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 870     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 871     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 872     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 873     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 874     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 875     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 876     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 877     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 878     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 879     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 880
 881     #undef K
 882     #define K SHA1C03
 883
 884     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 885     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 886     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 887     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 888     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 889     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 890     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 891     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 892     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 893     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 894     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 895     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 896     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 897     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 898     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 899     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 900     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 901     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 902     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 903     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 904
 905     a += SHA1M_A;
 906     b += SHA1M_B;
 907     c += SHA1M_C;
 908     d += SHA1M_D;
 909     e += SHA1M_E;
 910
 911     u32x r_a = a;
 912     u32x r_b = b;
 913     u32x r_c = c;
 914     u32x r_d = d;
 915     u32x r_e = e;
 916
 917     // 2nd transform
 918
 919     w0_t = swap32 (w2t[0]);
 920     w1_t = swap32 (w2t[1]);
 921     w2_t = 0x80000000;
 922     w3_t = 0;
 923     w4_t = 0;
 924     w5_t = 0;
 925     w6_t = 0;
 926     w7_t = 0;
 927     w8_t = 0;
 928     w9_t = 0;
 929     wa_t = 0;
 930     wb_t = 0;
 931     wc_t = 0;
 932     wd_t = 0;
 933     we_t = 0;
 934     wf_t = total_len;
 935
 936     #undef K
 937     #define K SHA1C00
 938
 939     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 940     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 941     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 942     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 943     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 944     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 945     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 946     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 947     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 948     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 949     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 950     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 951     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 952     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 953     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 954     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 955     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 956     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 957     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 958     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 959
 960     #undef K
 961     #define K SHA1C01
 962
 963     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 964     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 965     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 966     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 967     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 968     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 969     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 970     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 971     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 972     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 973     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 974     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 975     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 976     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 977     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 978     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 979     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 980     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 981     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 982     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 983
 984     #undef K
 985     #define K SHA1C02
 986
 987     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 988     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 989     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 990     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 991     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 992     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 993     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 994     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 995     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 996     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 997     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 998     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 999     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
1000     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
1001     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
1002     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
1003     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
1004     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
1005     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
1006     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
1007
1008     #undef K
1009     #define K SHA1C03
1010
1011     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
1012     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
1013     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
1014     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
1015     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
1016     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
1017     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
1018     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
1019     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
1020     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
1021     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
1022     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
1023     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
1024     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
1025     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
1026     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
1027     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
1028     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
1029     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
1030     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
1031
1032     a += r_a;
1033     b += r_b;
1034     c += r_c;
1035     d += r_d;
1036     e += r_e;
1037
1038     COMPARE_S_SIMD (d, e, c, b);
1039   }
1040 }
1041
1042 __kernel void m07600_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1043 {
1044   /**
1045    * base
1046    */
1047
1048   const u32 gid = get_global_id (0);
1049   const u32 lid = get_local_id (0);
1050   const u32 lsz = get_local_size (0);
1051
1052   /**
1053    * shared
1054    */
1055
1056   __local u32 l_bin2asc[256];
1057
1058   for (u32 i = lid; i < 256; i += lsz)
1059   {
1060     const u32 i0 = (i >> 0) & 15;
1061     const u32 i1 = (i >> 4) & 15;
1062
1063     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
1064                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
1065   }
1066
1067   barrier (CLK_LOCAL_MEM_FENCE);
1068
1069   if (gid >= gid_max) return;
1070
1071   /**
1072    * modifier
1073    */
1074
1075   u32 w0[4];
1076
1077   w0[0] = pws[gid].i[ 0];
1078   w0[1] = pws[gid].i[ 1];
1079   w0[2] = pws[gid].i[ 2];
1080   w0[3] = pws[gid].i[ 3];
1081
1082   u32 w1[4];
1083
1084   w1[0] = 0;
1085   w1[1] = 0;
1086   w1[2] = 0;
1087   w1[3] = 0;
1088
1089   u32 w2[4];
1090
1091   w2[0] = 0;
1092   w2[1] = 0;
1093   w2[2] = 0;
1094   w2[3] = 0;
1095
1096   u32 w3[4];
1097
1098   w3[0] = 0;
1099   w3[1] = 0;
1100   w3[2] = 0;
1101   w3[3] = pws[gid].i[15];
1102
1103   const u32 pw_len = pws[gid].pw_len;
1104
1105   /**
1106    * main
1107    */
1108
1109   m07600m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
1110 }
1111
1112 __kernel void m07600_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1113 {
1114   /**
1115    * base
1116    */
1117
1118   const u32 gid = get_global_id (0);
1119   const u32 lid = get_local_id (0);
1120   const u32 lsz = get_local_size (0);
1121
1122   /**
1123    * shared
1124    */
1125
1126   __local u32 l_bin2asc[256];
1127
1128   for (u32 i = lid; i < 256; i += lsz)
1129   {
1130     const u32 i0 = (i >> 0) & 15;
1131     const u32 i1 = (i >> 4) & 15;
1132
1133     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
1134                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
1135   }
1136
1137   barrier (CLK_LOCAL_MEM_FENCE);
1138
1139   if (gid >= gid_max) return;
1140
1141   /**
1142    * modifier
1143    */
1144
1145   u32 w0[4];
1146
1147   w0[0] = pws[gid].i[ 0];
1148   w0[1] = pws[gid].i[ 1];
1149   w0[2] = pws[gid].i[ 2];
1150   w0[3] = pws[gid].i[ 3];
1151
1152   u32 w1[4];
1153
1154   w1[0] = pws[gid].i[ 4];
1155   w1[1] = pws[gid].i[ 5];
1156   w1[2] = pws[gid].i[ 6];
1157   w1[3] = pws[gid].i[ 7];
1158
1159   u32 w2[4];
1160
1161   w2[0] = 0;
1162   w2[1] = 0;
1163   w2[2] = 0;
1164   w2[3] = 0;
1165
1166   u32 w3[4];
1167
1168   w3[0] = 0;
1169   w3[1] = 0;
1170   w3[2] = 0;
1171   w3[3] = pws[gid].i[15];
1172
1173   const u32 pw_len = pws[gid].pw_len;
1174
1175   /**
1176    * main
1177    */
1178
1179   m07600m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
1180 }
1181
1182 __kernel void m07600_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1183 {
1184   /**
1185    * base
1186    */
1187
1188   const u32 gid = get_global_id (0);
1189   const u32 lid = get_local_id (0);
1190   const u32 lsz = get_local_size (0);
1191
1192   /**
1193    * shared
1194    */
1195
1196   __local u32 l_bin2asc[256];
1197
1198   for (u32 i = lid; i < 256; i += lsz)
1199   {
1200     const u32 i0 = (i >> 0) & 15;
1201     const u32 i1 = (i >> 4) & 15;
1202
1203     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
1204                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
1205   }
1206
1207   barrier (CLK_LOCAL_MEM_FENCE);
1208
1209   if (gid >= gid_max) return;
1210
1211   /**
1212    * modifier
1213    */
1214
1215   u32 w0[4];
1216
1217   w0[0] = pws[gid].i[ 0];
1218   w0[1] = pws[gid].i[ 1];
1219   w0[2] = pws[gid].i[ 2];
1220   w0[3] = pws[gid].i[ 3];
1221
1222   u32 w1[4];
1223
1224   w1[0] = pws[gid].i[ 4];
1225   w1[1] = pws[gid].i[ 5];
1226   w1[2] = pws[gid].i[ 6];
1227   w1[3] = pws[gid].i[ 7];
1228
1229   u32 w2[4];
1230
1231   w2[0] = pws[gid].i[ 8];
1232   w2[1] = pws[gid].i[ 9];
1233   w2[2] = pws[gid].i[10];
1234   w2[3] = pws[gid].i[11];
1235
1236   u32 w3[4];
1237
1238   w3[0] = pws[gid].i[12];
1239   w3[1] = pws[gid].i[13];
1240   w3[2] = pws[gid].i[14];
1241   w3[3] = pws[gid].i[15];
1242
1243   const u32 pw_len = pws[gid].pw_len;
1244
1245   /**
1246    * main
1247    */
1248
1249   m07600m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
1250 }
1251
1252 __kernel void m07600_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1253 {
1254   /**
1255    * base
1256    */
1257
1258   const u32 gid = get_global_id (0);
1259   const u32 lid = get_local_id (0);
1260   const u32 lsz = get_local_size (0);
1261
1262   /**
1263    * shared
1264    */
1265
1266   __local u32 l_bin2asc[256];
1267
1268   for (u32 i = lid; i < 256; i += lsz)
1269   {
1270     const u32 i0 = (i >> 0) & 15;
1271     const u32 i1 = (i >> 4) & 15;
1272
1273     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
1274                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
1275   }
1276
1277   barrier (CLK_LOCAL_MEM_FENCE);
1278
1279   if (gid >= gid_max) return;
1280
1281   /**
1282    * modifier
1283    */
1284
1285   u32 w0[4];
1286
1287   w0[0] = pws[gid].i[ 0];
1288   w0[1] = pws[gid].i[ 1];
1289   w0[2] = pws[gid].i[ 2];
1290   w0[3] = pws[gid].i[ 3];
1291
1292   u32 w1[4];
1293
1294   w1[0] = 0;
1295   w1[1] = 0;
1296   w1[2] = 0;
1297   w1[3] = 0;
1298
1299   u32 w2[4];
1300
1301   w2[0] = 0;
1302   w2[1] = 0;
1303   w2[2] = 0;
1304   w2[3] = 0;
1305
1306   u32 w3[4];
1307
1308   w3[0] = 0;
1309   w3[1] = 0;
1310   w3[2] = 0;
1311   w3[3] = pws[gid].i[15];
1312
1313   const u32 pw_len = pws[gid].pw_len;
1314
1315   /**
1316    * main
1317    */
1318
1319   m07600s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
1320 }
1321
1322 __kernel void m07600_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1323 {
1324   /**
1325    * base
1326    */
1327
1328   const u32 gid = get_global_id (0);
1329   const u32 lid = get_local_id (0);
1330   const u32 lsz = get_local_size (0);
1331
1332   /**
1333    * shared
1334    */
1335
1336   __local u32 l_bin2asc[256];
1337
1338   for (u32 i = lid; i < 256; i += lsz)
1339   {
1340     const u32 i0 = (i >> 0) & 15;
1341     const u32 i1 = (i >> 4) & 15;
1342
1343     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
1344                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
1345   }
1346
1347   barrier (CLK_LOCAL_MEM_FENCE);
1348
1349   if (gid >= gid_max) return;
1350
1351   /**
1352    * modifier
1353    */
1354
1355   u32 w0[4];
1356
1357   w0[0] = pws[gid].i[ 0];
1358   w0[1] = pws[gid].i[ 1];
1359   w0[2] = pws[gid].i[ 2];
1360   w0[3] = pws[gid].i[ 3];
1361
1362   u32 w1[4];
1363
1364   w1[0] = pws[gid].i[ 4];
1365   w1[1] = pws[gid].i[ 5];
1366   w1[2] = pws[gid].i[ 6];
1367   w1[3] = pws[gid].i[ 7];
1368
1369   u32 w2[4];
1370
1371   w2[0] = 0;
1372   w2[1] = 0;
1373   w2[2] = 0;
1374   w2[3] = 0;
1375
1376   u32 w3[4];
1377
1378   w3[0] = 0;
1379   w3[1] = 0;
1380   w3[2] = 0;
1381   w3[3] = pws[gid].i[15];
1382
1383   const u32 pw_len = pws[gid].pw_len;
1384
1385   /**
1386    * main
1387    */
1388
1389   m07600s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
1390 }
1391
1392 __kernel void m07600_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1393 {
1394   /**
1395    * base
1396    */
1397
1398   const u32 gid = get_global_id (0);
1399   const u32 lid = get_local_id (0);
1400   const u32 lsz = get_local_size (0);
1401
1402   /**
1403    * shared
1404    */
1405
1406   __local u32 l_bin2asc[256];
1407
1408   for (u32 i = lid; i < 256; i += lsz)
1409   {
1410     const u32 i0 = (i >> 0) & 15;
1411     const u32 i1 = (i >> 4) & 15;
1412
1413     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
1414                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
1415   }
1416
1417   barrier (CLK_LOCAL_MEM_FENCE);
1418
1419   if (gid >= gid_max) return;
1420
1421   /**
1422    * modifier
1423    */
1424
1425   u32 w0[4];
1426
1427   w0[0] = pws[gid].i[ 0];
1428   w0[1] = pws[gid].i[ 1];
1429   w0[2] = pws[gid].i[ 2];
1430   w0[3] = pws[gid].i[ 3];
1431
1432   u32 w1[4];
1433
1434   w1[0] = pws[gid].i[ 4];
1435   w1[1] = pws[gid].i[ 5];
1436   w1[2] = pws[gid].i[ 6];
1437   w1[3] = pws[gid].i[ 7];
1438
1439   u32 w2[4];
1440
1441   w2[0] = pws[gid].i[ 8];
1442   w2[1] = pws[gid].i[ 9];
1443   w2[2] = pws[gid].i[10];
1444   w2[3] = pws[gid].i[11];
1445
1446   u32 w3[4];
1447
1448   w3[0] = pws[gid].i[12];
1449   w3[1] = pws[gid].i[13];
1450   w3[2] = pws[gid].i[14];
1451   w3[3] = pws[gid].i[15];
1452
1453   const u32 pw_len = pws[gid].pw_len;
1454
1455   /**
1456    * main
1457    */
1458
1459   m07600s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, il_cnt, digests_cnt, digests_offset, l_bin2asc);
1460 }