OpenCL/m07600_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA1_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 3
  12 #define DGST_R1 4
  13 #define DGST_R2 2
  14 #define DGST_R3 1
  15
  16 #include "include/kernel_functions.c"
  17 #include "OpenCL/types_ocl.c"
  18 #include "OpenCL/common.c"
  19
  20 #define COMPARE_S "OpenCL/check_single_comp4.c"
  21 #define COMPARE_M "OpenCL/check_multi_comp4.c"
  22
  23 #define uint_to_hex_lower8(i) l_bin2asc[(i)]
  24
  25 __kernel void m07600_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  26 {
  27   /**
  28    * base
  29    */
  30
  31   const u32 gid = get_global_id (0);
  32   const u32 lid = get_local_id (0);
  33   const u32 lsz = get_local_size (0);
  34
  35   /**
  36    * shared
  37    */
  38
  39   __local u32 l_bin2asc[256];
  40
  41   for (u32 i = lid; i < 256; i += lsz)
  42   {
  43     const u32 i0 = (i >> 0) & 15;
  44     const u32 i1 = (i >> 4) & 15;
  45
  46     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
  47                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
  48   }
  49
  50   barrier (CLK_LOCAL_MEM_FENCE);
  51
  52   if (gid >= gid_max) return;
  53
  54   /**
  55    * base
  56    */
  57
  58   u32 wordl0[4];
  59
  60   wordl0[0] = pws[gid].i[ 0];
  61   wordl0[1] = pws[gid].i[ 1];
  62   wordl0[2] = pws[gid].i[ 2];
  63   wordl0[3] = pws[gid].i[ 3];
  64
  65   u32 wordl1[4];
  66
  67   wordl1[0] = pws[gid].i[ 4];
  68   wordl1[1] = pws[gid].i[ 5];
  69   wordl1[2] = pws[gid].i[ 6];
  70   wordl1[3] = pws[gid].i[ 7];
  71
  72   u32 wordl2[4];
  73
  74   wordl2[0] = 0;
  75   wordl2[1] = 0;
  76   wordl2[2] = 0;
  77   wordl2[3] = 0;
  78
  79   u32 wordl3[4];
  80
  81   wordl3[0] = 0;
  82   wordl3[1] = 0;
  83   wordl3[2] = 0;
  84   wordl3[3] = 0;
  85
  86   const u32 pw_l_len = pws[gid].pw_len;
  87
  88   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
  89   {
  90     append_0x80_2x4 (wordl0, wordl1, pw_l_len);
  91
  92     switch_buffer_by_offset_le (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
  93   }
  94
  95   /**
  96    * salt
  97    */
  98
  99   u32 salt_buf0[4];
 100
 101   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
 102   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
 103   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
 104   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
 105
 106   u32 salt_buf1[4];
 107
 108   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
 109   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
 110   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
 111   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
 112
 113   u32 salt_buf2[4];
 114
 115   salt_buf2[0] = 0;
 116   salt_buf2[1] = 0;
 117   salt_buf2[2] = 0;
 118   salt_buf2[3] = 0;
 119
 120   u32 salt_buf3[4];
 121
 122   salt_buf3[0] = 0;
 123   salt_buf3[1] = 0;
 124   salt_buf3[2] = 0;
 125   salt_buf3[3] = 0;
 126
 127   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 128
 129   const u32 total_len = (salt_len + 40) * 8;
 130
 131   /**
 132    * loop
 133    */
 134
 135   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 136   {
 137     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 138
 139     const u32 pw_len = pw_l_len + pw_r_len;
 140
 141     u32 wordr0[4];
 142
 143     wordr0[0] = combs_buf[il_pos].i[0];
 144     wordr0[1] = combs_buf[il_pos].i[1];
 145     wordr0[2] = combs_buf[il_pos].i[2];
 146     wordr0[3] = combs_buf[il_pos].i[3];
 147
 148     u32 wordr1[4];
 149
 150     wordr1[0] = combs_buf[il_pos].i[4];
 151     wordr1[1] = combs_buf[il_pos].i[5];
 152     wordr1[2] = combs_buf[il_pos].i[6];
 153     wordr1[3] = combs_buf[il_pos].i[7];
 154
 155     u32 wordr2[4];
 156
 157     wordr2[0] = 0;
 158     wordr2[1] = 0;
 159     wordr2[2] = 0;
 160     wordr2[3] = 0;
 161
 162     u32 wordr3[4];
 163
 164     wordr3[0] = 0;
 165     wordr3[1] = 0;
 166     wordr3[2] = 0;
 167     wordr3[3] = 0;
 168
 169     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 170     {
 171       append_0x80_2x4 (wordr0, wordr1, pw_r_len);
 172
 173       switch_buffer_by_offset_le (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 174     }
 175
 176     u32 w0[4];
 177
 178     w0[0] = wordl0[0] | wordr0[0];
 179     w0[1] = wordl0[1] | wordr0[1];
 180     w0[2] = wordl0[2] | wordr0[2];
 181     w0[3] = wordl0[3] | wordr0[3];
 182
 183     u32 w1[4];
 184
 185     w1[0] = wordl1[0] | wordr1[0];
 186     w1[1] = wordl1[1] | wordr1[1];
 187     w1[2] = wordl1[2] | wordr1[2];
 188     w1[3] = wordl1[3] | wordr1[3];
 189
 190     u32 w2[4];
 191
 192     w2[0] = wordl2[0] | wordr2[0];
 193     w2[1] = wordl2[1] | wordr2[1];
 194     w2[2] = wordl2[2] | wordr2[2];
 195     w2[3] = wordl2[3] | wordr2[3];
 196
 197     u32 w3[4];
 198
 199     w3[0] = wordl3[0] | wordr3[0];
 200     w3[1] = wordl3[1] | wordr3[1];
 201     w3[2] = 0;
 202     w3[3] = 0;
 203
 204     /**
 205      * sha1
 206      */
 207
 208     u32 w0_t = swap32 (w0[0]);
 209     u32 w1_t = swap32 (w0[1]);
 210     u32 w2_t = swap32 (w0[2]);
 211     u32 w3_t = swap32 (w0[3]);
 212     u32 w4_t = swap32 (w1[0]);
 213     u32 w5_t = swap32 (w1[1]);
 214     u32 w6_t = swap32 (w1[2]);
 215     u32 w7_t = swap32 (w1[3]);
 216     u32 w8_t = swap32 (w2[0]);
 217     u32 w9_t = swap32 (w2[1]);
 218     u32 wa_t = swap32 (w2[2]);
 219     u32 wb_t = swap32 (w2[3]);
 220     u32 wc_t = swap32 (w3[0]);
 221     u32 wd_t = swap32 (w3[1]);
 222     u32 we_t = 0;
 223     u32 wf_t = pw_len * 8;
 224
 225     u32 a = SHA1M_A;
 226     u32 b = SHA1M_B;
 227     u32 c = SHA1M_C;
 228     u32 d = SHA1M_D;
 229     u32 e = SHA1M_E;
 230
 231     #undef K
 232     #define K SHA1C00
 233
 234     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 235     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 236     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 237     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 238     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 239     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 240     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 241     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 242     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 243     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 244     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 245     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 246     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 247     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 248     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 249     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 250     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 251     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 252     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 253     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 254
 255     #undef K
 256     #define K SHA1C01
 257
 258     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 259     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 260     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 261     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 262     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 263     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 264     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 265     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 266     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 267     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 268     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 269     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 270     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 271     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 272     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 273     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 274     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 275     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 276     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 277     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 278
 279     #undef K
 280     #define K SHA1C02
 281
 282     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 283     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 284     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 285     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 286     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 287     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 288     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 289     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 290     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 291     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 292     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 293     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 294     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 295     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 296     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 297     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 298     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 299     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 300     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 301     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 302
 303     #undef K
 304     #define K SHA1C03
 305
 306     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 307     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 308     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 309     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 310     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 311     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 312     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 313     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 314     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 315     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 316     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 317     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 318     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 319     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 320     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 321     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 322     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 323     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 324     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 325     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 326
 327     a += SHA1M_A;
 328     b += SHA1M_B;
 329     c += SHA1M_C;
 330     d += SHA1M_D;
 331     e += SHA1M_E;
 332
 333     /**
 334      * Prepend salt
 335      */
 336
 337     u32 w0t[4];
 338
 339     w0t[0] = uint_to_hex_lower8 ((a >> 24) & 255) <<  0
 340            | uint_to_hex_lower8 ((a >> 16) & 255) << 16;
 341     w0t[1] = uint_to_hex_lower8 ((a >>  8) & 255) <<  0
 342            | uint_to_hex_lower8 ((a >>  0) & 255) << 16;
 343     w0t[2] = uint_to_hex_lower8 ((b >> 24) & 255) <<  0
 344            | uint_to_hex_lower8 ((b >> 16) & 255) << 16;
 345     w0t[3] = uint_to_hex_lower8 ((b >>  8) & 255) <<  0
 346            | uint_to_hex_lower8 ((b >>  0) & 255) << 16;
 347
 348     u32 w1t[4];
 349
 350     w1t[0] = uint_to_hex_lower8 ((c >> 24) & 255) <<  0
 351            | uint_to_hex_lower8 ((c >> 16) & 255) << 16;
 352     w1t[1] = uint_to_hex_lower8 ((c >>  8) & 255) <<  0
 353            | uint_to_hex_lower8 ((c >>  0) & 255) << 16;
 354     w1t[2] = uint_to_hex_lower8 ((d >> 24) & 255) <<  0
 355            | uint_to_hex_lower8 ((d >> 16) & 255) << 16;
 356     w1t[3] = uint_to_hex_lower8 ((d >>  8) & 255) <<  0
 357            | uint_to_hex_lower8 ((d >>  0) & 255) << 16;
 358
 359     u32 w2t[2];
 360
 361     w2t[0] = uint_to_hex_lower8 ((e >> 24) & 255) <<  0
 362            | uint_to_hex_lower8 ((e >> 16) & 255) << 16;
 363     w2t[1] = uint_to_hex_lower8 ((e >>  8) & 255) <<  0
 364            | uint_to_hex_lower8 ((e >>  0) & 255) << 16;
 365
 366     w0_t = salt_buf0[0];
 367     w1_t = salt_buf0[1];
 368     w2_t = salt_buf0[2];
 369     w3_t = salt_buf0[3];
 370     w4_t = salt_buf1[0];
 371     w5_t = salt_buf1[1];
 372     w6_t = salt_buf1[2];
 373     w7_t = salt_buf1[3];
 374     w8_t = w0t[0];
 375     w9_t = w0t[1];
 376     wa_t = w0t[2];
 377     wb_t = w0t[3];
 378     wc_t = w1t[0];
 379     wd_t = w1t[1];
 380     we_t = w1t[2];
 381     wf_t = w1t[3];
 382
 383     /**
 384      * 2nd SHA1
 385      */
 386
 387     // 1st transform
 388
 389     w0_t = swap32 (w0_t);
 390     w1_t = swap32 (w1_t);
 391     w2_t = swap32 (w2_t);
 392     w3_t = swap32 (w3_t);
 393     w4_t = swap32 (w4_t);
 394     w5_t = swap32 (w5_t);
 395     w6_t = swap32 (w6_t);
 396     w7_t = swap32 (w7_t);
 397     w8_t = swap32 (w8_t);
 398     w9_t = swap32 (w9_t);
 399     wa_t = swap32 (wa_t);
 400     wb_t = swap32 (wb_t);
 401     wc_t = swap32 (wc_t);
 402     wd_t = swap32 (wd_t);
 403     we_t = swap32 (we_t);
 404     wf_t = swap32 (wf_t);
 405
 406     a = SHA1M_A;
 407     b = SHA1M_B;
 408     c = SHA1M_C;
 409     d = SHA1M_D;
 410     e = SHA1M_E;
 411
 412     #undef K
 413     #define K SHA1C00
 414
 415     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 416     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 417     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 418     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 419     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 420     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 421     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 422     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 423     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 424     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 425     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 426     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 427     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 428     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 429     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 430     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 431     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 432     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 433     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 434     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 435
 436     #undef K
 437     #define K SHA1C01
 438
 439     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 440     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 441     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 442     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 443     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 444     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 445     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 446     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 447     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 448     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 449     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 450     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 451     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 452     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 453     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 454     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 455     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 456     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 457     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 458     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 459
 460     #undef K
 461     #define K SHA1C02
 462
 463     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 464     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 465     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 466     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 467     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 468     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 469     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 470     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 471     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 472     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 473     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 474     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 475     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 476     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 477     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 478     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 479     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 480     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 481     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 482     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 483
 484     #undef K
 485     #define K SHA1C03
 486
 487     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 488     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 489     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 490     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 491     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 492     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 493     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 494     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 495     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 496     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 497     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 498     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 499     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 500     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 501     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 502     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 503     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 504     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 505     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 506     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 507
 508     a += SHA1M_A;
 509     b += SHA1M_B;
 510     c += SHA1M_C;
 511     d += SHA1M_D;
 512     e += SHA1M_E;
 513
 514     u32 r_a = a;
 515     u32 r_b = b;
 516     u32 r_c = c;
 517     u32 r_d = d;
 518     u32 r_e = e;
 519
 520     // 2nd transform
 521
 522     w0_t = swap32 (w2t[0]);
 523     w1_t = swap32 (w2t[1]);
 524     w2_t = 0x80000000;
 525     w3_t = 0;
 526     w4_t = 0;
 527     w5_t = 0;
 528     w6_t = 0;
 529     w7_t = 0;
 530     w8_t = 0;
 531     w9_t = 0;
 532     wa_t = 0;
 533     wb_t = 0;
 534     wc_t = 0;
 535     wd_t = 0;
 536     we_t = 0;
 537     wf_t = total_len;
 538
 539     #undef K
 540     #define K SHA1C00
 541
 542     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 543     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 544     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 545     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 546     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 547     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 548     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 549     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 550     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 551     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 552     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 553     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 554     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 555     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 556     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 557     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 558     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 559     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 560     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 561     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 562
 563     #undef K
 564     #define K SHA1C01
 565
 566     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 567     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 568     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 569     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 570     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 571     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 572     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 573     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 574     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 575     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 576     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 577     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 578     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 579     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 580     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 581     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 582     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 583     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 584     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 585     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 586
 587     #undef K
 588     #define K SHA1C02
 589
 590     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 591     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 592     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 593     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 594     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 595     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 596     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 597     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 598     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 599     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 600     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 601     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 602     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 603     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 604     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 605     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 606     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 607     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 608     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 609     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 610
 611     #undef K
 612     #define K SHA1C03
 613
 614     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 615     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 616     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 617     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 618     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 619     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 620     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 621     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 622     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 623     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 624     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 625     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 626     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 627     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 628     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 629     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 630     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 631     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 632     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 633     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 634
 635     a += r_a;
 636     b += r_b;
 637     c += r_c;
 638     d += r_d;
 639     e += r_e;
 640
 641     const u32 r0 = d;
 642     const u32 r1 = e;
 643     const u32 r2 = c;
 644     const u32 r3 = b;
 645
 646     #include COMPARE_M
 647   }
 648 }
 649
 650 __kernel void m07600_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 651 {
 652 }
 653
 654 __kernel void m07600_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 655 {
 656 }
 657
 658 __kernel void m07600_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 659 {
 660   /**
 661    * base
 662    */
 663
 664   const u32 gid = get_global_id (0);
 665   const u32 lid = get_local_id (0);
 666   const u32 lsz = get_local_size (0);
 667
 668   /**
 669    * shared
 670    */
 671
 672   __local u32 l_bin2asc[256];
 673
 674   for (u32 i = lid; i < 256; i += lsz)
 675   {
 676     const u32 i0 = (i >> 0) & 15;
 677     const u32 i1 = (i >> 4) & 15;
 678
 679     l_bin2asc[i] = ((i0 < 10) ? '0' + i0 : 'a' - 10 + i0) << 8
 680                  | ((i1 < 10) ? '0' + i1 : 'a' - 10 + i1) << 0;
 681   }
 682
 683   barrier (CLK_LOCAL_MEM_FENCE);
 684
 685   if (gid >= gid_max) return;
 686
 687   /**
 688    * base
 689    */
 690
 691   u32 wordl0[4];
 692
 693   wordl0[0] = pws[gid].i[ 0];
 694   wordl0[1] = pws[gid].i[ 1];
 695   wordl0[2] = pws[gid].i[ 2];
 696   wordl0[3] = pws[gid].i[ 3];
 697
 698   u32 wordl1[4];
 699
 700   wordl1[0] = pws[gid].i[ 4];
 701   wordl1[1] = pws[gid].i[ 5];
 702   wordl1[2] = pws[gid].i[ 6];
 703   wordl1[3] = pws[gid].i[ 7];
 704
 705   u32 wordl2[4];
 706
 707   wordl2[0] = 0;
 708   wordl2[1] = 0;
 709   wordl2[2] = 0;
 710   wordl2[3] = 0;
 711
 712   u32 wordl3[4];
 713
 714   wordl3[0] = 0;
 715   wordl3[1] = 0;
 716   wordl3[2] = 0;
 717   wordl3[3] = 0;
 718
 719   const u32 pw_l_len = pws[gid].pw_len;
 720
 721   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 722   {
 723     append_0x80_2x4 (wordl0, wordl1, pw_l_len);
 724
 725     switch_buffer_by_offset_le (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
 726   }
 727
 728   /**
 729    * salt
 730    */
 731
 732   u32 salt_buf0[4];
 733
 734   salt_buf0[0] = salt_bufs[salt_pos].salt_buf[ 0];
 735   salt_buf0[1] = salt_bufs[salt_pos].salt_buf[ 1];
 736   salt_buf0[2] = salt_bufs[salt_pos].salt_buf[ 2];
 737   salt_buf0[3] = salt_bufs[salt_pos].salt_buf[ 3];
 738
 739   u32 salt_buf1[4];
 740
 741   salt_buf1[0] = salt_bufs[salt_pos].salt_buf[ 4];
 742   salt_buf1[1] = salt_bufs[salt_pos].salt_buf[ 5];
 743   salt_buf1[2] = salt_bufs[salt_pos].salt_buf[ 6];
 744   salt_buf1[3] = salt_bufs[salt_pos].salt_buf[ 7];
 745
 746   u32 salt_buf2[4];
 747
 748   salt_buf2[0] = 0;
 749   salt_buf2[1] = 0;
 750   salt_buf2[2] = 0;
 751   salt_buf2[3] = 0;
 752
 753   u32 salt_buf3[4];
 754
 755   salt_buf3[0] = 0;
 756   salt_buf3[1] = 0;
 757   salt_buf3[2] = 0;
 758   salt_buf3[3] = 0;
 759
 760   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 761
 762   const u32 total_len = (salt_len + 40) * 8;
 763
 764   /**
 765    * digest
 766    */
 767
 768   const u32 search[4] =
 769   {
 770     digests_buf[digests_offset].digest_buf[DGST_R0],
 771     digests_buf[digests_offset].digest_buf[DGST_R1],
 772     digests_buf[digests_offset].digest_buf[DGST_R2],
 773     digests_buf[digests_offset].digest_buf[DGST_R3]
 774   };
 775
 776   /**
 777    * reverse
 778    */
 779
 780   const u32 e_rev = rotl32 (search[1], 2u);
 781
 782   /**
 783    * loop
 784    */
 785
 786   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 787   {
 788     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 789
 790     const u32 pw_len = pw_l_len + pw_r_len;
 791
 792     u32 wordr0[4];
 793
 794     wordr0[0] = combs_buf[il_pos].i[0];
 795     wordr0[1] = combs_buf[il_pos].i[1];
 796     wordr0[2] = combs_buf[il_pos].i[2];
 797     wordr0[3] = combs_buf[il_pos].i[3];
 798
 799     u32 wordr1[4];
 800
 801     wordr1[0] = combs_buf[il_pos].i[4];
 802     wordr1[1] = combs_buf[il_pos].i[5];
 803     wordr1[2] = combs_buf[il_pos].i[6];
 804     wordr1[3] = combs_buf[il_pos].i[7];
 805
 806     u32 wordr2[4];
 807
 808     wordr2[0] = 0;
 809     wordr2[1] = 0;
 810     wordr2[2] = 0;
 811     wordr2[3] = 0;
 812
 813     u32 wordr3[4];
 814
 815     wordr3[0] = 0;
 816     wordr3[1] = 0;
 817     wordr3[2] = 0;
 818     wordr3[3] = 0;
 819
 820     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 821     {
 822       append_0x80_2x4 (wordr0, wordr1, pw_r_len);
 823
 824       switch_buffer_by_offset_le (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 825     }
 826
 827     u32 w0[4];
 828
 829     w0[0] = wordl0[0] | wordr0[0];
 830     w0[1] = wordl0[1] | wordr0[1];
 831     w0[2] = wordl0[2] | wordr0[2];
 832     w0[3] = wordl0[3] | wordr0[3];
 833
 834     u32 w1[4];
 835
 836     w1[0] = wordl1[0] | wordr1[0];
 837     w1[1] = wordl1[1] | wordr1[1];
 838     w1[2] = wordl1[2] | wordr1[2];
 839     w1[3] = wordl1[3] | wordr1[3];
 840
 841     u32 w2[4];
 842
 843     w2[0] = wordl2[0] | wordr2[0];
 844     w2[1] = wordl2[1] | wordr2[1];
 845     w2[2] = wordl2[2] | wordr2[2];
 846     w2[3] = wordl2[3] | wordr2[3];
 847
 848     u32 w3[4];
 849
 850     w3[0] = wordl3[0] | wordr3[0];
 851     w3[1] = wordl3[1] | wordr3[1];
 852     w3[2] = 0;
 853     w3[3] = 0;
 854
 855     /**
 856      * sha1
 857      */
 858
 859     u32 w0_t = swap32 (w0[0]);
 860     u32 w1_t = swap32 (w0[1]);
 861     u32 w2_t = swap32 (w0[2]);
 862     u32 w3_t = swap32 (w0[3]);
 863     u32 w4_t = swap32 (w1[0]);
 864     u32 w5_t = swap32 (w1[1]);
 865     u32 w6_t = swap32 (w1[2]);
 866     u32 w7_t = swap32 (w1[3]);
 867     u32 w8_t = swap32 (w2[0]);
 868     u32 w9_t = swap32 (w2[1]);
 869     u32 wa_t = swap32 (w2[2]);
 870     u32 wb_t = swap32 (w2[3]);
 871     u32 wc_t = swap32 (w3[0]);
 872     u32 wd_t = swap32 (w3[1]);
 873     u32 we_t = 0;
 874     u32 wf_t = pw_len * 8;
 875
 876     u32 a = SHA1M_A;
 877     u32 b = SHA1M_B;
 878     u32 c = SHA1M_C;
 879     u32 d = SHA1M_D;
 880     u32 e = SHA1M_E;
 881
 882     #undef K
 883     #define K SHA1C00
 884
 885     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 886     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 887     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 888     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 889     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 890     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 891     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 892     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 893     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 894     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 895     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 896     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 897     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 898     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 899     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 900     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 901     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 902     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 903     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 904     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 905
 906     #undef K
 907     #define K SHA1C01
 908
 909     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 910     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 911     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 912     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 913     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 914     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 915     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 916     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 917     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 918     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 919     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 920     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 921     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 922     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 923     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 924     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 925     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 926     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 927     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 928     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 929
 930     #undef K
 931     #define K SHA1C02
 932
 933     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 934     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 935     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 936     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 937     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 938     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 939     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 940     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 941     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 942     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 943     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 944     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 945     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 946     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 947     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 948     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 949     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 950     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 951     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 952     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 953
 954     #undef K
 955     #define K SHA1C03
 956
 957     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 958     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 959     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 960     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 961     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 962     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 963     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 964     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 965     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 966     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 967     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 968     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 969     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 970     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 971     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 972     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 973     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 974     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 975     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 976     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 977
 978     a += SHA1M_A;
 979     b += SHA1M_B;
 980     c += SHA1M_C;
 981     d += SHA1M_D;
 982     e += SHA1M_E;
 983
 984     /**
 985      * Prepend salt
 986      */
 987
 988     u32 w0t[4];
 989
 990     w0t[0] = uint_to_hex_lower8 ((a >> 24) & 255) <<  0
 991            | uint_to_hex_lower8 ((a >> 16) & 255) << 16;
 992     w0t[1] = uint_to_hex_lower8 ((a >>  8) & 255) <<  0
 993            | uint_to_hex_lower8 ((a >>  0) & 255) << 16;
 994     w0t[2] = uint_to_hex_lower8 ((b >> 24) & 255) <<  0
 995            | uint_to_hex_lower8 ((b >> 16) & 255) << 16;
 996     w0t[3] = uint_to_hex_lower8 ((b >>  8) & 255) <<  0
 997            | uint_to_hex_lower8 ((b >>  0) & 255) << 16;
 998
 999     u32 w1t[4];
1000
1001     w1t[0] = uint_to_hex_lower8 ((c >> 24) & 255) <<  0
1002            | uint_to_hex_lower8 ((c >> 16) & 255) << 16;
1003     w1t[1] = uint_to_hex_lower8 ((c >>  8) & 255) <<  0
1004            | uint_to_hex_lower8 ((c >>  0) & 255) << 16;
1005     w1t[2] = uint_to_hex_lower8 ((d >> 24) & 255) <<  0
1006            | uint_to_hex_lower8 ((d >> 16) & 255) << 16;
1007     w1t[3] = uint_to_hex_lower8 ((d >>  8) & 255) <<  0
1008            | uint_to_hex_lower8 ((d >>  0) & 255) << 16;
1009
1010     u32 w2t[2];
1011
1012     w2t[0] = uint_to_hex_lower8 ((e >> 24) & 255) <<  0
1013            | uint_to_hex_lower8 ((e >> 16) & 255) << 16;
1014     w2t[1] = uint_to_hex_lower8 ((e >>  8) & 255) <<  0
1015            | uint_to_hex_lower8 ((e >>  0) & 255) << 16;
1016
1017     w0_t = salt_buf0[0];
1018     w1_t = salt_buf0[1];
1019     w2_t = salt_buf0[2];
1020     w3_t = salt_buf0[3];
1021     w4_t = salt_buf1[0];
1022     w5_t = salt_buf1[1];
1023     w6_t = salt_buf1[2];
1024     w7_t = salt_buf1[3];
1025     w8_t = w0t[0];
1026     w9_t = w0t[1];
1027     wa_t = w0t[2];
1028     wb_t = w0t[3];
1029     wc_t = w1t[0];
1030     wd_t = w1t[1];
1031     we_t = w1t[2];
1032     wf_t = w1t[3];
1033
1034     /**
1035      * 2nd SHA1
1036      */
1037
1038     // 1st transform
1039
1040     w0_t = swap32 (w0_t);
1041     w1_t = swap32 (w1_t);
1042     w2_t = swap32 (w2_t);
1043     w3_t = swap32 (w3_t);
1044     w4_t = swap32 (w4_t);
1045     w5_t = swap32 (w5_t);
1046     w6_t = swap32 (w6_t);
1047     w7_t = swap32 (w7_t);
1048     w8_t = swap32 (w8_t);
1049     w9_t = swap32 (w9_t);
1050     wa_t = swap32 (wa_t);
1051     wb_t = swap32 (wb_t);
1052     wc_t = swap32 (wc_t);
1053     wd_t = swap32 (wd_t);
1054     we_t = swap32 (we_t);
1055     wf_t = swap32 (wf_t);
1056
1057     a = SHA1M_A;
1058     b = SHA1M_B;
1059     c = SHA1M_C;
1060     d = SHA1M_D;
1061     e = SHA1M_E;
1062
1063     #undef K
1064     #define K SHA1C00
1065
1066     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
1067     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
1068     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
1069     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
1070     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
1071     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
1072     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
1073     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
1074     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
1075     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
1076     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
1077     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
1078     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
1079     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
1080     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
1081     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
1082     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
1083     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
1084     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
1085     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
1086
1087     #undef K
1088     #define K SHA1C01
1089
1090     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
1091     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
1092     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
1093     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
1094     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
1095     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
1096     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
1097     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
1098     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
1099     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
1100     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
1101     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
1102     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
1103     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
1104     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
1105     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
1106     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
1107     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
1108     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
1109     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
1110
1111     #undef K
1112     #define K SHA1C02
1113
1114     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
1115     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
1116     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
1117     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
1118     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
1119     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
1120     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
1121     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
1122     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
1123     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
1124     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
1125     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
1126     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
1127     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
1128     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
1129     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
1130     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
1131     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
1132     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
1133     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
1134
1135     #undef K
1136     #define K SHA1C03
1137
1138     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
1139     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
1140     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
1141     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
1142     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
1143     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
1144     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
1145     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
1146     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
1147     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
1148     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
1149     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
1150     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
1151     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
1152     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
1153     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
1154     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
1155     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
1156     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
1157     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
1158
1159     a += SHA1M_A;
1160     b += SHA1M_B;
1161     c += SHA1M_C;
1162     d += SHA1M_D;
1163     e += SHA1M_E;
1164
1165     u32 r_a = a;
1166     u32 r_b = b;
1167     u32 r_c = c;
1168     u32 r_d = d;
1169     u32 r_e = e;
1170
1171     // 2nd transform
1172
1173     w0_t = swap32 (w2t[0]);
1174     w1_t = swap32 (w2t[1]);
1175     w2_t = 0x80000000;
1176     w3_t = 0;
1177     w4_t = 0;
1178     w5_t = 0;
1179     w6_t = 0;
1180     w7_t = 0;
1181     w8_t = 0;
1182     w9_t = 0;
1183     wa_t = 0;
1184     wb_t = 0;
1185     wc_t = 0;
1186     wd_t = 0;
1187     we_t = 0;
1188     wf_t = total_len;
1189
1190     #undef K
1191     #define K SHA1C00
1192
1193     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
1194     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
1195     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
1196     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
1197     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
1198     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
1199     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
1200     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
1201     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
1202     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
1203     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
1204     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
1205     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
1206     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
1207     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
1208     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
1209     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
1210     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
1211     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
1212     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
1213
1214     #undef K
1215     #define K SHA1C01
1216
1217     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
1218     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
1219     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
1220     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
1221     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
1222     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
1223     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
1224     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
1225     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
1226     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
1227     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
1228     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
1229     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
1230     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
1231     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
1232     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
1233     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
1234     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
1235     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
1236     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
1237
1238     #undef K
1239     #define K SHA1C02
1240
1241     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
1242     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
1243     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
1244     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
1245     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
1246     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
1247     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
1248     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
1249     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
1250     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
1251     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
1252     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
1253     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
1254     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
1255     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
1256     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
1257     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
1258     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
1259     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
1260     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
1261
1262     #undef K
1263     #define K SHA1C03
1264
1265     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
1266     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
1267     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
1268     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
1269     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
1270     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
1271     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
1272     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
1273     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
1274     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
1275     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
1276     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
1277     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
1278     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
1279     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
1280     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
1281     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
1282     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
1283     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
1284     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
1285
1286     a += r_a;
1287     b += r_b;
1288     c += r_c;
1289     d += r_d;
1290     e += r_e;
1291
1292     const u32 r0 = d;
1293     const u32 r1 = e;
1294     const u32 r2 = c;
1295     const u32 r3 = b;
1296
1297     #include COMPARE_S
1298   }
1299 }
1300
1301 __kernel void m07600_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1302 {
1303 }
1304
1305 __kernel void m07600_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1306 {
1307 }