OpenCL/m13500_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA1_
   7
   8 //too much register pressure
   9 //#define NEW_SIMD_CODE
  10
  11 #include "inc_hash_constants.h"
  12 #include "inc_vendor.cl"
  13
  14 #define DGST_R0 3
  15 #define DGST_R1 4
  16 #define DGST_R2 2
  17 #define DGST_R3 1
  18
  19 #include "inc_hash_functions.cl"
  20 #include "inc_types.cl"
  21 #include "inc_common.cl"
  22 #include "inc_rp.h"
  23 #include "inc_rp.cl"
  24 #include "inc_simd.cl"
  25
  26 void memcat64c_be (u32x block[16], const u32 offset, u32x carry[16])
  27 {
  28   const u32 mod = offset & 3;
  29   const u32 div = offset / 4;
  30
  31   u32 tmp00;
  32   u32 tmp01;
  33   u32 tmp02;
  34   u32 tmp03;
  35   u32 tmp04;
  36   u32 tmp05;
  37   u32 tmp06;
  38   u32 tmp07;
  39   u32 tmp08;
  40   u32 tmp09;
  41   u32 tmp10;
  42   u32 tmp11;
  43   u32 tmp12;
  44   u32 tmp13;
  45   u32 tmp14;
  46   u32 tmp15;
  47   u32 tmp16;
  48
  49   #ifdef IS_NV
  50   const int selector = (0x76543210 >> ((offset & 3) * 4)) & 0xffff;
  51
  52   tmp00 = __byte_perm (carry[ 0],         0, selector);
  53   tmp01 = __byte_perm (carry[ 1], carry[ 0], selector);
  54   tmp02 = __byte_perm (carry[ 2], carry[ 1], selector);
  55   tmp03 = __byte_perm (carry[ 3], carry[ 2], selector);
  56   tmp04 = __byte_perm (carry[ 4], carry[ 3], selector);
  57   tmp05 = __byte_perm (carry[ 5], carry[ 4], selector);
  58   tmp06 = __byte_perm (carry[ 6], carry[ 5], selector);
  59   tmp07 = __byte_perm (carry[ 7], carry[ 6], selector);
  60   tmp08 = __byte_perm (carry[ 8], carry[ 7], selector);
  61   tmp09 = __byte_perm (carry[ 9], carry[ 8], selector);
  62   tmp10 = __byte_perm (carry[10], carry[ 9], selector);
  63   tmp11 = __byte_perm (carry[11], carry[10], selector);
  64   tmp12 = __byte_perm (carry[12], carry[11], selector);
  65   tmp13 = __byte_perm (carry[13], carry[12], selector);
  66   tmp14 = __byte_perm (carry[14], carry[13], selector);
  67   tmp15 = __byte_perm (carry[15], carry[14], selector);
  68   tmp16 = __byte_perm (        0, carry[15], selector);
  69   #endif
  70
  71   #if defined IS_AMD || defined IS_GENERIC
  72   tmp00 = amd_bytealign (        0, carry[ 0], offset);
  73   tmp01 = amd_bytealign (carry[ 0], carry[ 1], offset);
  74   tmp02 = amd_bytealign (carry[ 1], carry[ 2], offset);
  75   tmp03 = amd_bytealign (carry[ 2], carry[ 3], offset);
  76   tmp04 = amd_bytealign (carry[ 3], carry[ 4], offset);
  77   tmp05 = amd_bytealign (carry[ 4], carry[ 5], offset);
  78   tmp06 = amd_bytealign (carry[ 5], carry[ 6], offset);
  79   tmp07 = amd_bytealign (carry[ 6], carry[ 7], offset);
  80   tmp08 = amd_bytealign (carry[ 7], carry[ 8], offset);
  81   tmp09 = amd_bytealign (carry[ 8], carry[ 9], offset);
  82   tmp10 = amd_bytealign (carry[ 9], carry[10], offset);
  83   tmp11 = amd_bytealign (carry[10], carry[11], offset);
  84   tmp12 = amd_bytealign (carry[11], carry[12], offset);
  85   tmp13 = amd_bytealign (carry[12], carry[13], offset);
  86   tmp14 = amd_bytealign (carry[13], carry[14], offset);
  87   tmp15 = amd_bytealign (carry[14], carry[15], offset);
  88   tmp16 = amd_bytealign (carry[15],         0, offset);
  89   #endif
  90
  91   carry[ 0] = 0;
  92   carry[ 1] = 0;
  93   carry[ 2] = 0;
  94   carry[ 3] = 0;
  95   carry[ 4] = 0;
  96   carry[ 5] = 0;
  97   carry[ 6] = 0;
  98   carry[ 7] = 0;
  99   carry[ 8] = 0;
 100   carry[ 9] = 0;
 101   carry[10] = 0;
 102   carry[11] = 0;
 103   carry[12] = 0;
 104   carry[13] = 0;
 105   carry[14] = 0;
 106   carry[15] = 0;
 107
 108   switch (div)
 109   {
 110     case  0:  block[ 0] |= tmp00;
 111               block[ 1]  = tmp01;
 112               block[ 2]  = tmp02;
 113               block[ 3]  = tmp03;
 114               block[ 4]  = tmp04;
 115               block[ 5]  = tmp05;
 116               block[ 6]  = tmp06;
 117               block[ 7]  = tmp07;
 118               block[ 8]  = tmp08;
 119               block[ 9]  = tmp09;
 120               block[10]  = tmp10;
 121               block[11]  = tmp11;
 122               block[12]  = tmp12;
 123               block[13]  = tmp13;
 124               block[14]  = tmp14;
 125               block[15]  = tmp15;
 126               carry[ 0]  = tmp16;
 127               break;
 128     case  1:  block[ 1] |= tmp00;
 129               block[ 2]  = tmp01;
 130               block[ 3]  = tmp02;
 131               block[ 4]  = tmp03;
 132               block[ 5]  = tmp04;
 133               block[ 6]  = tmp05;
 134               block[ 7]  = tmp06;
 135               block[ 8]  = tmp07;
 136               block[ 9]  = tmp08;
 137               block[10]  = tmp09;
 138               block[11]  = tmp10;
 139               block[12]  = tmp11;
 140               block[13]  = tmp12;
 141               block[14]  = tmp13;
 142               block[15]  = tmp14;
 143               carry[ 0]  = tmp15;
 144               carry[ 1]  = tmp16;
 145               break;
 146     case  2:  block[ 2] |= tmp00;
 147               block[ 3]  = tmp01;
 148               block[ 4]  = tmp02;
 149               block[ 5]  = tmp03;
 150               block[ 6]  = tmp04;
 151               block[ 7]  = tmp05;
 152               block[ 8]  = tmp06;
 153               block[ 9]  = tmp07;
 154               block[10]  = tmp08;
 155               block[11]  = tmp09;
 156               block[12]  = tmp10;
 157               block[13]  = tmp11;
 158               block[14]  = tmp12;
 159               block[15]  = tmp13;
 160               carry[ 0]  = tmp14;
 161               carry[ 1]  = tmp15;
 162               carry[ 2]  = tmp16;
 163               break;
 164     case  3:  block[ 3] |= tmp00;
 165               block[ 4]  = tmp01;
 166               block[ 5]  = tmp02;
 167               block[ 6]  = tmp03;
 168               block[ 7]  = tmp04;
 169               block[ 8]  = tmp05;
 170               block[ 9]  = tmp06;
 171               block[10]  = tmp07;
 172               block[11]  = tmp08;
 173               block[12]  = tmp09;
 174               block[13]  = tmp10;
 175               block[14]  = tmp11;
 176               block[15]  = tmp12;
 177               carry[ 0]  = tmp13;
 178               carry[ 1]  = tmp14;
 179               carry[ 2]  = tmp15;
 180               carry[ 3]  = tmp16;
 181               break;
 182     case  4:  block[ 4] |= tmp00;
 183               block[ 5]  = tmp01;
 184               block[ 6]  = tmp02;
 185               block[ 7]  = tmp03;
 186               block[ 8]  = tmp04;
 187               block[ 9]  = tmp05;
 188               block[10]  = tmp06;
 189               block[11]  = tmp07;
 190               block[12]  = tmp08;
 191               block[13]  = tmp09;
 192               block[14]  = tmp10;
 193               block[15]  = tmp11;
 194               carry[ 0]  = tmp12;
 195               carry[ 1]  = tmp13;
 196               carry[ 2]  = tmp14;
 197               carry[ 3]  = tmp15;
 198               carry[ 4]  = tmp16;
 199               break;
 200     case  5:  block[ 5] |= tmp00;
 201               block[ 6]  = tmp01;
 202               block[ 7]  = tmp02;
 203               block[ 8]  = tmp03;
 204               block[ 9]  = tmp04;
 205               block[10]  = tmp05;
 206               block[11]  = tmp06;
 207               block[12]  = tmp07;
 208               block[13]  = tmp08;
 209               block[14]  = tmp09;
 210               block[15]  = tmp10;
 211               carry[ 0]  = tmp11;
 212               carry[ 1]  = tmp12;
 213               carry[ 2]  = tmp13;
 214               carry[ 3]  = tmp14;
 215               carry[ 4]  = tmp15;
 216               carry[ 5]  = tmp16;
 217               break;
 218     case  6:  block[ 6] |= tmp00;
 219               block[ 7]  = tmp01;
 220               block[ 8]  = tmp02;
 221               block[ 9]  = tmp03;
 222               block[10]  = tmp04;
 223               block[11]  = tmp05;
 224               block[12]  = tmp06;
 225               block[13]  = tmp07;
 226               block[14]  = tmp08;
 227               block[15]  = tmp09;
 228               carry[ 0]  = tmp10;
 229               carry[ 1]  = tmp11;
 230               carry[ 2]  = tmp12;
 231               carry[ 3]  = tmp13;
 232               carry[ 4]  = tmp14;
 233               carry[ 5]  = tmp15;
 234               carry[ 6]  = tmp16;
 235               break;
 236     case  7:  block[ 7] |= tmp00;
 237               block[ 8]  = tmp01;
 238               block[ 9]  = tmp02;
 239               block[10]  = tmp03;
 240               block[11]  = tmp04;
 241               block[12]  = tmp05;
 242               block[13]  = tmp06;
 243               block[14]  = tmp07;
 244               block[15]  = tmp08;
 245               carry[ 0]  = tmp09;
 246               carry[ 1]  = tmp10;
 247               carry[ 2]  = tmp11;
 248               carry[ 3]  = tmp12;
 249               carry[ 4]  = tmp13;
 250               carry[ 5]  = tmp14;
 251               carry[ 6]  = tmp15;
 252               carry[ 7]  = tmp16;
 253               break;
 254     case  8:  block[ 8] |= tmp00;
 255               block[ 9]  = tmp01;
 256               block[10]  = tmp02;
 257               block[11]  = tmp03;
 258               block[12]  = tmp04;
 259               block[13]  = tmp05;
 260               block[14]  = tmp06;
 261               block[15]  = tmp07;
 262               carry[ 0]  = tmp08;
 263               carry[ 1]  = tmp09;
 264               carry[ 2]  = tmp10;
 265               carry[ 3]  = tmp11;
 266               carry[ 4]  = tmp12;
 267               carry[ 5]  = tmp13;
 268               carry[ 6]  = tmp14;
 269               carry[ 7]  = tmp15;
 270               carry[ 8]  = tmp16;
 271               break;
 272     case  9:  block[ 9] |= tmp00;
 273               block[10]  = tmp01;
 274               block[11]  = tmp02;
 275               block[12]  = tmp03;
 276               block[13]  = tmp04;
 277               block[14]  = tmp05;
 278               block[15]  = tmp06;
 279               carry[ 0]  = tmp07;
 280               carry[ 1]  = tmp08;
 281               carry[ 2]  = tmp09;
 282               carry[ 3]  = tmp10;
 283               carry[ 4]  = tmp11;
 284               carry[ 5]  = tmp12;
 285               carry[ 6]  = tmp13;
 286               carry[ 7]  = tmp14;
 287               carry[ 8]  = tmp15;
 288               carry[ 9]  = tmp16;
 289               break;
 290     case 10:  block[10] |= tmp00;
 291               block[11]  = tmp01;
 292               block[12]  = tmp02;
 293               block[13]  = tmp03;
 294               block[14]  = tmp04;
 295               block[15]  = tmp05;
 296               carry[ 0]  = tmp06;
 297               carry[ 1]  = tmp07;
 298               carry[ 2]  = tmp08;
 299               carry[ 3]  = tmp09;
 300               carry[ 4]  = tmp10;
 301               carry[ 5]  = tmp11;
 302               carry[ 6]  = tmp12;
 303               carry[ 7]  = tmp13;
 304               carry[ 8]  = tmp14;
 305               carry[ 9]  = tmp15;
 306               carry[10]  = tmp16;
 307               break;
 308     case 11:  block[11] |= tmp00;
 309               block[12]  = tmp01;
 310               block[13]  = tmp02;
 311               block[14]  = tmp03;
 312               block[15]  = tmp04;
 313               carry[ 0]  = tmp05;
 314               carry[ 1]  = tmp06;
 315               carry[ 2]  = tmp07;
 316               carry[ 3]  = tmp08;
 317               carry[ 4]  = tmp09;
 318               carry[ 5]  = tmp10;
 319               carry[ 6]  = tmp11;
 320               carry[ 7]  = tmp12;
 321               carry[ 8]  = tmp13;
 322               carry[ 9]  = tmp14;
 323               carry[10]  = tmp15;
 324               carry[11]  = tmp16;
 325               break;
 326     case 12:  block[12] |= tmp00;
 327               block[13]  = tmp01;
 328               block[14]  = tmp02;
 329               block[15]  = tmp03;
 330               carry[ 0]  = tmp04;
 331               carry[ 1]  = tmp05;
 332               carry[ 2]  = tmp06;
 333               carry[ 3]  = tmp07;
 334               carry[ 4]  = tmp08;
 335               carry[ 5]  = tmp09;
 336               carry[ 6]  = tmp10;
 337               carry[ 7]  = tmp11;
 338               carry[ 8]  = tmp12;
 339               carry[ 9]  = tmp13;
 340               carry[10]  = tmp14;
 341               carry[11]  = tmp15;
 342               carry[12]  = tmp16;
 343               break;
 344     case 13:  block[13] |= tmp00;
 345               block[14]  = tmp01;
 346               block[15]  = tmp02;
 347               carry[ 0]  = tmp03;
 348               carry[ 1]  = tmp04;
 349               carry[ 2]  = tmp05;
 350               carry[ 3]  = tmp06;
 351               carry[ 4]  = tmp07;
 352               carry[ 5]  = tmp08;
 353               carry[ 6]  = tmp09;
 354               carry[ 7]  = tmp10;
 355               carry[ 8]  = tmp11;
 356               carry[ 9]  = tmp12;
 357               carry[10]  = tmp13;
 358               carry[11]  = tmp14;
 359               carry[12]  = tmp15;
 360               carry[13]  = tmp16;
 361               break;
 362     case 14:  block[14] |= tmp00;
 363               block[15]  = tmp01;
 364               carry[ 0]  = tmp02;
 365               carry[ 1]  = tmp03;
 366               carry[ 2]  = tmp04;
 367               carry[ 3]  = tmp05;
 368               carry[ 4]  = tmp06;
 369               carry[ 5]  = tmp07;
 370               carry[ 6]  = tmp08;
 371               carry[ 7]  = tmp09;
 372               carry[ 8]  = tmp10;
 373               carry[ 9]  = tmp11;
 374               carry[10]  = tmp12;
 375               carry[11]  = tmp13;
 376               carry[12]  = tmp14;
 377               carry[13]  = tmp15;
 378               carry[14]  = tmp16;
 379               break;
 380     case 15:  block[15] |= tmp00;
 381               carry[ 0]  = tmp01;
 382               carry[ 1]  = tmp02;
 383               carry[ 2]  = tmp03;
 384               carry[ 3]  = tmp04;
 385               carry[ 4]  = tmp05;
 386               carry[ 5]  = tmp06;
 387               carry[ 6]  = tmp07;
 388               carry[ 7]  = tmp08;
 389               carry[ 8]  = tmp09;
 390               carry[ 9]  = tmp10;
 391               carry[10]  = tmp11;
 392               carry[11]  = tmp12;
 393               carry[12]  = tmp13;
 394               carry[13]  = tmp14;
 395               carry[14]  = tmp15;
 396               carry[15]  = tmp16;
 397               break;
 398   }
 399 }
 400
 401 __kernel void m13500_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pstoken_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 402 {
 403   /**
 404    * modifier
 405    */
 406
 407   const u32 lid = get_local_id (0);
 408
 409   /**
 410    * base
 411    */
 412
 413   const u32 gid = get_global_id (0);
 414
 415   if (gid >= gid_max) return;
 416
 417   u32 pw_buf0[4];
 418   u32 pw_buf1[4];
 419
 420   pw_buf0[0] = pws[gid].i[0];
 421   pw_buf0[1] = pws[gid].i[1];
 422   pw_buf0[2] = pws[gid].i[2];
 423   pw_buf0[3] = pws[gid].i[3];
 424   pw_buf1[0] = pws[gid].i[4];
 425   pw_buf1[1] = pws[gid].i[5];
 426   pw_buf1[2] = pws[gid].i[6];
 427   pw_buf1[3] = pws[gid].i[7];
 428
 429   const u32 pw_len = pws[gid].pw_len;
 430
 431   /**
 432    * salt
 433    */
 434
 435   const u32 pc_offset = esalt_bufs[salt_pos].pc_offset;
 436
 437   u32 pc_digest[5];
 438
 439   pc_digest[0] = esalt_bufs[salt_pos].pc_digest[0];
 440   pc_digest[1] = esalt_bufs[salt_pos].pc_digest[1];
 441   pc_digest[2] = esalt_bufs[salt_pos].pc_digest[2];
 442   pc_digest[3] = esalt_bufs[salt_pos].pc_digest[3];
 443   pc_digest[4] = esalt_bufs[salt_pos].pc_digest[4];
 444
 445   u32 salt_buf0[4];
 446   u32 salt_buf1[4];
 447   u32 salt_buf2[4];
 448   u32 salt_buf3[4];
 449
 450   salt_buf0[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  0]);
 451   salt_buf0[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  1]);
 452   salt_buf0[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  2]);
 453   salt_buf0[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  3]);
 454   salt_buf1[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  4]);
 455   salt_buf1[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  5]);
 456   salt_buf1[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  6]);
 457   salt_buf1[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  7]);
 458   salt_buf2[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  8]);
 459   salt_buf2[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  9]);
 460   salt_buf2[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 10]);
 461   salt_buf2[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 11]);
 462   salt_buf3[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 12]);
 463   salt_buf3[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 13]);
 464   salt_buf3[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 14]);
 465   salt_buf3[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 15]);
 466
 467   const u32 salt_len = esalt_bufs[salt_pos].salt_len;
 468
 469   /**
 470    * loop
 471    */
 472
 473   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 474   {
 475     u32x w0[4] = { 0 };
 476     u32x w1[4] = { 0 };
 477     u32x w2[4] = { 0 };
 478     u32x w3[4] = { 0 };
 479
 480     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 481
 482     append_0x80_2x4_VV (w0, w1, out_len);
 483
 484     make_unicode (w1, w2, w3);
 485     make_unicode (w0, w0, w1);
 486
 487     const u32x out_len2 = out_len * 2;
 488
 489     const u32x out_salt_len = out_len2 + salt_len;
 490
 491     /**
 492      * prepend salt -- can't stay outside the loop this time
 493      */
 494
 495     u32x carry[16];
 496
 497     carry[ 0] = swap32 (w0[0]);
 498     carry[ 1] = swap32 (w0[1]);
 499     carry[ 2] = swap32 (w0[2]);
 500     carry[ 3] = swap32 (w0[3]);
 501     carry[ 4] = swap32 (w1[0]);
 502     carry[ 5] = swap32 (w1[1]);
 503     carry[ 6] = swap32 (w1[2]);
 504     carry[ 7] = swap32 (w1[3]);
 505     carry[ 8] = swap32 (w2[0]);
 506     carry[ 9] = swap32 (w2[1]);
 507     carry[10] = swap32 (w2[2]);
 508     carry[11] = swap32 (w2[3]);
 509     carry[12] = swap32 (w3[0]);
 510     carry[13] = swap32 (w3[1]);
 511     carry[14] = swap32 (w3[2]);
 512     carry[15] = swap32 (w3[3]);
 513
 514     u32x w[16];
 515
 516     w[ 0] = salt_buf0[0];
 517     w[ 1] = salt_buf0[1];
 518     w[ 2] = salt_buf0[2];
 519     w[ 3] = salt_buf0[3];
 520     w[ 4] = salt_buf1[0];
 521     w[ 5] = salt_buf1[1];
 522     w[ 6] = salt_buf1[2];
 523     w[ 7] = salt_buf1[3];
 524     w[ 8] = salt_buf2[0];
 525     w[ 9] = salt_buf2[1];
 526     w[10] = salt_buf2[2];
 527     w[11] = salt_buf2[3];
 528     w[12] = salt_buf3[0];
 529     w[13] = salt_buf3[1];
 530     w[14] = salt_buf3[2];
 531     w[15] = salt_buf3[3];
 532
 533     memcat64c_be (w, salt_len & 0x3f, carry);
 534
 535     u32x a = pc_digest[0];
 536     u32x b = pc_digest[1];
 537     u32x c = pc_digest[2];
 538     u32x d = pc_digest[3];
 539     u32x e = pc_digest[4];
 540
 541     if (((salt_len & 0x3f) + out_len2) >= 56)
 542     {
 543       u32x w0_t = w[ 0];
 544       u32x w1_t = w[ 1];
 545       u32x w2_t = w[ 2];
 546       u32x w3_t = w[ 3];
 547       u32x w4_t = w[ 4];
 548       u32x w5_t = w[ 5];
 549       u32x w6_t = w[ 6];
 550       u32x w7_t = w[ 7];
 551       u32x w8_t = w[ 8];
 552       u32x w9_t = w[ 9];
 553       u32x wa_t = w[10];
 554       u32x wb_t = w[11];
 555       u32x wc_t = w[12];
 556       u32x wd_t = w[13];
 557       u32x we_t = w[14];
 558       u32x wf_t = w[15];
 559
 560       #undef K
 561       #define K SHA1C00
 562
 563       SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 564       SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 565       SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 566       SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 567       SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 568       SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 569       SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 570       SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 571       SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 572       SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 573       SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 574       SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 575       SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 576       SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 577       SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 578       SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 579       w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 580       w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 581       w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 582       w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 583
 584       #undef K
 585       #define K SHA1C01
 586
 587       w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 588       w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 589       w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 590       w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 591       w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 592       w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 593       wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 594       wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 595       wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 596       wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 597       we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 598       wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 599       w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 600       w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 601       w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 602       w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 603       w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 604       w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 605       w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 606       w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 607
 608       #undef K
 609       #define K SHA1C02
 610
 611       w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 612       w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 613       wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 614       wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 615       wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 616       wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 617       we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 618       wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 619       w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 620       w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 621       w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 622       w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 623       w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 624       w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 625       w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 626       w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 627       w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 628       w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 629       wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 630       wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 631
 632       #undef K
 633       #define K SHA1C03
 634
 635       wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 636       wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 637       we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 638       wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 639       w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 640       w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 641       w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 642       w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 643       w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 644       w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 645       w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 646       w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 647       w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 648       w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 649       wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 650       wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 651       wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 652       wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 653       we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 654       wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 655
 656       a += pc_digest[0];
 657       b += pc_digest[1];
 658       c += pc_digest[2];
 659       d += pc_digest[3];
 660       e += pc_digest[4];
 661
 662       w[ 0] = carry[ 0];
 663       w[ 1] = carry[ 1];
 664       w[ 2] = carry[ 2];
 665       w[ 3] = carry[ 3];
 666       w[ 4] = carry[ 4];
 667       w[ 5] = carry[ 5];
 668       w[ 6] = carry[ 6];
 669       w[ 7] = carry[ 7];
 670       w[ 8] = carry[ 8];
 671       w[ 9] = carry[ 9];
 672       w[10] = carry[10];
 673       w[11] = carry[11];
 674       w[12] = carry[12];
 675       w[13] = carry[13];
 676       w[14] = carry[14];
 677       w[15] = carry[15];
 678     }
 679
 680     /**
 681      * final sha1
 682      */
 683
 684     u32x w0_t = w[ 0];
 685     u32x w1_t = w[ 1];
 686     u32x w2_t = w[ 2];
 687     u32x w3_t = w[ 3];
 688     u32x w4_t = w[ 4];
 689     u32x w5_t = w[ 5];
 690     u32x w6_t = w[ 6];
 691     u32x w7_t = w[ 7];
 692     u32x w8_t = w[ 8];
 693     u32x w9_t = w[ 9];
 694     u32x wa_t = w[10];
 695     u32x wb_t = w[11];
 696     u32x wc_t = w[12];
 697     u32x wd_t = w[13];
 698     u32x we_t = 0;
 699     u32x wf_t = out_salt_len * 8;
 700
 701     u32x r_a = a;
 702     u32x r_b = b;
 703     u32x r_c = c;
 704     u32x r_d = d;
 705     u32x r_e = e;
 706
 707     #undef K
 708     #define K SHA1C00
 709
 710     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 711     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 712     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 713     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 714     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 715     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 716     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 717     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 718     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 719     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 720     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 721     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 722     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 723     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 724     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 725     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 726     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 727     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 728     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 729     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 730
 731     #undef K
 732     #define K SHA1C01
 733
 734     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 735     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 736     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 737     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 738     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 739     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 740     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 741     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 742     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 743     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 744     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 745     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 746     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 747     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 748     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 749     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 750     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 751     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 752     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 753     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 754
 755     #undef K
 756     #define K SHA1C02
 757
 758     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 759     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 760     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 761     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 762     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 763     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 764     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 765     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 766     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 767     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 768     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 769     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 770     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 771     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 772     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 773     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 774     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 775     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 776     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 777     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 778
 779     #undef K
 780     #define K SHA1C03
 781
 782     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 783     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 784     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 785     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 786     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 787     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 788     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 789     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 790     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 791     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 792     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 793     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 794     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 795     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 796     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 797     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 798     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 799     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 800     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 801     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 802
 803     a += r_a;
 804     b += r_b;
 805     c += r_c;
 806     d += r_d;
 807     e += r_e;
 808
 809     COMPARE_M_SIMD (d, e, c, b);
 810   }
 811 }
 812
 813 __kernel void m13500_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pstoken_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 814 {
 815 }
 816
 817 __kernel void m13500_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pstoken_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 818 {
 819 }
 820
 821 __kernel void m13500_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pstoken_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 822 {
 823   /**
 824    * modifier
 825    */
 826
 827   const u32 lid = get_local_id (0);
 828
 829   /**
 830    * base
 831    */
 832
 833   const u32 gid = get_global_id (0);
 834
 835   if (gid >= gid_max) return;
 836
 837   u32 pw_buf0[4];
 838   u32 pw_buf1[4];
 839
 840   pw_buf0[0] = pws[gid].i[0];
 841   pw_buf0[1] = pws[gid].i[1];
 842   pw_buf0[2] = pws[gid].i[2];
 843   pw_buf0[3] = pws[gid].i[3];
 844   pw_buf1[0] = pws[gid].i[4];
 845   pw_buf1[1] = pws[gid].i[5];
 846   pw_buf1[2] = pws[gid].i[6];
 847   pw_buf1[3] = pws[gid].i[7];
 848
 849   const u32 pw_len = pws[gid].pw_len;
 850
 851   /**
 852    * salt
 853    */
 854
 855   const u32 pc_offset = esalt_bufs[salt_pos].pc_offset;
 856
 857   u32 pc_digest[5];
 858
 859   pc_digest[0] = esalt_bufs[salt_pos].pc_digest[0];
 860   pc_digest[1] = esalt_bufs[salt_pos].pc_digest[1];
 861   pc_digest[2] = esalt_bufs[salt_pos].pc_digest[2];
 862   pc_digest[3] = esalt_bufs[salt_pos].pc_digest[3];
 863   pc_digest[4] = esalt_bufs[salt_pos].pc_digest[4];
 864
 865   u32 salt_buf0[4];
 866   u32 salt_buf1[4];
 867   u32 salt_buf2[4];
 868   u32 salt_buf3[4];
 869
 870   salt_buf0[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  0]);
 871   salt_buf0[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  1]);
 872   salt_buf0[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  2]);
 873   salt_buf0[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  3]);
 874   salt_buf1[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  4]);
 875   salt_buf1[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  5]);
 876   salt_buf1[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  6]);
 877   salt_buf1[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  7]);
 878   salt_buf2[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  8]);
 879   salt_buf2[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset +  9]);
 880   salt_buf2[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 10]);
 881   salt_buf2[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 11]);
 882   salt_buf3[0] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 12]);
 883   salt_buf3[1] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 13]);
 884   salt_buf3[2] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 14]);
 885   salt_buf3[3] = swap32_S (esalt_bufs[salt_pos].salt_buf[pc_offset + 15]);
 886
 887   const u32 salt_len = esalt_bufs[salt_pos].salt_len;
 888
 889   /**
 890    * digest
 891    */
 892
 893   const u32 search[4] =
 894   {
 895     digests_buf[digests_offset].digest_buf[DGST_R0],
 896     digests_buf[digests_offset].digest_buf[DGST_R1],
 897     digests_buf[digests_offset].digest_buf[DGST_R2],
 898     digests_buf[digests_offset].digest_buf[DGST_R3]
 899   };
 900
 901   /**
 902    * loop
 903    */
 904
 905   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 906   {
 907     u32x w0[4] = { 0 };
 908     u32x w1[4] = { 0 };
 909     u32x w2[4] = { 0 };
 910     u32x w3[4] = { 0 };
 911
 912     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 913
 914     append_0x80_2x4_VV (w0, w1, out_len);
 915
 916     make_unicode (w1, w2, w3);
 917     make_unicode (w0, w0, w1);
 918
 919     const u32x out_len2 = out_len * 2;
 920
 921     const u32x out_salt_len = out_len2 + salt_len;
 922
 923     /**
 924      * prepend salt -- can't stay outside the loop this time
 925      */
 926
 927     u32x carry[16];
 928
 929     carry[ 0] = swap32 (w0[0]);
 930     carry[ 1] = swap32 (w0[1]);
 931     carry[ 2] = swap32 (w0[2]);
 932     carry[ 3] = swap32 (w0[3]);
 933     carry[ 4] = swap32 (w1[0]);
 934     carry[ 5] = swap32 (w1[1]);
 935     carry[ 6] = swap32 (w1[2]);
 936     carry[ 7] = swap32 (w1[3]);
 937     carry[ 8] = swap32 (w2[0]);
 938     carry[ 9] = swap32 (w2[1]);
 939     carry[10] = swap32 (w2[2]);
 940     carry[11] = swap32 (w2[3]);
 941     carry[12] = swap32 (w3[0]);
 942     carry[13] = swap32 (w3[1]);
 943     carry[14] = swap32 (w3[2]);
 944     carry[15] = swap32 (w3[3]);
 945
 946     u32x w[16];
 947
 948     w[ 0] = salt_buf0[0];
 949     w[ 1] = salt_buf0[1];
 950     w[ 2] = salt_buf0[2];
 951     w[ 3] = salt_buf0[3];
 952     w[ 4] = salt_buf1[0];
 953     w[ 5] = salt_buf1[1];
 954     w[ 6] = salt_buf1[2];
 955     w[ 7] = salt_buf1[3];
 956     w[ 8] = salt_buf2[0];
 957     w[ 9] = salt_buf2[1];
 958     w[10] = salt_buf2[2];
 959     w[11] = salt_buf2[3];
 960     w[12] = salt_buf3[0];
 961     w[13] = salt_buf3[1];
 962     w[14] = salt_buf3[2];
 963     w[15] = salt_buf3[3];
 964
 965     memcat64c_be (w, salt_len & 0x3f, carry);
 966
 967     u32x a = pc_digest[0];
 968     u32x b = pc_digest[1];
 969     u32x c = pc_digest[2];
 970     u32x d = pc_digest[3];
 971     u32x e = pc_digest[4];
 972
 973     if (((salt_len & 0x3f) + out_len2) >= 56)
 974     {
 975       u32x w0_t = w[ 0];
 976       u32x w1_t = w[ 1];
 977       u32x w2_t = w[ 2];
 978       u32x w3_t = w[ 3];
 979       u32x w4_t = w[ 4];
 980       u32x w5_t = w[ 5];
 981       u32x w6_t = w[ 6];
 982       u32x w7_t = w[ 7];
 983       u32x w8_t = w[ 8];
 984       u32x w9_t = w[ 9];
 985       u32x wa_t = w[10];
 986       u32x wb_t = w[11];
 987       u32x wc_t = w[12];
 988       u32x wd_t = w[13];
 989       u32x we_t = w[14];
 990       u32x wf_t = w[15];
 991
 992       #undef K
 993       #define K SHA1C00
 994
 995       SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 996       SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 997       SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 998       SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 999       SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
1000       SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
1001       SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
1002       SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
1003       SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
1004       SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
1005       SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
1006       SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
1007       SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
1008       SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
1009       SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
1010       SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
1011       w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
1012       w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
1013       w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
1014       w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
1015
1016       #undef K
1017       #define K SHA1C01
1018
1019       w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
1020       w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
1021       w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
1022       w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
1023       w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
1024       w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
1025       wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
1026       wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
1027       wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
1028       wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
1029       we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
1030       wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
1031       w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
1032       w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
1033       w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
1034       w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
1035       w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
1036       w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
1037       w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
1038       w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
1039
1040       #undef K
1041       #define K SHA1C02
1042
1043       w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
1044       w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
1045       wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
1046       wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
1047       wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
1048       wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
1049       we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
1050       wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
1051       w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
1052       w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
1053       w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
1054       w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
1055       w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
1056       w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
1057       w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
1058       w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
1059       w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
1060       w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
1061       wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
1062       wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
1063
1064       #undef K
1065       #define K SHA1C03
1066
1067       wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
1068       wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
1069       we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
1070       wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
1071       w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
1072       w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
1073       w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
1074       w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
1075       w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
1076       w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
1077       w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
1078       w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
1079       w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
1080       w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
1081       wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
1082       wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
1083       wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
1084       wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
1085       we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
1086       wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
1087
1088       a += pc_digest[0];
1089       b += pc_digest[1];
1090       c += pc_digest[2];
1091       d += pc_digest[3];
1092       e += pc_digest[4];
1093
1094       w[ 0] = carry[ 0];
1095       w[ 1] = carry[ 1];
1096       w[ 2] = carry[ 2];
1097       w[ 3] = carry[ 3];
1098       w[ 4] = carry[ 4];
1099       w[ 5] = carry[ 5];
1100       w[ 6] = carry[ 6];
1101       w[ 7] = carry[ 7];
1102       w[ 8] = carry[ 8];
1103       w[ 9] = carry[ 9];
1104       w[10] = carry[10];
1105       w[11] = carry[11];
1106       w[12] = carry[12];
1107       w[13] = carry[13];
1108       w[14] = carry[14];
1109       w[15] = carry[15];
1110     }
1111
1112     /**
1113      * final sha1
1114      */
1115
1116     u32x w0_t = w[ 0];
1117     u32x w1_t = w[ 1];
1118     u32x w2_t = w[ 2];
1119     u32x w3_t = w[ 3];
1120     u32x w4_t = w[ 4];
1121     u32x w5_t = w[ 5];
1122     u32x w6_t = w[ 6];
1123     u32x w7_t = w[ 7];
1124     u32x w8_t = w[ 8];
1125     u32x w9_t = w[ 9];
1126     u32x wa_t = w[10];
1127     u32x wb_t = w[11];
1128     u32x wc_t = w[12];
1129     u32x wd_t = w[13];
1130     u32x we_t = 0;
1131     u32x wf_t = out_salt_len * 8;
1132
1133     u32x r_a = a;
1134     u32x r_b = b;
1135     u32x r_c = c;
1136     u32x r_d = d;
1137     u32x r_e = e;
1138
1139     #undef K
1140     #define K SHA1C00
1141
1142     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
1143     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
1144     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
1145     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
1146     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
1147     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
1148     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
1149     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
1150     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
1151     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
1152     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
1153     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
1154     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
1155     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
1156     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
1157     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
1158     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
1159     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
1160     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
1161     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
1162
1163     #undef K
1164     #define K SHA1C01
1165
1166     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
1167     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
1168     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
1169     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
1170     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
1171     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
1172     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
1173     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
1174     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
1175     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
1176     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
1177     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
1178     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
1179     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
1180     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
1181     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
1182     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
1183     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
1184     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
1185     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
1186
1187     #undef K
1188     #define K SHA1C02
1189
1190     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
1191     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
1192     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
1193     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
1194     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
1195     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
1196     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
1197     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
1198     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
1199     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
1200     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
1201     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
1202     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
1203     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
1204     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
1205     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
1206     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
1207     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
1208     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
1209     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
1210
1211     #undef K
1212     #define K SHA1C03
1213
1214     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
1215     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
1216     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
1217     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
1218     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
1219     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
1220     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
1221     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
1222     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
1223     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
1224     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
1225     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
1226     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
1227     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
1228     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
1229     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
1230     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
1231     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
1232     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
1233     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
1234
1235     a += r_a;
1236     b += r_b;
1237     c += r_c;
1238     d += r_d;
1239     e += r_e;
1240
1241     COMPARE_S_SIMD (d, e, c, b);
1242   }
1243 }
1244
1245 __kernel void m13500_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pstoken_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1246 {
1247 }
1248
1249 __kernel void m13500_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global pstoken_t *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
1250 {
1251 }