amd/m12600_a1.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SHA256_SHA1_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #ifdef  VLIW1
  12 #define VECT_SIZE1
  13 #endif
  14
  15 #ifdef  VLIW4
  16 #define VECT_SIZE4
  17 #endif
  18
  19 #ifdef  VLIW5
  20 #define VECT_SIZE4
  21 #endif
  22
  23 #define DGST_R0 3
  24 #define DGST_R1 7
  25 #define DGST_R2 2
  26 #define DGST_R3 6
  27
  28 #include "include/kernel_functions.c"
  29 #include "types_amd.c"
  30 #include "common_amd.c"
  31
  32 #ifdef  VECT_SIZE1
  33 #define VECT_COMPARE_S "check_single_vect1_comp4.c"
  34 #define VECT_COMPARE_M "check_multi_vect1_comp4.c"
  35 #endif
  36
  37 #ifdef  VECT_SIZE2
  38 #define VECT_COMPARE_S "check_single_vect2_comp4.c"
  39 #define VECT_COMPARE_M "check_multi_vect2_comp4.c"
  40 #endif
  41
  42 #ifdef  VECT_SIZE4
  43 #define VECT_COMPARE_S "check_single_vect4_comp4.c"
  44 #define VECT_COMPARE_M "check_multi_vect4_comp4.c"
  45 #endif
  46
  47 #ifdef VECT_SIZE1
  48 #define uint_to_hex_upper8(i) l_bin2asc[(i)]
  49 #endif
  50
  51 #ifdef VECT_SIZE2
  52 #define uint_to_hex_upper8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1])
  53 #endif
  54
  55 #ifdef VECT_SIZE4
  56 #define uint_to_hex_upper8(i) (u32x) (l_bin2asc[(i).s0], l_bin2asc[(i).s1], l_bin2asc[(i).s2], l_bin2asc[(i).s3])
  57 #endif
  58
  59 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12600_m04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
  60 {
  61   /**
  62    * modifier
  63    */
  64
  65   const u32 lid = get_local_id (0);
  66
  67   /**
  68    * base
  69    */
  70
  71   const u32 gid = get_global_id (0);
  72
  73   u32x wordl0[4];
  74
  75   wordl0[0] = pws[gid].i[ 0];
  76   wordl0[1] = pws[gid].i[ 1];
  77   wordl0[2] = pws[gid].i[ 2];
  78   wordl0[3] = pws[gid].i[ 3];
  79
  80   u32x wordl1[4];
  81
  82   wordl1[0] = pws[gid].i[ 4];
  83   wordl1[1] = pws[gid].i[ 5];
  84   wordl1[2] = pws[gid].i[ 6];
  85   wordl1[3] = pws[gid].i[ 7];
  86
  87   u32x wordl2[4];
  88
  89   wordl2[0] = 0;
  90   wordl2[1] = 0;
  91   wordl2[2] = 0;
  92   wordl2[3] = 0;
  93
  94   u32x wordl3[4];
  95
  96   wordl3[0] = 0;
  97   wordl3[1] = 0;
  98   wordl3[2] = 0;
  99   wordl3[3] = 0;
 100
 101   const u32 pw_l_len = pws[gid].pw_len;
 102
 103   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 104   {
 105     append_0x80_2 (wordl0, wordl1, pw_l_len);
 106
 107     switch_buffer_by_offset (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
 108   }
 109
 110   /**
 111    * salt
 112    */
 113
 114   u32 pc256[8];
 115
 116   pc256[0] = salt_bufs[salt_pos].salt_buf_pc[0];
 117   pc256[1] = salt_bufs[salt_pos].salt_buf_pc[1];
 118   pc256[2] = salt_bufs[salt_pos].salt_buf_pc[2];
 119   pc256[3] = salt_bufs[salt_pos].salt_buf_pc[3];
 120   pc256[4] = salt_bufs[salt_pos].salt_buf_pc[4];
 121   pc256[5] = salt_bufs[salt_pos].salt_buf_pc[5];
 122   pc256[6] = salt_bufs[salt_pos].salt_buf_pc[6];
 123   pc256[7] = salt_bufs[salt_pos].salt_buf_pc[7];
 124
 125   /**
 126    * bin2asc table
 127    */
 128
 129   __local u32 l_bin2asc[256];
 130
 131   const u32 lid4 = lid * 4;
 132
 133   const u32 lid40 = lid4 + 0;
 134   const u32 lid41 = lid4 + 1;
 135   const u32 lid42 = lid4 + 2;
 136   const u32 lid43 = lid4 + 3;
 137
 138   const u32 v400 = (lid40 >> 0) & 15;
 139   const u32 v401 = (lid40 >> 4) & 15;
 140   const u32 v410 = (lid41 >> 0) & 15;
 141   const u32 v411 = (lid41 >> 4) & 15;
 142   const u32 v420 = (lid42 >> 0) & 15;
 143   const u32 v421 = (lid42 >> 4) & 15;
 144   const u32 v430 = (lid43 >> 0) & 15;
 145   const u32 v431 = (lid43 >> 4) & 15;
 146
 147   l_bin2asc[lid40] = ((v400 < 10) ? '0' + v400 : 'A' - 10 + v400) << 8
 148                    | ((v401 < 10) ? '0' + v401 : 'A' - 10 + v401) << 0;
 149   l_bin2asc[lid41] = ((v410 < 10) ? '0' + v410 : 'A' - 10 + v410) << 8
 150                    | ((v411 < 10) ? '0' + v411 : 'A' - 10 + v411) << 0;
 151   l_bin2asc[lid42] = ((v420 < 10) ? '0' + v420 : 'A' - 10 + v420) << 8
 152                    | ((v421 < 10) ? '0' + v421 : 'A' - 10 + v421) << 0;
 153   l_bin2asc[lid43] = ((v430 < 10) ? '0' + v430 : 'A' - 10 + v430) << 8
 154                    | ((v431 < 10) ? '0' + v431 : 'A' - 10 + v431) << 0;
 155
 156   barrier (CLK_LOCAL_MEM_FENCE);
 157
 158   if (gid >= gid_max) return;
 159
 160   /**
 161    * loop
 162    */
 163
 164   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 165   {
 166     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 167
 168     const u32 pw_len = pw_l_len + pw_r_len;
 169
 170     u32 wordr0[4];
 171
 172     wordr0[0] = combs_buf[il_pos].i[0];
 173     wordr0[1] = combs_buf[il_pos].i[1];
 174     wordr0[2] = combs_buf[il_pos].i[2];
 175     wordr0[3] = combs_buf[il_pos].i[3];
 176
 177     u32 wordr1[4];
 178
 179     wordr1[0] = combs_buf[il_pos].i[4];
 180     wordr1[1] = combs_buf[il_pos].i[5];
 181     wordr1[2] = combs_buf[il_pos].i[6];
 182     wordr1[3] = combs_buf[il_pos].i[7];
 183
 184     u32 wordr2[4];
 185
 186     wordr2[0] = 0;
 187     wordr2[1] = 0;
 188     wordr2[2] = 0;
 189     wordr2[3] = 0;
 190
 191     u32 wordr3[4];
 192
 193     wordr3[0] = 0;
 194     wordr3[1] = 0;
 195     wordr3[2] = 0;
 196     wordr3[3] = 0;
 197
 198     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 199     {
 200       append_0x80_2 (wordr0, wordr1, pw_r_len);
 201
 202       switch_buffer_by_offset (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 203     }
 204
 205     u32x w0[4];
 206
 207     w0[0] = wordl0[0] | wordr0[0];
 208     w0[1] = wordl0[1] | wordr0[1];
 209     w0[2] = wordl0[2] | wordr0[2];
 210     w0[3] = wordl0[3] | wordr0[3];
 211
 212     u32x w1[4];
 213
 214     w1[0] = wordl1[0] | wordr1[0];
 215     w1[1] = wordl1[1] | wordr1[1];
 216     w1[2] = wordl1[2] | wordr1[2];
 217     w1[3] = wordl1[3] | wordr1[3];
 218
 219     u32x w2[4];
 220
 221     w2[0] = wordl2[0] | wordr2[0];
 222     w2[1] = wordl2[1] | wordr2[1];
 223     w2[2] = wordl2[2] | wordr2[2];
 224     w2[3] = wordl2[3] | wordr2[3];
 225
 226     u32x w3[4];
 227
 228     w3[0] = wordl3[0] | wordr3[0];
 229     w3[1] = wordl3[1] | wordr3[1];
 230     w3[2] = 0;
 231     w3[3] = 0;
 232
 233     /**
 234      * sha1
 235      */
 236
 237     u32x w0_t = swap_workaround (w0[0]);
 238     u32x w1_t = swap_workaround (w0[1]);
 239     u32x w2_t = swap_workaround (w0[2]);
 240     u32x w3_t = swap_workaround (w0[3]);
 241     u32x w4_t = swap_workaround (w1[0]);
 242     u32x w5_t = swap_workaround (w1[1]);
 243     u32x w6_t = swap_workaround (w1[2]);
 244     u32x w7_t = swap_workaround (w1[3]);
 245     u32x w8_t = swap_workaround (w2[0]);
 246     u32x w9_t = swap_workaround (w2[1]);
 247     u32x wa_t = swap_workaround (w2[2]);
 248     u32x wb_t = swap_workaround (w2[3]);
 249     u32x wc_t = swap_workaround (w3[0]);
 250     u32x wd_t = swap_workaround (w3[1]);
 251     u32x we_t = 0;
 252     u32x wf_t = pw_len * 8;
 253
 254     u32x a = SHA1M_A;
 255     u32x b = SHA1M_B;
 256     u32x c = SHA1M_C;
 257     u32x d = SHA1M_D;
 258     u32x e = SHA1M_E;
 259     u32x f = 0;
 260     u32x g = 0;
 261     u32x h = 0;
 262
 263     #undef K
 264     #define K SHA1C00
 265
 266     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 267     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 268     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 269     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 270     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 271     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 272     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 273     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 274     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 275     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 276     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 277     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 278     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 279     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 280     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 281     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 282     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 283     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 284     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 285     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 286
 287     #undef K
 288     #define K SHA1C01
 289
 290     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 291     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 292     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 293     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 294     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 295     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 296     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 297     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 298     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 299     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 300     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 301     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 302     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 303     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 304     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 305     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 306     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 307     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 308     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 309     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 310
 311     #undef K
 312     #define K SHA1C02
 313
 314     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 315     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 316     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 317     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 318     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 319     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 320     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 321     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 322     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 323     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 324     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 325     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 326     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 327     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 328     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 329     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 330     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 331     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 332     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 333     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 334
 335     #undef K
 336     #define K SHA1C03
 337
 338     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 339     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 340     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 341     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 342     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 343     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 344     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 345     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 346     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 347     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 348     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 349     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 350     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 351     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 352     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 353     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 354     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 355     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 356     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 357     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 358
 359     a += SHA1M_A;
 360     b += SHA1M_B;
 361     c += SHA1M_C;
 362     d += SHA1M_D;
 363     e += SHA1M_E;
 364
 365
 366     /**
 367      * sha256
 368      */
 369
 370     w0_t = uint_to_hex_upper8 ((a >> 24) & 255) <<  0
 371          | uint_to_hex_upper8 ((a >> 16) & 255) << 16;
 372     w1_t = uint_to_hex_upper8 ((a >>  8) & 255) <<  0
 373          | uint_to_hex_upper8 ((a >>  0) & 255) << 16;
 374     w2_t = uint_to_hex_upper8 ((b >> 24) & 255) <<  0
 375          | uint_to_hex_upper8 ((b >> 16) & 255) << 16;
 376     w3_t = uint_to_hex_upper8 ((b >>  8) & 255) <<  0
 377          | uint_to_hex_upper8 ((b >>  0) & 255) << 16;
 378     w4_t = uint_to_hex_upper8 ((c >> 24) & 255) <<  0
 379          | uint_to_hex_upper8 ((c >> 16) & 255) << 16;
 380     w5_t = uint_to_hex_upper8 ((c >>  8) & 255) <<  0
 381          | uint_to_hex_upper8 ((c >>  0) & 255) << 16;
 382     w6_t = uint_to_hex_upper8 ((d >> 24) & 255) <<  0
 383          | uint_to_hex_upper8 ((d >> 16) & 255) << 16;
 384     w7_t = uint_to_hex_upper8 ((d >>  8) & 255) <<  0
 385          | uint_to_hex_upper8 ((d >>  0) & 255) << 16;
 386     w8_t = uint_to_hex_upper8 ((e >> 24) & 255) <<  0
 387          | uint_to_hex_upper8 ((e >> 16) & 255) << 16;
 388     w9_t = uint_to_hex_upper8 ((e >>  8) & 255) <<  0
 389          | uint_to_hex_upper8 ((e >>  0) & 255) << 16;
 390
 391     w0_t = swap_workaround (w0_t);
 392     w1_t = swap_workaround (w1_t);
 393     w2_t = swap_workaround (w2_t);
 394     w3_t = swap_workaround (w3_t);
 395     w4_t = swap_workaround (w4_t);
 396     w5_t = swap_workaround (w5_t);
 397     w6_t = swap_workaround (w6_t);
 398     w7_t = swap_workaround (w7_t);
 399     w8_t = swap_workaround (w8_t);
 400     w9_t = swap_workaround (w9_t);
 401     wa_t = 0x80000000;
 402     wb_t = 0;
 403     wc_t = 0;
 404     wd_t = 0;
 405     we_t = 0;
 406     wf_t = (64 + 40) * 8;
 407
 408     a = pc256[0];
 409     b = pc256[1];
 410     c = pc256[2];
 411     d = pc256[3];
 412     e = pc256[4];
 413     f = pc256[5];
 414     g = pc256[6];
 415     h = pc256[7];
 416
 417     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C00);
 418     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C01);
 419     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C02);
 420     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C03);
 421     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C04);
 422     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C05);
 423     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C06);
 424     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C07);
 425     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C08);
 426     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C09);
 427     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C0a);
 428     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C0b);
 429     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C0c);
 430     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C0d);
 431     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C0e);
 432     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C0f);
 433
 434     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C10);
 435     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C11);
 436     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C12);
 437     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C13);
 438     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C14);
 439     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C15);
 440     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C16);
 441     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C17);
 442     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C18);
 443     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C19);
 444     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C1a);
 445     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C1b);
 446     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C1c);
 447     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C1d);
 448     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C1e);
 449     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C1f);
 450
 451     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C20);
 452     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C21);
 453     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C22);
 454     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C23);
 455     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C24);
 456     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C25);
 457     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C26);
 458     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C27);
 459     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C28);
 460     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C29);
 461     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C2a);
 462     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C2b);
 463     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C2c);
 464     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C2d);
 465     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C2e);
 466     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C2f);
 467
 468     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C30);
 469     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C31);
 470     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C32);
 471     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C33);
 472     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C34);
 473     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C35);
 474     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C36);
 475     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C37);
 476     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C38);
 477     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C39);
 478     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C3a);
 479     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C3b);
 480     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C3c);
 481     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C3d);
 482     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C3e);
 483     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C3f);
 484
 485     const u32x r0 = d;
 486     const u32x r1 = h;
 487     const u32x r2 = c;
 488     const u32x r3 = g;
 489
 490     #include VECT_COMPARE_M
 491   }
 492 }
 493
 494 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12600_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 495 {
 496 }
 497
 498 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12600_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 499 {
 500 }
 501
 502 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12600_s04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 503 {
 504   /**
 505    * modifier
 506    */
 507
 508   const u32 lid = get_local_id (0);
 509
 510   /**
 511    * base
 512    */
 513
 514   const u32 gid = get_global_id (0);
 515
 516   u32x wordl0[4];
 517
 518   wordl0[0] = pws[gid].i[ 0];
 519   wordl0[1] = pws[gid].i[ 1];
 520   wordl0[2] = pws[gid].i[ 2];
 521   wordl0[3] = pws[gid].i[ 3];
 522
 523   u32x wordl1[4];
 524
 525   wordl1[0] = pws[gid].i[ 4];
 526   wordl1[1] = pws[gid].i[ 5];
 527   wordl1[2] = pws[gid].i[ 6];
 528   wordl1[3] = pws[gid].i[ 7];
 529
 530   u32x wordl2[4];
 531
 532   wordl2[0] = 0;
 533   wordl2[1] = 0;
 534   wordl2[2] = 0;
 535   wordl2[3] = 0;
 536
 537   u32x wordl3[4];
 538
 539   wordl3[0] = 0;
 540   wordl3[1] = 0;
 541   wordl3[2] = 0;
 542   wordl3[3] = 0;
 543
 544   const u32 pw_l_len = pws[gid].pw_len;
 545
 546   if (combs_mode == COMBINATOR_MODE_BASE_RIGHT)
 547   {
 548     append_0x80_2 (wordl0, wordl1, pw_l_len);
 549
 550     switch_buffer_by_offset (wordl0, wordl1, wordl2, wordl3, combs_buf[0].pw_len);
 551   }
 552
 553   /**
 554    * salt
 555    */
 556
 557   u32 pc256[8];
 558
 559   pc256[0] = salt_bufs[salt_pos].salt_buf_pc[0];
 560   pc256[1] = salt_bufs[salt_pos].salt_buf_pc[1];
 561   pc256[2] = salt_bufs[salt_pos].salt_buf_pc[2];
 562   pc256[3] = salt_bufs[salt_pos].salt_buf_pc[3];
 563   pc256[4] = salt_bufs[salt_pos].salt_buf_pc[4];
 564   pc256[5] = salt_bufs[salt_pos].salt_buf_pc[5];
 565   pc256[6] = salt_bufs[salt_pos].salt_buf_pc[6];
 566   pc256[7] = salt_bufs[salt_pos].salt_buf_pc[7];
 567
 568   /**
 569    * bin2asc table
 570    */
 571
 572   __local u32 l_bin2asc[256];
 573
 574   const u32 lid4 = lid * 4;
 575
 576   const u32 lid40 = lid4 + 0;
 577   const u32 lid41 = lid4 + 1;
 578   const u32 lid42 = lid4 + 2;
 579   const u32 lid43 = lid4 + 3;
 580
 581   const u32 v400 = (lid40 >> 0) & 15;
 582   const u32 v401 = (lid40 >> 4) & 15;
 583   const u32 v410 = (lid41 >> 0) & 15;
 584   const u32 v411 = (lid41 >> 4) & 15;
 585   const u32 v420 = (lid42 >> 0) & 15;
 586   const u32 v421 = (lid42 >> 4) & 15;
 587   const u32 v430 = (lid43 >> 0) & 15;
 588   const u32 v431 = (lid43 >> 4) & 15;
 589
 590   l_bin2asc[lid40] = ((v400 < 10) ? '0' + v400 : 'A' - 10 + v400) << 8
 591                    | ((v401 < 10) ? '0' + v401 : 'A' - 10 + v401) << 0;
 592   l_bin2asc[lid41] = ((v410 < 10) ? '0' + v410 : 'A' - 10 + v410) << 8
 593                    | ((v411 < 10) ? '0' + v411 : 'A' - 10 + v411) << 0;
 594   l_bin2asc[lid42] = ((v420 < 10) ? '0' + v420 : 'A' - 10 + v420) << 8
 595                    | ((v421 < 10) ? '0' + v421 : 'A' - 10 + v421) << 0;
 596   l_bin2asc[lid43] = ((v430 < 10) ? '0' + v430 : 'A' - 10 + v430) << 8
 597                    | ((v431 < 10) ? '0' + v431 : 'A' - 10 + v431) << 0;
 598
 599   barrier (CLK_LOCAL_MEM_FENCE);
 600
 601   if (gid >= gid_max) return;
 602
 603   /**
 604    * digest
 605    */
 606
 607   const u32 search[4] =
 608   {
 609     digests_buf[digests_offset].digest_buf[DGST_R0],
 610     digests_buf[digests_offset].digest_buf[DGST_R1],
 611     digests_buf[digests_offset].digest_buf[DGST_R2],
 612     digests_buf[digests_offset].digest_buf[DGST_R3]
 613   };
 614
 615   /**
 616    * loop
 617    */
 618
 619   for (u32 il_pos = 0; il_pos < combs_cnt; il_pos++)
 620   {
 621     const u32 pw_r_len = combs_buf[il_pos].pw_len;
 622
 623     const u32 pw_len = pw_l_len + pw_r_len;
 624
 625     u32 wordr0[4];
 626
 627     wordr0[0] = combs_buf[il_pos].i[0];
 628     wordr0[1] = combs_buf[il_pos].i[1];
 629     wordr0[2] = combs_buf[il_pos].i[2];
 630     wordr0[3] = combs_buf[il_pos].i[3];
 631
 632     u32 wordr1[4];
 633
 634     wordr1[0] = combs_buf[il_pos].i[4];
 635     wordr1[1] = combs_buf[il_pos].i[5];
 636     wordr1[2] = combs_buf[il_pos].i[6];
 637     wordr1[3] = combs_buf[il_pos].i[7];
 638
 639     u32 wordr2[4];
 640
 641     wordr2[0] = 0;
 642     wordr2[1] = 0;
 643     wordr2[2] = 0;
 644     wordr2[3] = 0;
 645
 646     u32 wordr3[4];
 647
 648     wordr3[0] = 0;
 649     wordr3[1] = 0;
 650     wordr3[2] = 0;
 651     wordr3[3] = 0;
 652
 653     if (combs_mode == COMBINATOR_MODE_BASE_LEFT)
 654     {
 655       append_0x80_2 (wordr0, wordr1, pw_r_len);
 656
 657       switch_buffer_by_offset (wordr0, wordr1, wordr2, wordr3, pw_l_len);
 658     }
 659
 660     u32x w0[4];
 661
 662     w0[0] = wordl0[0] | wordr0[0];
 663     w0[1] = wordl0[1] | wordr0[1];
 664     w0[2] = wordl0[2] | wordr0[2];
 665     w0[3] = wordl0[3] | wordr0[3];
 666
 667     u32x w1[4];
 668
 669     w1[0] = wordl1[0] | wordr1[0];
 670     w1[1] = wordl1[1] | wordr1[1];
 671     w1[2] = wordl1[2] | wordr1[2];
 672     w1[3] = wordl1[3] | wordr1[3];
 673
 674     u32x w2[4];
 675
 676     w2[0] = wordl2[0] | wordr2[0];
 677     w2[1] = wordl2[1] | wordr2[1];
 678     w2[2] = wordl2[2] | wordr2[2];
 679     w2[3] = wordl2[3] | wordr2[3];
 680
 681     u32x w3[4];
 682
 683     w3[0] = wordl3[0] | wordr3[0];
 684     w3[1] = wordl3[1] | wordr3[1];
 685     w3[2] = 0;
 686     w3[3] = 0;
 687
 688     /**
 689      * sha1
 690      */
 691
 692     u32x w0_t = swap_workaround (w0[0]);
 693     u32x w1_t = swap_workaround (w0[1]);
 694     u32x w2_t = swap_workaround (w0[2]);
 695     u32x w3_t = swap_workaround (w0[3]);
 696     u32x w4_t = swap_workaround (w1[0]);
 697     u32x w5_t = swap_workaround (w1[1]);
 698     u32x w6_t = swap_workaround (w1[2]);
 699     u32x w7_t = swap_workaround (w1[3]);
 700     u32x w8_t = swap_workaround (w2[0]);
 701     u32x w9_t = swap_workaround (w2[1]);
 702     u32x wa_t = swap_workaround (w2[2]);
 703     u32x wb_t = swap_workaround (w2[3]);
 704     u32x wc_t = swap_workaround (w3[0]);
 705     u32x wd_t = swap_workaround (w3[1]);
 706     u32x we_t = 0;
 707     u32x wf_t = pw_len * 8;
 708
 709     u32x a = SHA1M_A;
 710     u32x b = SHA1M_B;
 711     u32x c = SHA1M_C;
 712     u32x d = SHA1M_D;
 713     u32x e = SHA1M_E;
 714     u32x f = 0;
 715     u32x g = 0;
 716     u32x h = 0;
 717
 718     #undef K
 719     #define K SHA1C00
 720
 721     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w0_t);
 722     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w1_t);
 723     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w2_t);
 724     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w3_t);
 725     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w4_t);
 726     SHA1_STEP (SHA1_F0o, a, b, c, d, e, w5_t);
 727     SHA1_STEP (SHA1_F0o, e, a, b, c, d, w6_t);
 728     SHA1_STEP (SHA1_F0o, d, e, a, b, c, w7_t);
 729     SHA1_STEP (SHA1_F0o, c, d, e, a, b, w8_t);
 730     SHA1_STEP (SHA1_F0o, b, c, d, e, a, w9_t);
 731     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wa_t);
 732     SHA1_STEP (SHA1_F0o, e, a, b, c, d, wb_t);
 733     SHA1_STEP (SHA1_F0o, d, e, a, b, c, wc_t);
 734     SHA1_STEP (SHA1_F0o, c, d, e, a, b, wd_t);
 735     SHA1_STEP (SHA1_F0o, b, c, d, e, a, we_t);
 736     SHA1_STEP (SHA1_F0o, a, b, c, d, e, wf_t);
 737     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, e, a, b, c, d, w0_t);
 738     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, d, e, a, b, c, w1_t);
 739     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, c, d, e, a, b, w2_t);
 740     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, b, c, d, e, a, w3_t);
 741
 742     #undef K
 743     #define K SHA1C01
 744
 745     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w4_t);
 746     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w5_t);
 747     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w6_t);
 748     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w7_t);
 749     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w8_t);
 750     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w9_t);
 751     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wa_t);
 752     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wb_t);
 753     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wc_t);
 754     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wd_t);
 755     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, we_t);
 756     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wf_t);
 757     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w0_t);
 758     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w1_t);
 759     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w2_t);
 760     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w3_t);
 761     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w4_t);
 762     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w5_t);
 763     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w6_t);
 764     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w7_t);
 765
 766     #undef K
 767     #define K SHA1C02
 768
 769     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w8_t);
 770     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w9_t);
 771     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wa_t);
 772     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wb_t);
 773     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wc_t);
 774     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, wd_t);
 775     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, we_t);
 776     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, wf_t);
 777     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w0_t);
 778     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w1_t);
 779     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w2_t);
 780     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w3_t);
 781     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w4_t);
 782     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, w5_t);
 783     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, w6_t);
 784     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, a, b, c, d, e, w7_t);
 785     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, e, a, b, c, d, w8_t);
 786     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, d, e, a, b, c, w9_t);
 787     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, c, d, e, a, b, wa_t);
 788     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, b, c, d, e, a, wb_t);
 789
 790     #undef K
 791     #define K SHA1C03
 792
 793     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wc_t);
 794     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wd_t);
 795     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, we_t);
 796     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, wf_t);
 797     w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w0_t);
 798     w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w1_t);
 799     w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w2_t);
 800     w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w3_t);
 801     w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w4_t);
 802     w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, w5_t);
 803     w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, w6_t);
 804     w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, w7_t);
 805     w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, w8_t);
 806     w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, w9_t);
 807     wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wa_t);
 808     wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, a, b, c, d, e, wb_t);
 809     wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, e, a, b, c, d, wc_t);
 810     wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, d, e, a, b, c, wd_t);
 811     we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, c, d, e, a, b, we_t);
 812     wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, b, c, d, e, a, wf_t);
 813
 814     a += SHA1M_A;
 815     b += SHA1M_B;
 816     c += SHA1M_C;
 817     d += SHA1M_D;
 818     e += SHA1M_E;
 819
 820
 821     /**
 822      * sha256
 823      */
 824
 825     w0_t = uint_to_hex_upper8 ((a >> 24) & 255) <<  0
 826          | uint_to_hex_upper8 ((a >> 16) & 255) << 16;
 827     w1_t = uint_to_hex_upper8 ((a >>  8) & 255) <<  0
 828          | uint_to_hex_upper8 ((a >>  0) & 255) << 16;
 829     w2_t = uint_to_hex_upper8 ((b >> 24) & 255) <<  0
 830          | uint_to_hex_upper8 ((b >> 16) & 255) << 16;
 831     w3_t = uint_to_hex_upper8 ((b >>  8) & 255) <<  0
 832          | uint_to_hex_upper8 ((b >>  0) & 255) << 16;
 833     w4_t = uint_to_hex_upper8 ((c >> 24) & 255) <<  0
 834          | uint_to_hex_upper8 ((c >> 16) & 255) << 16;
 835     w5_t = uint_to_hex_upper8 ((c >>  8) & 255) <<  0
 836          | uint_to_hex_upper8 ((c >>  0) & 255) << 16;
 837     w6_t = uint_to_hex_upper8 ((d >> 24) & 255) <<  0
 838          | uint_to_hex_upper8 ((d >> 16) & 255) << 16;
 839     w7_t = uint_to_hex_upper8 ((d >>  8) & 255) <<  0
 840          | uint_to_hex_upper8 ((d >>  0) & 255) << 16;
 841     w8_t = uint_to_hex_upper8 ((e >> 24) & 255) <<  0
 842          | uint_to_hex_upper8 ((e >> 16) & 255) << 16;
 843     w9_t = uint_to_hex_upper8 ((e >>  8) & 255) <<  0
 844          | uint_to_hex_upper8 ((e >>  0) & 255) << 16;
 845
 846     w0_t = swap_workaround (w0_t);
 847     w1_t = swap_workaround (w1_t);
 848     w2_t = swap_workaround (w2_t);
 849     w3_t = swap_workaround (w3_t);
 850     w4_t = swap_workaround (w4_t);
 851     w5_t = swap_workaround (w5_t);
 852     w6_t = swap_workaround (w6_t);
 853     w7_t = swap_workaround (w7_t);
 854     w8_t = swap_workaround (w8_t);
 855     w9_t = swap_workaround (w9_t);
 856     wa_t = 0x80000000;
 857     wb_t = 0;
 858     wc_t = 0;
 859     wd_t = 0;
 860     we_t = 0;
 861     wf_t = (64 + 40) * 8;
 862
 863     a = pc256[0];
 864     b = pc256[1];
 865     c = pc256[2];
 866     d = pc256[3];
 867     e = pc256[4];
 868     f = pc256[5];
 869     g = pc256[6];
 870     h = pc256[7];
 871
 872     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C00);
 873     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C01);
 874     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C02);
 875     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C03);
 876     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C04);
 877     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C05);
 878     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C06);
 879     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C07);
 880     SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C08);
 881     SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C09);
 882     SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C0a);
 883     SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C0b);
 884     SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C0c);
 885     SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C0d);
 886     SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C0e);
 887     SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C0f);
 888
 889     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C10);
 890     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C11);
 891     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C12);
 892     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C13);
 893     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C14);
 894     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C15);
 895     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C16);
 896     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C17);
 897     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C18);
 898     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C19);
 899     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C1a);
 900     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C1b);
 901     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C1c);
 902     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C1d);
 903     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C1e);
 904     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C1f);
 905
 906     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C20);
 907     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C21);
 908     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C22);
 909     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C23);
 910     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C24);
 911     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C25);
 912     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C26);
 913     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C27);
 914     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C28);
 915     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C29);
 916     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C2a);
 917     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C2b);
 918     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C2c);
 919     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C2d);
 920     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C2e);
 921     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C2f);
 922
 923     w0_t = SHA256_EXPAND (we_t, w9_t, w1_t, w0_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w0_t, SHA256C30);
 924     w1_t = SHA256_EXPAND (wf_t, wa_t, w2_t, w1_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w1_t, SHA256C31);
 925     w2_t = SHA256_EXPAND (w0_t, wb_t, w3_t, w2_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, w2_t, SHA256C32);
 926     w3_t = SHA256_EXPAND (w1_t, wc_t, w4_t, w3_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, w3_t, SHA256C33);
 927     w4_t = SHA256_EXPAND (w2_t, wd_t, w5_t, w4_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, w4_t, SHA256C34);
 928     w5_t = SHA256_EXPAND (w3_t, we_t, w6_t, w5_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, w5_t, SHA256C35);
 929     w6_t = SHA256_EXPAND (w4_t, wf_t, w7_t, w6_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, w6_t, SHA256C36);
 930     w7_t = SHA256_EXPAND (w5_t, w0_t, w8_t, w7_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, w7_t, SHA256C37);
 931     w8_t = SHA256_EXPAND (w6_t, w1_t, w9_t, w8_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, a, b, c, d, e, f, g, h, w8_t, SHA256C38);
 932     w9_t = SHA256_EXPAND (w7_t, w2_t, wa_t, w9_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, h, a, b, c, d, e, f, g, w9_t, SHA256C39);
 933     wa_t = SHA256_EXPAND (w8_t, w3_t, wb_t, wa_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, g, h, a, b, c, d, e, f, wa_t, SHA256C3a);
 934     wb_t = SHA256_EXPAND (w9_t, w4_t, wc_t, wb_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, f, g, h, a, b, c, d, e, wb_t, SHA256C3b);
 935     wc_t = SHA256_EXPAND (wa_t, w5_t, wd_t, wc_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, e, f, g, h, a, b, c, d, wc_t, SHA256C3c);
 936     wd_t = SHA256_EXPAND (wb_t, w6_t, we_t, wd_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, d, e, f, g, h, a, b, c, wd_t, SHA256C3d);
 937     we_t = SHA256_EXPAND (wc_t, w7_t, wf_t, we_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, c, d, e, f, g, h, a, b, we_t, SHA256C3e);
 938     wf_t = SHA256_EXPAND (wd_t, w8_t, w0_t, wf_t); SHA256_STEP (SHA256_F0o, SHA256_F1o, b, c, d, e, f, g, h, a, wf_t, SHA256C3f);
 939
 940     const u32x r0 = d;
 941     const u32x r1 = h;
 942     const u32x r2 = c;
 943     const u32x r3 = g;
 944
 945     #include VECT_COMPARE_S
 946   }
 947 }
 948
 949 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12600_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 950 {
 951 }
 952
 953 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m12600_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 954 {
 955 }