OpenCL/m07800_a3.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SAPG_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 3
  12 #define DGST_R1 4
  13 #define DGST_R2 2
  14 #define DGST_R3 1
  15
  16 #include "include/kernel_functions.c"
  17 #include "OpenCL/types_ocl.c"
  18 #include "OpenCL/common.c"
  19
  20 #define COMPARE_S "OpenCL/check_single_comp4.c"
  21 #define COMPARE_M "OpenCL/check_multi_comp4.c"
  22
  23 #define GETSHIFTEDINT(a,n) amd_bytealign ((a)[((n)/4)+1], (a)[((n)/4)+0], (n))
  24
  25 #define SETSHIFTEDINT(a,n,v)        \
  26 {                                   \
  27   const u32 s = ((n) & 3) * 8;     \
  28   const u64 x = (u64) (v) << s; \
  29   (a)[((n)/4)+0] |= x;              \
  30   (a)[((n)/4)+1]  = x >> 32;        \
  31 }
  32
  33 __constant u32 theMagicArray[64] =
  34 {
  35   0x1451ac91,0x4354679f,0xe03be724,0xc27b7428,0xeb133386,0x5ccb4f5a,0x37730a08,0x2f1c5d0e,
  36   0xe5e68f33,0xddae9bf8,0x8d4bf216,0xdcd4e12c,0x9ddfcbb0,0x176d70d4,0x3f424df9,0x94111b9b,
  37   0x9bc15b9f,0x039d0506,0x8a135e9d,0xe86a9a1e,0x17147cd9,0xf62ac758,0x0a6399a1,0xc370fdd7,
  38   0x13745ef6,0x040bc903,0x26f79826,0x2593928a,0x230da2b0,0x6d7963ed,0x3cfa3213,0xa39a0235,
  39   0x0a8eddb3,0xc351bf24,0x9f55cd7c,0x4c94af37,0x82520829,0x374e3bb2,0x9107179f,0xcdfd3b11,
  40   0, 0, 0, 0, 0, 0, 0, 0,
  41   0, 0, 0, 0, 0, 0, 0, 0,
  42   0, 0, 0, 0, 0, 0, 0, 0
  43 };
  44
  45 static void swap_buffer (u32 final[16])
  46 {
  47   final[ 0] = swap32 (final[ 0]);
  48   final[ 1] = swap32 (final[ 1]);
  49   final[ 2] = swap32 (final[ 2]);
  50   final[ 3] = swap32 (final[ 3]);
  51   final[ 4] = swap32 (final[ 4]);
  52   final[ 5] = swap32 (final[ 5]);
  53   final[ 6] = swap32 (final[ 6]);
  54   final[ 7] = swap32 (final[ 7]);
  55   final[ 8] = swap32 (final[ 8]);
  56   final[ 9] = swap32 (final[ 9]);
  57   final[10] = swap32 (final[10]);
  58   final[11] = swap32 (final[11]);
  59   final[12] = swap32 (final[12]);
  60   final[13] = swap32 (final[13]);
  61   final[14] = swap32 (final[14]);
  62   final[15] = swap32 (final[15]);
  63 }
  64
  65 static void sha1_transform (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[5])
  66 {
  67   u32 A = digest[0];
  68   u32 B = digest[1];
  69   u32 C = digest[2];
  70   u32 D = digest[3];
  71   u32 E = digest[4];
  72
  73   u32 w0_t = w0[0];
  74   u32 w1_t = w0[1];
  75   u32 w2_t = w0[2];
  76   u32 w3_t = w0[3];
  77   u32 w4_t = w1[0];
  78   u32 w5_t = w1[1];
  79   u32 w6_t = w1[2];
  80   u32 w7_t = w1[3];
  81   u32 w8_t = w2[0];
  82   u32 w9_t = w2[1];
  83   u32 wa_t = w2[2];
  84   u32 wb_t = w2[3];
  85   u32 wc_t = w3[0];
  86   u32 wd_t = w3[1];
  87   u32 we_t = w3[2];
  88   u32 wf_t = w3[3];
  89
  90   #undef K
  91   #define K SHA1C00
  92
  93   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w0_t);
  94   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w1_t);
  95   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w2_t);
  96   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w3_t);
  97   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w4_t);
  98   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w5_t);
  99   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w6_t);
 100   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w7_t);
 101   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w8_t);
 102   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w9_t);
 103   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wa_t);
 104   SHA1_STEP (SHA1_F0o, E, A, B, C, D, wb_t);
 105   SHA1_STEP (SHA1_F0o, D, E, A, B, C, wc_t);
 106   SHA1_STEP (SHA1_F0o, C, D, E, A, B, wd_t);
 107   SHA1_STEP (SHA1_F0o, B, C, D, E, A, we_t);
 108   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wf_t);
 109   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, E, A, B, C, D, w0_t);
 110   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, D, E, A, B, C, w1_t);
 111   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, C, D, E, A, B, w2_t);
 112   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, B, C, D, E, A, w3_t);
 113
 114   #undef K
 115   #define K SHA1C01
 116
 117   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w4_t);
 118   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w5_t);
 119   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w6_t);
 120   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w7_t);
 121   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w8_t);
 122   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w9_t);
 123   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wa_t);
 124   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wb_t);
 125   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wc_t);
 126   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wd_t);
 127   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, we_t);
 128   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wf_t);
 129   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w0_t);
 130   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w1_t);
 131   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w2_t);
 132   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w3_t);
 133   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w4_t);
 134   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w5_t);
 135   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w6_t);
 136   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w7_t);
 137
 138   #undef K
 139   #define K SHA1C02
 140
 141   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w8_t);
 142   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w9_t);
 143   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wa_t);
 144   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wb_t);
 145   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wc_t);
 146   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, wd_t);
 147   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, we_t);
 148   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wf_t);
 149   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w0_t);
 150   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w1_t);
 151   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w2_t);
 152   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w3_t);
 153   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w4_t);
 154   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w5_t);
 155   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w6_t);
 156   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w7_t);
 157   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w8_t);
 158   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w9_t);
 159   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wa_t);
 160   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wb_t);
 161
 162   #undef K
 163   #define K SHA1C03
 164
 165   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wc_t);
 166   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wd_t);
 167   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, we_t);
 168   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wf_t);
 169   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w0_t);
 170   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w1_t);
 171   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w2_t);
 172   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w3_t);
 173   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w4_t);
 174   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w5_t);
 175   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w6_t);
 176   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w7_t);
 177   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w8_t);
 178   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w9_t);
 179   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wa_t);
 180   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wb_t);
 181   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wc_t);
 182   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wd_t);
 183   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, we_t);
 184   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wf_t);
 185
 186   digest[0] += A;
 187   digest[1] += B;
 188   digest[2] += C;
 189   digest[3] += D;
 190   digest[4] += E;
 191 }
 192
 193 static void m07800m (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 194 {
 195   /**
 196    * modifier
 197    */
 198
 199   const u32 gid = get_global_id (0);
 200   const u32 lid = get_local_id (0);
 201
 202   w0[0] = swap32 (w0[0]);
 203   w0[1] = swap32 (w0[1]);
 204   w0[2] = swap32 (w0[2]);
 205   w0[3] = swap32 (w0[3]);
 206
 207   w1[0] = swap32 (w1[0]);
 208   w1[1] = swap32 (w1[1]);
 209   w1[2] = swap32 (w1[2]);
 210   w1[3] = swap32 (w1[3]);
 211
 212   /**
 213    * salt
 214    */
 215
 216   u32 salt_buf[8];
 217
 218   salt_buf[0] = salt_bufs[salt_pos].salt_buf[0];
 219   salt_buf[1] = salt_bufs[salt_pos].salt_buf[1];
 220   salt_buf[2] = salt_bufs[salt_pos].salt_buf[2];
 221   salt_buf[3] = salt_bufs[salt_pos].salt_buf[3];
 222   salt_buf[4] = salt_bufs[salt_pos].salt_buf[4];
 223   salt_buf[5] = salt_bufs[salt_pos].salt_buf[5];
 224   salt_buf[6] = salt_bufs[salt_pos].salt_buf[6];
 225   salt_buf[7] = salt_bufs[salt_pos].salt_buf[7];
 226
 227   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 228
 229   u32 s0[4];
 230
 231   s0[0] = salt_buf[0];
 232   s0[1] = salt_buf[1];
 233   s0[2] = salt_buf[2];
 234   s0[3] = salt_buf[3];
 235
 236   u32 s1[4];
 237
 238   s1[0] = salt_buf[4];
 239   s1[1] = salt_buf[5];
 240   s1[2] = salt_buf[6];
 241   s1[3] = salt_buf[7];
 242
 243   u32 s2[4];
 244
 245   s2[0] = 0;
 246   s2[1] = 0;
 247   s2[2] = 0;
 248   s2[3] = 0;
 249
 250   u32 s3[4];
 251
 252   s3[0] = 0;
 253   s3[1] = 0;
 254   s3[2] = 0;
 255   s3[3] = 0;
 256
 257   switch_buffer_by_offset_le (s0, s1, s2, s3, pw_len);
 258
 259   const u32 pw_salt_len = pw_len + salt_len;
 260
 261   /**
 262    * loop
 263    */
 264
 265   u32 w0l = w0[0];
 266
 267   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
 268   {
 269     const u32 w0r = swap32 (bfs_buf[il_pos].i);
 270
 271     w0[0] = w0l | w0r;
 272
 273     /**
 274      * sha1
 275      */
 276
 277     u32 final[32];
 278
 279     final[ 0] = swap32 (w0[0] | s0[0]);
 280     final[ 1] = swap32 (w0[1] | s0[1]);
 281     final[ 2] = swap32 (w0[2] | s0[2]);
 282     final[ 3] = swap32 (w0[3] | s0[3]);
 283     final[ 4] = swap32 (w1[0] | s1[0]);
 284     final[ 5] = swap32 (w1[1] | s1[1]);
 285     final[ 6] = swap32 (w1[2] | s1[2]);
 286     final[ 7] = swap32 (w1[3] | s1[3]);
 287     final[ 8] = swap32 (w2[0] | s2[0]);
 288     final[ 9] = swap32 (w2[1] | s2[1]);
 289     final[10] = swap32 (w2[2] | s2[2]);
 290     final[11] = swap32 (w2[3] | s2[3]);
 291     final[12] = swap32 (w3[0] | s3[0]);
 292     final[13] = swap32 (w3[1] | s3[1]);
 293     final[14] = 0;
 294     final[15] = pw_salt_len * 8;
 295
 296     u32 digest[5];
 297
 298     digest[0] = SHA1M_A;
 299     digest[1] = SHA1M_B;
 300     digest[2] = SHA1M_C;
 301     digest[3] = SHA1M_D;
 302     digest[4] = SHA1M_E;
 303
 304     sha1_transform (&final[0], &final[4], &final[8], &final[12], digest);
 305
 306     // prepare magic array range
 307
 308     u32 lengthMagicArray = 0x20;
 309     u32 offsetMagicArray = 0;
 310
 311     lengthMagicArray += ((digest[0] >> 24) & 0xff) % 6;
 312     lengthMagicArray += ((digest[0] >> 16) & 0xff) % 6;
 313     lengthMagicArray += ((digest[0] >>  8) & 0xff) % 6;
 314     lengthMagicArray += ((digest[0] >>  0) & 0xff) % 6;
 315     lengthMagicArray += ((digest[1] >> 24) & 0xff) % 6;
 316     lengthMagicArray += ((digest[1] >> 16) & 0xff) % 6;
 317     lengthMagicArray += ((digest[1] >>  8) & 0xff) % 6;
 318     lengthMagicArray += ((digest[1] >>  0) & 0xff) % 6;
 319     lengthMagicArray += ((digest[2] >> 24) & 0xff) % 6;
 320     lengthMagicArray += ((digest[2] >> 16) & 0xff) % 6;
 321     offsetMagicArray += ((digest[2] >>  8) & 0xff) % 8;
 322     offsetMagicArray += ((digest[2] >>  0) & 0xff) % 8;
 323     offsetMagicArray += ((digest[3] >> 24) & 0xff) % 8;
 324     offsetMagicArray += ((digest[3] >> 16) & 0xff) % 8;
 325     offsetMagicArray += ((digest[3] >>  8) & 0xff) % 8;
 326     offsetMagicArray += ((digest[3] >>  0) & 0xff) % 8;
 327     offsetMagicArray += ((digest[4] >> 24) & 0xff) % 8;
 328     offsetMagicArray += ((digest[4] >> 16) & 0xff) % 8;
 329     offsetMagicArray += ((digest[4] >>  8) & 0xff) % 8;
 330     offsetMagicArray += ((digest[4] >>  0) & 0xff) % 8;
 331
 332     // final
 333
 334     digest[0] = SHA1M_A;
 335     digest[1] = SHA1M_B;
 336     digest[2] = SHA1M_C;
 337     digest[3] = SHA1M_D;
 338     digest[4] = SHA1M_E;
 339
 340     #pragma unroll
 341     for (int i = 0; i < 32; i++) final[i] = 0;
 342
 343     final[0] = w0[0];
 344     final[1] = w0[1];
 345     final[2] = w0[2];
 346     final[3] = w0[3];
 347     final[4] = w1[0];
 348     final[5] = w1[1];
 349     final[6] = w1[2];
 350     final[7] = w1[3];
 351
 352     u32 final_len = pw_len;
 353
 354     int i;
 355
 356     // append MagicArray
 357
 358     for (i = 0; i < lengthMagicArray - 4; i += 4)
 359     {
 360       const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i);
 361
 362       SETSHIFTEDINT (final, final_len + i, tmp);
 363     }
 364
 365     const u32 mask = 0xffffffff >> (((i - lengthMagicArray) & 3) * 8);
 366
 367     const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i) & mask;
 368
 369     SETSHIFTEDINT (final, final_len + i, tmp);
 370
 371     final_len += lengthMagicArray;
 372
 373     // append Salt
 374
 375     for (i = 0; i < salt_len + 1; i += 4) // +1 for the 0x80
 376     {
 377       const u32 tmp = salt_buf[i / 4]; // attention, int[] not char[]
 378
 379       SETSHIFTEDINT (final, final_len + i, tmp);
 380     }
 381
 382     final_len += salt_len;
 383
 384     // calculate
 385
 386     int left;
 387     int off;
 388
 389     for (left = final_len, off = 0; left >= 56; left -= 64, off += 16)
 390     {
 391       swap_buffer (&final[off]);
 392
 393       sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 394     }
 395
 396     swap_buffer (&final[off]);
 397
 398     final[off + 14] = 0;
 399     final[off + 15] = final_len * 8;
 400
 401     sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 402
 403     const u32 r0 = digest[3];
 404     const u32 r1 = digest[4];
 405     const u32 r2 = digest[2];
 406     const u32 r3 = digest[1];
 407
 408     #include COMPARE_M
 409   }
 410 }
 411
 412 static void m07800s (u32 w0[4], u32 w1[4], u32 w2[4], u32 w3[4], const u32 pw_len, __global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset)
 413 {
 414   /**
 415    * modifier
 416    */
 417
 418   const u32 gid = get_global_id (0);
 419   const u32 lid = get_local_id (0);
 420
 421   w0[0] = swap32 (w0[0]);
 422   w0[1] = swap32 (w0[1]);
 423   w0[2] = swap32 (w0[2]);
 424   w0[3] = swap32 (w0[3]);
 425
 426   w1[0] = swap32 (w1[0]);
 427   w1[1] = swap32 (w1[1]);
 428   w1[2] = swap32 (w1[2]);
 429   w1[3] = swap32 (w1[3]);
 430
 431   /**
 432    * salt
 433    */
 434
 435   u32 salt_buf[8];
 436
 437   salt_buf[0] = salt_bufs[salt_pos].salt_buf[0];
 438   salt_buf[1] = salt_bufs[salt_pos].salt_buf[1];
 439   salt_buf[2] = salt_bufs[salt_pos].salt_buf[2];
 440   salt_buf[3] = salt_bufs[salt_pos].salt_buf[3];
 441   salt_buf[4] = salt_bufs[salt_pos].salt_buf[4];
 442   salt_buf[5] = salt_bufs[salt_pos].salt_buf[5];
 443   salt_buf[6] = salt_bufs[salt_pos].salt_buf[6];
 444   salt_buf[7] = salt_bufs[salt_pos].salt_buf[7];
 445
 446   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 447
 448   u32 s0[4];
 449
 450   s0[0] = salt_buf[0];
 451   s0[1] = salt_buf[1];
 452   s0[2] = salt_buf[2];
 453   s0[3] = salt_buf[3];
 454
 455   u32 s1[4];
 456
 457   s1[0] = salt_buf[4];
 458   s1[1] = salt_buf[5];
 459   s1[2] = salt_buf[6];
 460   s1[3] = salt_buf[7];
 461
 462   u32 s2[4];
 463
 464   s2[0] = 0;
 465   s2[1] = 0;
 466   s2[2] = 0;
 467   s2[3] = 0;
 468
 469   u32 s3[4];
 470
 471   s3[0] = 0;
 472   s3[1] = 0;
 473   s3[2] = 0;
 474   s3[3] = 0;
 475
 476   switch_buffer_by_offset_le (s0, s1, s2, s3, pw_len);
 477
 478   const u32 pw_salt_len = pw_len + salt_len;
 479
 480   /**
 481    * digest
 482    */
 483
 484   const u32 search[4] =
 485   {
 486     digests_buf[digests_offset].digest_buf[DGST_R0],
 487     digests_buf[digests_offset].digest_buf[DGST_R1],
 488     digests_buf[digests_offset].digest_buf[DGST_R2],
 489     digests_buf[digests_offset].digest_buf[DGST_R3]
 490   };
 491
 492   /**
 493    * loop
 494    */
 495
 496   u32 w0l = w0[0];
 497
 498   for (u32 il_pos = 0; il_pos < bfs_cnt; il_pos++)
 499   {
 500     const u32 w0r = swap32 (bfs_buf[il_pos].i);
 501
 502     w0[0] = w0l | w0r;
 503
 504     /**
 505      * sha1
 506      */
 507
 508     u32 final[32];
 509
 510     final[ 0] = swap32 (w0[0] | s0[0]);
 511     final[ 1] = swap32 (w0[1] | s0[1]);
 512     final[ 2] = swap32 (w0[2] | s0[2]);
 513     final[ 3] = swap32 (w0[3] | s0[3]);
 514     final[ 4] = swap32 (w1[0] | s1[0]);
 515     final[ 5] = swap32 (w1[1] | s1[1]);
 516     final[ 6] = swap32 (w1[2] | s1[2]);
 517     final[ 7] = swap32 (w1[3] | s1[3]);
 518     final[ 8] = swap32 (w2[0] | s2[0]);
 519     final[ 9] = swap32 (w2[1] | s2[1]);
 520     final[10] = swap32 (w2[2] | s2[2]);
 521     final[11] = swap32 (w2[3] | s2[3]);
 522     final[12] = swap32 (w3[0] | s3[0]);
 523     final[13] = swap32 (w3[1] | s3[1]);
 524     final[14] = 0;
 525     final[15] = pw_salt_len * 8;
 526
 527     u32 digest[5];
 528
 529     digest[0] = SHA1M_A;
 530     digest[1] = SHA1M_B;
 531     digest[2] = SHA1M_C;
 532     digest[3] = SHA1M_D;
 533     digest[4] = SHA1M_E;
 534
 535     sha1_transform (&final[0], &final[4], &final[8], &final[12], digest);
 536
 537     // prepare magic array range
 538
 539     u32 lengthMagicArray = 0x20;
 540     u32 offsetMagicArray = 0;
 541
 542     lengthMagicArray += ((digest[0] >> 24) & 0xff) % 6;
 543     lengthMagicArray += ((digest[0] >> 16) & 0xff) % 6;
 544     lengthMagicArray += ((digest[0] >>  8) & 0xff) % 6;
 545     lengthMagicArray += ((digest[0] >>  0) & 0xff) % 6;
 546     lengthMagicArray += ((digest[1] >> 24) & 0xff) % 6;
 547     lengthMagicArray += ((digest[1] >> 16) & 0xff) % 6;
 548     lengthMagicArray += ((digest[1] >>  8) & 0xff) % 6;
 549     lengthMagicArray += ((digest[1] >>  0) & 0xff) % 6;
 550     lengthMagicArray += ((digest[2] >> 24) & 0xff) % 6;
 551     lengthMagicArray += ((digest[2] >> 16) & 0xff) % 6;
 552     offsetMagicArray += ((digest[2] >>  8) & 0xff) % 8;
 553     offsetMagicArray += ((digest[2] >>  0) & 0xff) % 8;
 554     offsetMagicArray += ((digest[3] >> 24) & 0xff) % 8;
 555     offsetMagicArray += ((digest[3] >> 16) & 0xff) % 8;
 556     offsetMagicArray += ((digest[3] >>  8) & 0xff) % 8;
 557     offsetMagicArray += ((digest[3] >>  0) & 0xff) % 8;
 558     offsetMagicArray += ((digest[4] >> 24) & 0xff) % 8;
 559     offsetMagicArray += ((digest[4] >> 16) & 0xff) % 8;
 560     offsetMagicArray += ((digest[4] >>  8) & 0xff) % 8;
 561     offsetMagicArray += ((digest[4] >>  0) & 0xff) % 8;
 562
 563     // final
 564
 565     digest[0] = SHA1M_A;
 566     digest[1] = SHA1M_B;
 567     digest[2] = SHA1M_C;
 568     digest[3] = SHA1M_D;
 569     digest[4] = SHA1M_E;
 570
 571     #pragma unroll 32
 572     for (int i = 0; i < 32; i++) final[i] = 0;
 573
 574     final[0] = w0[0];
 575     final[1] = w0[1];
 576     final[2] = w0[2];
 577     final[3] = w0[3];
 578     final[4] = w1[0];
 579     final[5] = w1[1];
 580     final[6] = w1[2];
 581     final[7] = w1[3];
 582
 583     u32 final_len = pw_len;
 584
 585     int i;
 586
 587     // append MagicArray
 588
 589     for (i = 0; i < lengthMagicArray - 4; i += 4)
 590     {
 591       const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i);
 592
 593       SETSHIFTEDINT (final, final_len + i, tmp);
 594     }
 595
 596     const u32 mask = 0xffffffff >> (((i - lengthMagicArray) & 3) * 8);
 597
 598     const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i) & mask;
 599
 600     SETSHIFTEDINT (final, final_len + i, tmp);
 601
 602     final_len += lengthMagicArray;
 603
 604     // append Salt
 605
 606     for (i = 0; i < salt_len + 1; i += 4) // +1 for the 0x80
 607     {
 608       const u32 tmp = salt_buf[i / 4]; // attention, int[] not char[]
 609
 610       SETSHIFTEDINT (final, final_len + i, tmp);
 611     }
 612
 613     final_len += salt_len;
 614
 615     // calculate
 616
 617     int left;
 618     int off;
 619
 620     for (left = final_len, off = 0; left >= 56; left -= 64, off += 16)
 621     {
 622       swap_buffer (&final[off]);
 623
 624       sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 625     }
 626
 627     swap_buffer (&final[off]);
 628
 629     final[off + 14] = 0;
 630     final[off + 15] = final_len * 8;
 631
 632     sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 633
 634     const u32 r0 = digest[3];
 635     const u32 r1 = digest[4];
 636     const u32 r2 = digest[2];
 637     const u32 r3 = digest[1];
 638
 639     #include COMPARE_S
 640   }
 641 }
 642
 643 __kernel void m07800_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 644 {
 645   /**
 646    * base
 647    */
 648
 649   const u32 gid = get_global_id (0);
 650
 651   if (gid >= gid_max) return;
 652
 653   /**
 654    * modifier
 655    */
 656
 657   //const u32 lid = get_local_id (0);
 658
 659   u32 w0[4];
 660
 661   w0[0] = pws[gid].i[ 0];
 662   w0[1] = pws[gid].i[ 1];
 663   w0[2] = pws[gid].i[ 2];
 664   w0[3] = pws[gid].i[ 3];
 665
 666   u32 w1[4];
 667
 668   w1[0] = 0;
 669   w1[1] = 0;
 670   w1[2] = 0;
 671   w1[3] = 0;
 672
 673   u32 w2[4];
 674
 675   w2[0] = 0;
 676   w2[1] = 0;
 677   w2[2] = 0;
 678   w2[3] = 0;
 679
 680   u32 w3[4];
 681
 682   w3[0] = 0;
 683   w3[1] = 0;
 684   w3[2] = 0;
 685   w3[3] = 0;
 686
 687   const u32 pw_len = pws[gid].pw_len;
 688
 689   /**
 690    * main
 691    */
 692
 693   m07800m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 694 }
 695
 696 __kernel void m07800_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 697 {
 698   /**
 699    * base
 700    */
 701
 702   const u32 gid = get_global_id (0);
 703
 704   if (gid >= gid_max) return;
 705
 706   /**
 707    * modifier
 708    */
 709
 710   //const u32 lid = get_local_id (0);
 711
 712   u32 w0[4];
 713
 714   w0[0] = pws[gid].i[ 0];
 715   w0[1] = pws[gid].i[ 1];
 716   w0[2] = pws[gid].i[ 2];
 717   w0[3] = pws[gid].i[ 3];
 718
 719   u32 w1[4];
 720
 721   w1[0] = pws[gid].i[ 4];
 722   w1[1] = pws[gid].i[ 5];
 723   w1[2] = pws[gid].i[ 6];
 724   w1[3] = pws[gid].i[ 7];
 725
 726   u32 w2[4];
 727
 728   w2[0] = 0;
 729   w2[1] = 0;
 730   w2[2] = 0;
 731   w2[3] = 0;
 732
 733   u32 w3[4];
 734
 735   w3[0] = 0;
 736   w3[1] = 0;
 737   w3[2] = 0;
 738   w3[3] = 0;
 739
 740   const u32 pw_len = pws[gid].pw_len;
 741
 742   /**
 743    * main
 744    */
 745
 746   m07800m (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 747 }
 748
 749 __kernel void m07800_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 750 {
 751 }
 752
 753 __kernel void m07800_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 754 {
 755   /**
 756    * base
 757    */
 758
 759   const u32 gid = get_global_id (0);
 760
 761   if (gid >= gid_max) return;
 762
 763   /**
 764    * modifier
 765    */
 766
 767   //const u32 lid = get_local_id (0);
 768
 769   u32 w0[4];
 770
 771   w0[0] = pws[gid].i[ 0];
 772   w0[1] = pws[gid].i[ 1];
 773   w0[2] = pws[gid].i[ 2];
 774   w0[3] = pws[gid].i[ 3];
 775
 776   u32 w1[4];
 777
 778   w1[0] = 0;
 779   w1[1] = 0;
 780   w1[2] = 0;
 781   w1[3] = 0;
 782
 783   u32 w2[4];
 784
 785   w2[0] = 0;
 786   w2[1] = 0;
 787   w2[2] = 0;
 788   w2[3] = 0;
 789
 790   u32 w3[4];
 791
 792   w3[0] = 0;
 793   w3[1] = 0;
 794   w3[2] = 0;
 795   w3[3] = 0;
 796
 797   const u32 pw_len = pws[gid].pw_len;
 798
 799   /**
 800    * main
 801    */
 802
 803   m07800s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 804 }
 805
 806 __kernel void m07800_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 807 {
 808   /**
 809    * base
 810    */
 811
 812   const u32 gid = get_global_id (0);
 813
 814   if (gid >= gid_max) return;
 815
 816   /**
 817    * modifier
 818    */
 819
 820   //const u32 lid = get_local_id (0);
 821
 822   u32 w0[4];
 823
 824   w0[0] = pws[gid].i[ 0];
 825   w0[1] = pws[gid].i[ 1];
 826   w0[2] = pws[gid].i[ 2];
 827   w0[3] = pws[gid].i[ 3];
 828
 829   u32 w1[4];
 830
 831   w1[0] = pws[gid].i[ 4];
 832   w1[1] = pws[gid].i[ 5];
 833   w1[2] = pws[gid].i[ 6];
 834   w1[3] = pws[gid].i[ 7];
 835
 836   u32 w2[4];
 837
 838   w2[0] = 0;
 839   w2[1] = 0;
 840   w2[2] = 0;
 841   w2[3] = 0;
 842
 843   u32 w3[4];
 844
 845   w3[0] = 0;
 846   w3[1] = 0;
 847   w3[2] = 0;
 848   w3[3] = 0;
 849
 850   const u32 pw_len = pws[gid].pw_len;
 851
 852   /**
 853    * main
 854    */
 855
 856   m07800s (w0, w1, w2, w3, pw_len, pws, rules_buf, combs_buf, bfs_buf, tmps, hooks, bitmaps_buf_s1_a, bitmaps_buf_s1_b, bitmaps_buf_s1_c, bitmaps_buf_s1_d, bitmaps_buf_s2_a, bitmaps_buf_s2_b, bitmaps_buf_s2_c, bitmaps_buf_s2_d, plains_buf, digests_buf, hashes_shown, salt_bufs, esalt_bufs, d_return_buf, d_scryptV_buf, bitmap_mask, bitmap_shift1, bitmap_shift2, salt_pos, loop_pos, loop_cnt, bfs_cnt, digests_cnt, digests_offset);
 857 }
 858
 859 __kernel void m07800_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 860 {
 861 }