OpenCL/m07800_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _SAPG_
   7
   8 //incompatible data-dependant code
   9 //#define NEW_SIMD_CODE
  10
  11 #include "inc_vendor.cl"
  12 #include "inc_hash_constants.h"
  13 #include "inc_hash_functions.cl"
  14 #include "inc_types.cl"
  15 #include "inc_common.cl"
  16 #include "inc_rp.h"
  17 #include "inc_rp.cl"
  18 #include "inc_simd.cl"
  19
  20 #define GETSHIFTEDINT(a,n) amd_bytealign ((a)[((n)/4)+1], (a)[((n)/4)+0], (n))
  21
  22 #define SETSHIFTEDINT(a,n,v)        \
  23 {                                   \
  24   const u32 s = ((n) & 3) * 8;     \
  25   const u64 x = (u64) (v) << s; \
  26   (a)[((n)/4)+0] |= x;              \
  27   (a)[((n)/4)+1]  = x >> 32;        \
  28 }
  29
  30 __constant u32 theMagicArray[64] =
  31 {
  32   0x1451ac91,0x4354679f,0xe03be724,0xc27b7428,0xeb133386,0x5ccb4f5a,0x37730a08,0x2f1c5d0e,
  33   0xe5e68f33,0xddae9bf8,0x8d4bf216,0xdcd4e12c,0x9ddfcbb0,0x176d70d4,0x3f424df9,0x94111b9b,
  34   0x9bc15b9f,0x039d0506,0x8a135e9d,0xe86a9a1e,0x17147cd9,0xf62ac758,0x0a6399a1,0xc370fdd7,
  35   0x13745ef6,0x040bc903,0x26f79826,0x2593928a,0x230da2b0,0x6d7963ed,0x3cfa3213,0xa39a0235,
  36   0x0a8eddb3,0xc351bf24,0x9f55cd7c,0x4c94af37,0x82520829,0x374e3bb2,0x9107179f,0xcdfd3b11,
  37   0, 0, 0, 0, 0, 0, 0, 0,
  38   0, 0, 0, 0, 0, 0, 0, 0,
  39   0, 0, 0, 0, 0, 0, 0, 0
  40 };
  41
  42 void swap_buffer (u32 final[16])
  43 {
  44   final[ 0] = swap32 (final[ 0]);
  45   final[ 1] = swap32 (final[ 1]);
  46   final[ 2] = swap32 (final[ 2]);
  47   final[ 3] = swap32 (final[ 3]);
  48   final[ 4] = swap32 (final[ 4]);
  49   final[ 5] = swap32 (final[ 5]);
  50   final[ 6] = swap32 (final[ 6]);
  51   final[ 7] = swap32 (final[ 7]);
  52   final[ 8] = swap32 (final[ 8]);
  53   final[ 9] = swap32 (final[ 9]);
  54   final[10] = swap32 (final[10]);
  55   final[11] = swap32 (final[11]);
  56   final[12] = swap32 (final[12]);
  57   final[13] = swap32 (final[13]);
  58   final[14] = swap32 (final[14]);
  59   final[15] = swap32 (final[15]);
  60 }
  61
  62 void sha1_transform (const u32 w0[4], const u32 w1[4], const u32 w2[4], const u32 w3[4], u32 digest[5])
  63 {
  64   u32 A = digest[0];
  65   u32 B = digest[1];
  66   u32 C = digest[2];
  67   u32 D = digest[3];
  68   u32 E = digest[4];
  69
  70   u32 w0_t = w0[0];
  71   u32 w1_t = w0[1];
  72   u32 w2_t = w0[2];
  73   u32 w3_t = w0[3];
  74   u32 w4_t = w1[0];
  75   u32 w5_t = w1[1];
  76   u32 w6_t = w1[2];
  77   u32 w7_t = w1[3];
  78   u32 w8_t = w2[0];
  79   u32 w9_t = w2[1];
  80   u32 wa_t = w2[2];
  81   u32 wb_t = w2[3];
  82   u32 wc_t = w3[0];
  83   u32 wd_t = w3[1];
  84   u32 we_t = w3[2];
  85   u32 wf_t = w3[3];
  86
  87   #undef K
  88   #define K SHA1C00
  89
  90   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w0_t);
  91   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w1_t);
  92   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w2_t);
  93   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w3_t);
  94   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w4_t);
  95   SHA1_STEP (SHA1_F0o, A, B, C, D, E, w5_t);
  96   SHA1_STEP (SHA1_F0o, E, A, B, C, D, w6_t);
  97   SHA1_STEP (SHA1_F0o, D, E, A, B, C, w7_t);
  98   SHA1_STEP (SHA1_F0o, C, D, E, A, B, w8_t);
  99   SHA1_STEP (SHA1_F0o, B, C, D, E, A, w9_t);
 100   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wa_t);
 101   SHA1_STEP (SHA1_F0o, E, A, B, C, D, wb_t);
 102   SHA1_STEP (SHA1_F0o, D, E, A, B, C, wc_t);
 103   SHA1_STEP (SHA1_F0o, C, D, E, A, B, wd_t);
 104   SHA1_STEP (SHA1_F0o, B, C, D, E, A, we_t);
 105   SHA1_STEP (SHA1_F0o, A, B, C, D, E, wf_t);
 106   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F0o, E, A, B, C, D, w0_t);
 107   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F0o, D, E, A, B, C, w1_t);
 108   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F0o, C, D, E, A, B, w2_t);
 109   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F0o, B, C, D, E, A, w3_t);
 110
 111   #undef K
 112   #define K SHA1C01
 113
 114   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w4_t);
 115   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w5_t);
 116   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w6_t);
 117   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w7_t);
 118   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w8_t);
 119   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w9_t);
 120   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wa_t);
 121   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wb_t);
 122   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wc_t);
 123   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wd_t);
 124   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, we_t);
 125   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wf_t);
 126   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w0_t);
 127   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w1_t);
 128   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w2_t);
 129   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w3_t);
 130   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w4_t);
 131   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w5_t);
 132   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w6_t);
 133   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w7_t);
 134
 135   #undef K
 136   #define K SHA1C02
 137
 138   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w8_t);
 139   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w9_t);
 140   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wa_t);
 141   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wb_t);
 142   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wc_t);
 143   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, wd_t);
 144   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, we_t);
 145   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, wf_t);
 146   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w0_t);
 147   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w1_t);
 148   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w2_t);
 149   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w3_t);
 150   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w4_t);
 151   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, w5_t);
 152   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, w6_t);
 153   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F2o, A, B, C, D, E, w7_t);
 154   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F2o, E, A, B, C, D, w8_t);
 155   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F2o, D, E, A, B, C, w9_t);
 156   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F2o, C, D, E, A, B, wa_t);
 157   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F2o, B, C, D, E, A, wb_t);
 158
 159   #undef K
 160   #define K SHA1C03
 161
 162   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wc_t);
 163   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wd_t);
 164   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, we_t);
 165   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, wf_t);
 166   w0_t = rotl32 ((wd_t ^ w8_t ^ w2_t ^ w0_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w0_t);
 167   w1_t = rotl32 ((we_t ^ w9_t ^ w3_t ^ w1_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w1_t);
 168   w2_t = rotl32 ((wf_t ^ wa_t ^ w4_t ^ w2_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w2_t);
 169   w3_t = rotl32 ((w0_t ^ wb_t ^ w5_t ^ w3_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w3_t);
 170   w4_t = rotl32 ((w1_t ^ wc_t ^ w6_t ^ w4_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w4_t);
 171   w5_t = rotl32 ((w2_t ^ wd_t ^ w7_t ^ w5_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, w5_t);
 172   w6_t = rotl32 ((w3_t ^ we_t ^ w8_t ^ w6_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, w6_t);
 173   w7_t = rotl32 ((w4_t ^ wf_t ^ w9_t ^ w7_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, w7_t);
 174   w8_t = rotl32 ((w5_t ^ w0_t ^ wa_t ^ w8_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, w8_t);
 175   w9_t = rotl32 ((w6_t ^ w1_t ^ wb_t ^ w9_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, w9_t);
 176   wa_t = rotl32 ((w7_t ^ w2_t ^ wc_t ^ wa_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wa_t);
 177   wb_t = rotl32 ((w8_t ^ w3_t ^ wd_t ^ wb_t), 1u); SHA1_STEP (SHA1_F1, A, B, C, D, E, wb_t);
 178   wc_t = rotl32 ((w9_t ^ w4_t ^ we_t ^ wc_t), 1u); SHA1_STEP (SHA1_F1, E, A, B, C, D, wc_t);
 179   wd_t = rotl32 ((wa_t ^ w5_t ^ wf_t ^ wd_t), 1u); SHA1_STEP (SHA1_F1, D, E, A, B, C, wd_t);
 180   we_t = rotl32 ((wb_t ^ w6_t ^ w0_t ^ we_t), 1u); SHA1_STEP (SHA1_F1, C, D, E, A, B, we_t);
 181   wf_t = rotl32 ((wc_t ^ w7_t ^ w1_t ^ wf_t), 1u); SHA1_STEP (SHA1_F1, B, C, D, E, A, wf_t);
 182
 183   digest[0] += A;
 184   digest[1] += B;
 185   digest[2] += C;
 186   digest[3] += D;
 187   digest[4] += E;
 188 }
 189
 190 __kernel void m07800_m04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 191 {
 192   /**
 193    * modifier
 194    */
 195
 196   const u32 lid = get_local_id (0);
 197
 198   /**
 199    * base
 200    */
 201
 202   const u32 gid = get_global_id (0);
 203
 204   if (gid >= gid_max) return;
 205
 206   u32 pw_buf0[4];
 207   u32 pw_buf1[4];
 208
 209   pw_buf0[0] = pws[gid].i[0];
 210   pw_buf0[1] = pws[gid].i[1];
 211   pw_buf0[2] = pws[gid].i[2];
 212   pw_buf0[3] = pws[gid].i[3];
 213   pw_buf1[0] = pws[gid].i[4];
 214   pw_buf1[1] = pws[gid].i[5];
 215   pw_buf1[2] = pws[gid].i[6];
 216   pw_buf1[3] = pws[gid].i[7];
 217
 218   const u32 pw_len = pws[gid].pw_len;
 219
 220   /**
 221    * salt
 222    */
 223
 224   u32 salt_buf[8];
 225
 226   salt_buf[0] = salt_bufs[salt_pos].salt_buf[0];
 227   salt_buf[1] = salt_bufs[salt_pos].salt_buf[1];
 228   salt_buf[2] = salt_bufs[salt_pos].salt_buf[2];
 229   salt_buf[3] = salt_bufs[salt_pos].salt_buf[3];
 230   salt_buf[4] = salt_bufs[salt_pos].salt_buf[4];
 231   salt_buf[5] = salt_bufs[salt_pos].salt_buf[5];
 232   salt_buf[6] = salt_bufs[salt_pos].salt_buf[6];
 233   salt_buf[7] = salt_bufs[salt_pos].salt_buf[7];
 234
 235   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 236
 237   /**
 238    * loop
 239    */
 240
 241   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 242   {
 243     u32x w0[4] = { 0 };
 244     u32x w1[4] = { 0 };
 245     u32x w2[4] = { 0 };
 246     u32x w3[4] = { 0 };
 247
 248     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 249
 250     /**
 251      * SAP
 252      */
 253
 254     u32 s0[4];
 255     u32 s1[4];
 256     u32 s2[4];
 257     u32 s3[4];
 258
 259     s0[0] = salt_buf[0];
 260     s0[1] = salt_buf[1];
 261     s0[2] = salt_buf[2];
 262     s0[3] = salt_buf[3];
 263     s1[0] = salt_buf[4];
 264     s1[1] = salt_buf[5];
 265     s1[2] = salt_buf[6];
 266     s1[3] = salt_buf[7];
 267     s2[0] = 0;
 268     s2[1] = 0;
 269     s2[2] = 0;
 270     s2[3] = 0;
 271     s3[0] = 0;
 272     s3[1] = 0;
 273     s3[2] = 0;
 274     s3[3] = 0;
 275
 276     switch_buffer_by_offset_le_VV (s0, s1, s2, s3, out_len);
 277
 278     const u32x pw_salt_len = out_len + salt_len;
 279
 280     /**
 281      * sha1
 282      */
 283
 284     u32 final[32];
 285
 286     final[ 0] = swap32 (w0[0] | s0[0]);
 287     final[ 1] = swap32 (w0[1] | s0[1]);
 288     final[ 2] = swap32 (w0[2] | s0[2]);
 289     final[ 3] = swap32 (w0[3] | s0[3]);
 290     final[ 4] = swap32 (w1[0] | s1[0]);
 291     final[ 5] = swap32 (w1[1] | s1[1]);
 292     final[ 6] = swap32 (w1[2] | s1[2]);
 293     final[ 7] = swap32 (w1[3] | s1[3]);
 294     final[ 8] = swap32 (w2[0] | s2[0]);
 295     final[ 9] = swap32 (w2[1] | s2[1]);
 296     final[10] = swap32 (w2[2] | s2[2]);
 297     final[11] = swap32 (w2[3] | s2[3]);
 298     final[12] = swap32 (w3[0] | s3[0]);
 299     final[13] = swap32 (w3[1] | s3[1]);
 300     final[14] = 0;
 301     final[15] = pw_salt_len * 8;
 302
 303     u32 digest[5];
 304
 305     digest[0] = SHA1M_A;
 306     digest[1] = SHA1M_B;
 307     digest[2] = SHA1M_C;
 308     digest[3] = SHA1M_D;
 309     digest[4] = SHA1M_E;
 310
 311     sha1_transform (&final[0], &final[4], &final[8], &final[12], digest);
 312
 313     // prepare magic array range
 314
 315     u32 lengthMagicArray = 0x20;
 316     u32 offsetMagicArray = 0;
 317
 318     lengthMagicArray += ((digest[0] >> 24) & 0xff) % 6;
 319     lengthMagicArray += ((digest[0] >> 16) & 0xff) % 6;
 320     lengthMagicArray += ((digest[0] >>  8) & 0xff) % 6;
 321     lengthMagicArray += ((digest[0] >>  0) & 0xff) % 6;
 322     lengthMagicArray += ((digest[1] >> 24) & 0xff) % 6;
 323     lengthMagicArray += ((digest[1] >> 16) & 0xff) % 6;
 324     lengthMagicArray += ((digest[1] >>  8) & 0xff) % 6;
 325     lengthMagicArray += ((digest[1] >>  0) & 0xff) % 6;
 326     lengthMagicArray += ((digest[2] >> 24) & 0xff) % 6;
 327     lengthMagicArray += ((digest[2] >> 16) & 0xff) % 6;
 328     offsetMagicArray += ((digest[2] >>  8) & 0xff) % 8;
 329     offsetMagicArray += ((digest[2] >>  0) & 0xff) % 8;
 330     offsetMagicArray += ((digest[3] >> 24) & 0xff) % 8;
 331     offsetMagicArray += ((digest[3] >> 16) & 0xff) % 8;
 332     offsetMagicArray += ((digest[3] >>  8) & 0xff) % 8;
 333     offsetMagicArray += ((digest[3] >>  0) & 0xff) % 8;
 334     offsetMagicArray += ((digest[4] >> 24) & 0xff) % 8;
 335     offsetMagicArray += ((digest[4] >> 16) & 0xff) % 8;
 336     offsetMagicArray += ((digest[4] >>  8) & 0xff) % 8;
 337     offsetMagicArray += ((digest[4] >>  0) & 0xff) % 8;
 338
 339     // final
 340
 341     digest[0] = SHA1M_A;
 342     digest[1] = SHA1M_B;
 343     digest[2] = SHA1M_C;
 344     digest[3] = SHA1M_D;
 345     digest[4] = SHA1M_E;
 346
 347     #ifdef _unroll
 348     #pragma unroll
 349     #endif
 350     for (int i = 0; i < 32; i++) final[i] = 0;
 351
 352     final[0] = w0[0];
 353     final[1] = w0[1];
 354     final[2] = w0[2];
 355     final[3] = w0[3];
 356     final[4] = w1[0];
 357     final[5] = w1[1];
 358     final[6] = w1[2];
 359     final[7] = w1[3];
 360
 361     u32 final_len = out_len;
 362
 363     int i;
 364
 365     // append MagicArray
 366
 367     for (i = 0; i < lengthMagicArray - 4; i += 4)
 368     {
 369       const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i);
 370
 371       SETSHIFTEDINT (final, final_len + i, tmp);
 372     }
 373
 374     const u32 mask = 0xffffffff >> (((i - lengthMagicArray) & 3) * 8);
 375
 376     const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i) & mask;
 377
 378     SETSHIFTEDINT (final, final_len + i, tmp);
 379
 380     final_len += lengthMagicArray;
 381
 382     // append Salt
 383
 384     for (i = 0; i < salt_len + 1; i += 4) // +1 for the 0x80
 385     {
 386       const u32 tmp = salt_buf[i / 4]; // attention, int[] not char[]
 387
 388       SETSHIFTEDINT (final, final_len + i, tmp);
 389     }
 390
 391     final_len += salt_len;
 392
 393     // calculate
 394
 395     int left;
 396     int off;
 397
 398     for (left = final_len, off = 0; left >= 56; left -= 64, off += 16)
 399     {
 400       swap_buffer (&final[off]);
 401
 402       sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 403     }
 404
 405     swap_buffer (&final[off]);
 406
 407     final[off + 14] = 0;
 408     final[off + 15] = final_len * 8;
 409
 410     sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 411
 412     COMPARE_M_SIMD (digest[3], digest[4], digest[2], digest[1]);
 413   }
 414 }
 415
 416 __kernel void m07800_m08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 417 {
 418 }
 419
 420 __kernel void m07800_m16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 421 {
 422 }
 423
 424 __kernel void m07800_s04 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 425 {
 426   /**
 427    * modifier
 428    */
 429
 430   const u32 lid = get_local_id (0);
 431
 432   /**
 433    * base
 434    */
 435
 436   const u32 gid = get_global_id (0);
 437
 438   if (gid >= gid_max) return;
 439
 440   u32 pw_buf0[4];
 441   u32 pw_buf1[4];
 442
 443   pw_buf0[0] = pws[gid].i[0];
 444   pw_buf0[1] = pws[gid].i[1];
 445   pw_buf0[2] = pws[gid].i[2];
 446   pw_buf0[3] = pws[gid].i[3];
 447   pw_buf1[0] = pws[gid].i[4];
 448   pw_buf1[1] = pws[gid].i[5];
 449   pw_buf1[2] = pws[gid].i[6];
 450   pw_buf1[3] = pws[gid].i[7];
 451
 452   const u32 pw_len = pws[gid].pw_len;
 453
 454   /**
 455    * salt
 456    */
 457
 458   u32 salt_buf[8];
 459
 460   salt_buf[0] = salt_bufs[salt_pos].salt_buf[0];
 461   salt_buf[1] = salt_bufs[salt_pos].salt_buf[1];
 462   salt_buf[2] = salt_bufs[salt_pos].salt_buf[2];
 463   salt_buf[3] = salt_bufs[salt_pos].salt_buf[3];
 464   salt_buf[4] = salt_bufs[salt_pos].salt_buf[4];
 465   salt_buf[5] = salt_bufs[salt_pos].salt_buf[5];
 466   salt_buf[6] = salt_bufs[salt_pos].salt_buf[6];
 467   salt_buf[7] = salt_bufs[salt_pos].salt_buf[7];
 468
 469   const u32 salt_len = salt_bufs[salt_pos].salt_len;
 470
 471   /**
 472    * digest
 473    */
 474
 475   const u32 search[4] =
 476   {
 477     digests_buf[digests_offset].digest_buf[DGST_R0],
 478     digests_buf[digests_offset].digest_buf[DGST_R1],
 479     digests_buf[digests_offset].digest_buf[DGST_R2],
 480     digests_buf[digests_offset].digest_buf[DGST_R3]
 481   };
 482
 483   /**
 484    * loop
 485    */
 486
 487   for (u32 il_pos = 0; il_pos < il_cnt; il_pos += VECT_SIZE)
 488   {
 489     u32x w0[4] = { 0 };
 490     u32x w1[4] = { 0 };
 491     u32x w2[4] = { 0 };
 492     u32x w3[4] = { 0 };
 493
 494     const u32x out_len = apply_rules_vect (pw_buf0, pw_buf1, pw_len, rules_buf, il_pos, w0, w1);
 495
 496     /**
 497      * SAP
 498      */
 499
 500     u32 s0[4];
 501     u32 s1[4];
 502     u32 s2[4];
 503     u32 s3[4];
 504
 505     s0[0] = salt_buf[0];
 506     s0[1] = salt_buf[1];
 507     s0[2] = salt_buf[2];
 508     s0[3] = salt_buf[3];
 509     s1[0] = salt_buf[4];
 510     s1[1] = salt_buf[5];
 511     s1[2] = salt_buf[6];
 512     s1[3] = salt_buf[7];
 513     s2[0] = 0;
 514     s2[1] = 0;
 515     s2[2] = 0;
 516     s2[3] = 0;
 517     s3[0] = 0;
 518     s3[1] = 0;
 519     s3[2] = 0;
 520     s3[3] = 0;
 521
 522     switch_buffer_by_offset_le_VV (s0, s1, s2, s3, out_len);
 523
 524     const u32x pw_salt_len = out_len + salt_len;
 525
 526     /**
 527      * sha1
 528      */
 529
 530     u32 final[32];
 531
 532     final[ 0] = swap32 (w0[0] | s0[0]);
 533     final[ 1] = swap32 (w0[1] | s0[1]);
 534     final[ 2] = swap32 (w0[2] | s0[2]);
 535     final[ 3] = swap32 (w0[3] | s0[3]);
 536     final[ 4] = swap32 (w1[0] | s1[0]);
 537     final[ 5] = swap32 (w1[1] | s1[1]);
 538     final[ 6] = swap32 (w1[2] | s1[2]);
 539     final[ 7] = swap32 (w1[3] | s1[3]);
 540     final[ 8] = swap32 (w2[0] | s2[0]);
 541     final[ 9] = swap32 (w2[1] | s2[1]);
 542     final[10] = swap32 (w2[2] | s2[2]);
 543     final[11] = swap32 (w2[3] | s2[3]);
 544     final[12] = swap32 (w3[0] | s3[0]);
 545     final[13] = swap32 (w3[1] | s3[1]);
 546     final[14] = 0;
 547     final[15] = pw_salt_len * 8;
 548
 549     u32 digest[5];
 550
 551     digest[0] = SHA1M_A;
 552     digest[1] = SHA1M_B;
 553     digest[2] = SHA1M_C;
 554     digest[3] = SHA1M_D;
 555     digest[4] = SHA1M_E;
 556
 557     sha1_transform (&final[0], &final[4], &final[8], &final[12], digest);
 558
 559     // prepare magic array range
 560
 561     u32 lengthMagicArray = 0x20;
 562     u32 offsetMagicArray = 0;
 563
 564     lengthMagicArray += ((digest[0] >> 24) & 0xff) % 6;
 565     lengthMagicArray += ((digest[0] >> 16) & 0xff) % 6;
 566     lengthMagicArray += ((digest[0] >>  8) & 0xff) % 6;
 567     lengthMagicArray += ((digest[0] >>  0) & 0xff) % 6;
 568     lengthMagicArray += ((digest[1] >> 24) & 0xff) % 6;
 569     lengthMagicArray += ((digest[1] >> 16) & 0xff) % 6;
 570     lengthMagicArray += ((digest[1] >>  8) & 0xff) % 6;
 571     lengthMagicArray += ((digest[1] >>  0) & 0xff) % 6;
 572     lengthMagicArray += ((digest[2] >> 24) & 0xff) % 6;
 573     lengthMagicArray += ((digest[2] >> 16) & 0xff) % 6;
 574     offsetMagicArray += ((digest[2] >>  8) & 0xff) % 8;
 575     offsetMagicArray += ((digest[2] >>  0) & 0xff) % 8;
 576     offsetMagicArray += ((digest[3] >> 24) & 0xff) % 8;
 577     offsetMagicArray += ((digest[3] >> 16) & 0xff) % 8;
 578     offsetMagicArray += ((digest[3] >>  8) & 0xff) % 8;
 579     offsetMagicArray += ((digest[3] >>  0) & 0xff) % 8;
 580     offsetMagicArray += ((digest[4] >> 24) & 0xff) % 8;
 581     offsetMagicArray += ((digest[4] >> 16) & 0xff) % 8;
 582     offsetMagicArray += ((digest[4] >>  8) & 0xff) % 8;
 583     offsetMagicArray += ((digest[4] >>  0) & 0xff) % 8;
 584
 585     // final
 586
 587     digest[0] = SHA1M_A;
 588     digest[1] = SHA1M_B;
 589     digest[2] = SHA1M_C;
 590     digest[3] = SHA1M_D;
 591     digest[4] = SHA1M_E;
 592
 593     #ifdef _unroll
 594     #pragma unroll
 595     #endif
 596     for (int i = 0; i < 32; i++) final[i] = 0;
 597
 598     final[0] = w0[0];
 599     final[1] = w0[1];
 600     final[2] = w0[2];
 601     final[3] = w0[3];
 602     final[4] = w1[0];
 603     final[5] = w1[1];
 604     final[6] = w1[2];
 605     final[7] = w1[3];
 606
 607     u32 final_len = out_len;
 608
 609     int i;
 610
 611     // append MagicArray
 612
 613     for (i = 0; i < lengthMagicArray - 4; i += 4)
 614     {
 615       const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i);
 616
 617       SETSHIFTEDINT (final, final_len + i, tmp);
 618     }
 619
 620     const u32 mask = 0xffffffff >> (((i - lengthMagicArray) & 3) * 8);
 621
 622     const u32 tmp = GETSHIFTEDINT (theMagicArray, offsetMagicArray + i) & mask;
 623
 624     SETSHIFTEDINT (final, final_len + i, tmp);
 625
 626     final_len += lengthMagicArray;
 627
 628     // append Salt
 629
 630     for (i = 0; i < salt_len + 1; i += 4) // +1 for the 0x80
 631     {
 632       const u32 tmp = salt_buf[i / 4]; // attention, int[] not char[]
 633
 634       SETSHIFTEDINT (final, final_len + i, tmp);
 635     }
 636
 637     final_len += salt_len;
 638
 639     // calculate
 640
 641     int left;
 642     int off;
 643
 644     for (left = final_len, off = 0; left >= 56; left -= 64, off += 16)
 645     {
 646       swap_buffer (&final[off]);
 647
 648       sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 649     }
 650
 651     swap_buffer (&final[off]);
 652
 653     final[off + 14] = 0;
 654     final[off + 15] = final_len * 8;
 655
 656     sha1_transform (&final[off + 0], &final[off + 4], &final[off + 8], &final[off + 12], digest);
 657
 658     COMPARE_S_SIMD (digest[3], digest[4], digest[2], digest[1]);
 659   }
 660 }
 661
 662 __kernel void m07800_s08 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 663 {
 664 }
 665
 666 __kernel void m07800_s16 (__global pw_t *pws, __global kernel_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV0_buf, __global u32 *d_scryptV1_buf, __global u32 *d_scryptV2_buf, __global u32 *d_scryptV3_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 il_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 667 {
 668 }