nv/m10410_a0.cu

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _MD5_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #ifdef  VLIW1
  12 #define VECT_SIZE1
  13 #endif
  14
  15 #ifdef  VLIW2
  16 #define VECT_SIZE1
  17 #endif
  18
  19 #define DGST_R0 0
  20 #define DGST_R1 1
  21 #define DGST_R2 2
  22 #define DGST_R3 3
  23
  24 #include "include/kernel_functions.c"
  25 #include "types_nv.c"
  26 #include "common_nv.c"
  27 #include "include/rp_gpu.h"
  28 #include "rp_nv.c"
  29
  30 #ifdef  VECT_SIZE1
  31 #define VECT_COMPARE_S "check_single_vect1_comp4.c"
  32 #define VECT_COMPARE_M "check_multi_vect1_comp4.c"
  33 #endif
  34
  35 #ifdef  VECT_SIZE2
  36 #define VECT_COMPARE_S "check_single_vect2_comp4.c"
  37 #define VECT_COMPARE_M "check_multi_vect2_comp4.c"
  38 #endif
  39
  40 __device__ __constant__ u32 padding[8] =
  41 {
  42   0x5e4ebf28,
  43   0x418a754e,
  44   0x564e0064,
  45   0x0801faff,
  46   0xb6002e2e,
  47   0x803e68d0,
  48   0xfea90c2f,
  49   0x7a695364
  50 };
  51
  52 typedef struct
  53 {
  54   u8 S[256];
  55
  56   u32 wtf_its_faster;
  57
  58 } RC4_KEY;
  59
  60 __device__ static void swap (RC4_KEY *rc4_key, const u8 i, const u8 j)
  61 {
  62   u8 tmp;
  63
  64   tmp           = rc4_key->S[i];
  65   rc4_key->S[i] = rc4_key->S[j];
  66   rc4_key->S[j] = tmp;
  67 }
  68
  69 __device__ static void rc4_init_16 (RC4_KEY *rc4_key, const u32 data[4])
  70 {
  71   u32 v = 0x03020100;
  72   u32 a = 0x04040404;
  73
  74   u32 *ptr = (u32 *) rc4_key->S;
  75
  76   #pragma unroll 64
  77   for (u32 i = 0; i < 64; i++)
  78   {
  79     *ptr++ = v; v += a;
  80   }
  81
  82   const u32 d0 = data[0] >>  0;
  83   const u32 d1 = data[0] >>  8;
  84   const u32 d2 = data[0] >> 16;
  85   const u32 d3 = data[0] >> 24;
  86   const u32 d4 = data[1] >>  0;
  87
  88   u32 i = 0;
  89   u32 j = 0;
  90
  91   #pragma unroll 52
  92   for (i = 0; i < 255; i += 5)
  93   {
  94     j += rc4_key->S[i + 0]; j += d0; swap (rc4_key, i + 0, j);
  95     j += rc4_key->S[i + 1]; j += d1; swap (rc4_key, i + 1, j);
  96     j += rc4_key->S[i + 2]; j += d2; swap (rc4_key, i + 2, j);
  97     j += rc4_key->S[i + 3]; j += d3; swap (rc4_key, i + 3, j);
  98     j += rc4_key->S[i + 4]; j += d4; swap (rc4_key, i + 4, j);
  99   }
 100
 101   j += rc4_key->S[i + 0]; j += d0; swap (rc4_key, i + 0, j);
 102 }
 103
 104 __device__ static u8 rc4_next_16 (RC4_KEY *rc4_key, u8 i, u8 j, const u32 in[4], u32 out[4])
 105 {
 106   for (u32 k = 0; k < 4; k++)
 107   {
 108     u32 xor4 = 0;
 109
 110     u8 idx;
 111
 112     i += 1;
 113     j += rc4_key->S[i];
 114
 115     swap (rc4_key, i, j);
 116
 117     idx = rc4_key->S[i] + rc4_key->S[j];
 118
 119     xor4 |= rc4_key->S[idx] <<  0;
 120
 121     i += 1;
 122     j += rc4_key->S[i];
 123
 124     swap (rc4_key, i, j);
 125
 126     idx = rc4_key->S[i] + rc4_key->S[j];
 127
 128     xor4 |= rc4_key->S[idx] <<  8;
 129
 130     i += 1;
 131     j += rc4_key->S[i];
 132
 133     swap (rc4_key, i, j);
 134
 135     idx = rc4_key->S[i] + rc4_key->S[j];
 136
 137     xor4 |= rc4_key->S[idx] << 16;
 138
 139     i += 1;
 140     j += rc4_key->S[i];
 141
 142     swap (rc4_key, i, j);
 143
 144     idx = rc4_key->S[i] + rc4_key->S[j];
 145
 146     xor4 |= rc4_key->S[idx] << 24;
 147
 148     out[k] = in[k] ^ xor4;
 149   }
 150
 151   return j;
 152 }
 153
 154 __device__ __constant__ gpu_rule_t c_rules[1024];
 155
 156 extern "C" __global__ void __launch_bounds__ (64, 1) m10410_m04 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const pdf_t *pdf_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 157 {
 158   /**
 159    * modifier
 160    */
 161
 162   const u32 lid = threadIdx.x;
 163
 164   /**
 165    * base
 166    */
 167
 168   const u32 gid = (blockIdx.x * blockDim.x) + threadIdx.x;
 169
 170   if (gid >= gid_max) return;
 171
 172   u32x pw_buf0[4];
 173
 174   pw_buf0[0] = pws[gid].i[ 0];
 175   pw_buf0[1] = pws[gid].i[ 1];
 176   pw_buf0[2] = pws[gid].i[ 2];
 177   pw_buf0[3] = pws[gid].i[ 3];
 178
 179   u32x pw_buf1[4];
 180
 181   pw_buf1[0] = pws[gid].i[ 4];
 182   pw_buf1[1] = pws[gid].i[ 5];
 183   pw_buf1[2] = pws[gid].i[ 6];
 184   pw_buf1[3] = pws[gid].i[ 7];
 185
 186   const u32 pw_len = pws[gid].pw_len;
 187
 188   /**
 189    * key
 190    */
 191
 192   __shared__ RC4_KEY rc4_keys[64];
 193   RC4_KEY *rc4_key = &rc4_keys[lid];
 194
 195   /**
 196    * loop
 197    */
 198
 199   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 200   {
 201     u32x w0[4];
 202
 203     w0[0] = pw_buf0[0];
 204     w0[1] = pw_buf0[1];
 205     w0[2] = pw_buf0[2];
 206     w0[3] = pw_buf0[3];
 207
 208     u32x w1[4];
 209
 210     w1[0] = pw_buf1[0];
 211     w1[1] = pw_buf1[1];
 212     w1[2] = pw_buf1[2];
 213     w1[3] = pw_buf1[3];
 214
 215     u32x w2[4];
 216
 217     w2[0] = 0;
 218     w2[1] = 0;
 219     w2[2] = 0;
 220     w2[3] = 0;
 221
 222     u32x w3[4];
 223
 224     w3[0] = 0;
 225     w3[1] = 0;
 226     w3[2] = 0;
 227     w3[3] = 0;
 228
 229     const u32 out_len = apply_rules (c_rules[il_pos].cmds, w0, w1, pw_len);
 230
 231     // now the RC4 part
 232
 233     u32x key[4];
 234
 235     key[0] = w0[0];
 236     key[1] = w0[1];
 237     key[2] = 0;
 238     key[3] = 0;
 239
 240     rc4_init_16 (rc4_key, key);
 241
 242     u32x out[4];
 243
 244     rc4_next_16 (rc4_key, 0, 0, padding, out);
 245
 246     const u32x r0 = out[0];
 247     const u32x r1 = out[1];
 248     const u32x r2 = out[2];
 249     const u32x r3 = out[3];
 250
 251     #include VECT_COMPARE_M
 252   }
 253 }
 254
 255 extern "C" __global__ void __launch_bounds__ (64, 1) m10410_m08 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const pdf_t *pdf_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 256 {
 257 }
 258
 259 extern "C" __global__ void __launch_bounds__ (64, 1) m10410_m16 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const pdf_t *pdf_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 260 {
 261 }
 262
 263 extern "C" __global__ void __launch_bounds__ (64, 1) m10410_s04 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const pdf_t *pdf_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 264 {
 265   /**
 266    * modifier
 267    */
 268
 269   const u32 lid = threadIdx.x;
 270
 271   /**
 272    * base
 273    */
 274
 275   const u32 gid = (blockIdx.x * blockDim.x) + threadIdx.x;
 276
 277   if (gid >= gid_max) return;
 278
 279   u32x pw_buf0[4];
 280
 281   pw_buf0[0] = pws[gid].i[ 0];
 282   pw_buf0[1] = pws[gid].i[ 1];
 283   pw_buf0[2] = pws[gid].i[ 2];
 284   pw_buf0[3] = pws[gid].i[ 3];
 285
 286   u32x pw_buf1[4];
 287
 288   pw_buf1[0] = pws[gid].i[ 4];
 289   pw_buf1[1] = pws[gid].i[ 5];
 290   pw_buf1[2] = pws[gid].i[ 6];
 291   pw_buf1[3] = pws[gid].i[ 7];
 292
 293   const u32 pw_len = pws[gid].pw_len;
 294
 295   /**
 296    * digest
 297    */
 298
 299   const u32 search[4] =
 300   {
 301     digests_buf[digests_offset].digest_buf[DGST_R0],
 302     digests_buf[digests_offset].digest_buf[DGST_R1],
 303     digests_buf[digests_offset].digest_buf[DGST_R2],
 304     digests_buf[digests_offset].digest_buf[DGST_R3]
 305   };
 306
 307   /**
 308    * key
 309    */
 310
 311   __shared__ RC4_KEY rc4_keys[64];
 312   RC4_KEY *rc4_key = &rc4_keys[lid];
 313
 314   /**
 315    * loop
 316    */
 317
 318   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 319   {
 320     u32x w0[4];
 321
 322     w0[0] = pw_buf0[0];
 323     w0[1] = pw_buf0[1];
 324     w0[2] = pw_buf0[2];
 325     w0[3] = pw_buf0[3];
 326
 327     u32x w1[4];
 328
 329     w1[0] = pw_buf1[0];
 330     w1[1] = pw_buf1[1];
 331     w1[2] = pw_buf1[2];
 332     w1[3] = pw_buf1[3];
 333
 334     u32x w2[4];
 335
 336     w2[0] = 0;
 337     w2[1] = 0;
 338     w2[2] = 0;
 339     w2[3] = 0;
 340
 341     u32x w3[4];
 342
 343     w3[0] = 0;
 344     w3[1] = 0;
 345     w3[2] = 0;
 346     w3[3] = 0;
 347
 348     const u32 out_len = apply_rules (c_rules[il_pos].cmds, w0, w1, pw_len);
 349
 350     // now the RC4 part
 351
 352     u32x key[4];
 353
 354     key[0] = w0[0];
 355     key[1] = w0[1];
 356     key[2] = 0;
 357     key[3] = 0;
 358
 359     rc4_init_16 (rc4_key, key);
 360
 361     u32x out[4];
 362
 363     rc4_next_16 (rc4_key, 0, 0, padding, out);
 364
 365     const u32x r0 = out[0];
 366     const u32x r1 = out[1];
 367     const u32x r2 = out[2];
 368     const u32x r3 = out[3];
 369
 370     #include VECT_COMPARE_S
 371   }
 372 }
 373
 374 extern "C" __global__ void __launch_bounds__ (64, 1) m10410_s08 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const pdf_t *pdf_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 375 {
 376 }
 377
 378 extern "C" __global__ void __launch_bounds__ (64, 1) m10410_s16 (const pw_t *pws, const gpu_rule_t *rules_buf, const comb_t *combs_buf, const bf_t *bfs_buf, const void *tmps, void *hooks, const u32 *bitmaps_buf_s1_a, const u32 *bitmaps_buf_s1_b, const u32 *bitmaps_buf_s1_c, const u32 *bitmaps_buf_s1_d, const u32 *bitmaps_buf_s2_a, const u32 *bitmaps_buf_s2_b, const u32 *bitmaps_buf_s2_c, const u32 *bitmaps_buf_s2_d, plain_t *plains_buf, const digest_t *digests_buf, u32 *hashes_shown, const salt_t *salt_bufs, const pdf_t *pdf_bufs, u32 *d_return_buf, u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 379 {
 380 }