amd/m07500_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _KRB5PA_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #ifdef  VLIW1
  12 #define VECT_SIZE1
  13 #endif
  14
  15 #ifdef  VLIW4
  16 #define VECT_SIZE1
  17 #endif
  18
  19 #ifdef  VLIW5
  20 #define VECT_SIZE1
  21 #endif
  22
  23 #define DGST_R0 3
  24 #define DGST_R1 7
  25 #define DGST_R2 2
  26 #define DGST_R3 6
  27
  28 #include "include/kernel_functions.c"
  29 #include "types_amd.c"
  30 #include "common_amd.c"
  31 #include "include/rp_gpu.h"
  32 #include "rp_amd.c"
  33
  34 typedef struct
  35 {
  36   u8 S[256];
  37
  38   u8 i;
  39   u8 j;
  40
  41 } RC4_KEY;
  42
  43 static void swap (__local RC4_KEY *rc4_key, const u8 i, const u8 j)
  44 {
  45   u8 tmp;
  46
  47   tmp           = rc4_key->S[i];
  48   rc4_key->S[i] = rc4_key->S[j];
  49   rc4_key->S[j] = tmp;
  50 }
  51
  52 static void rc4_init_16 (__local RC4_KEY *rc4_key, const u32 data[4])
  53 {
  54   u32 i;
  55
  56   #pragma unroll 256
  57   for (i = 0; i < 256; i +=  1) rc4_key->S[i] = i;
  58
  59   u8 j = 0;
  60
  61   #pragma unroll 16
  62   for (i = 0; i < 256; i += 16)
  63   {
  64     u32 idx = i;
  65
  66     u32 v;
  67
  68     v = data[0];
  69
  70     j += rc4_key->S[idx] + (v >>  0);  swap (rc4_key, idx, j); idx++;
  71     j += rc4_key->S[idx] + (v >>  8);  swap (rc4_key, idx, j); idx++;
  72     j += rc4_key->S[idx] + (v >> 16);  swap (rc4_key, idx, j); idx++;
  73     j += rc4_key->S[idx] + (v >> 24);  swap (rc4_key, idx, j); idx++;
  74
  75     v = data[1];
  76
  77     j += rc4_key->S[idx] + (v >>  0);  swap (rc4_key, idx, j); idx++;
  78     j += rc4_key->S[idx] + (v >>  8);  swap (rc4_key, idx, j); idx++;
  79     j += rc4_key->S[idx] + (v >> 16);  swap (rc4_key, idx, j); idx++;
  80     j += rc4_key->S[idx] + (v >> 24);  swap (rc4_key, idx, j); idx++;
  81
  82     v = data[2];
  83
  84     j += rc4_key->S[idx] + (v >>  0);  swap (rc4_key, idx, j); idx++;
  85     j += rc4_key->S[idx] + (v >>  8);  swap (rc4_key, idx, j); idx++;
  86     j += rc4_key->S[idx] + (v >> 16);  swap (rc4_key, idx, j); idx++;
  87     j += rc4_key->S[idx] + (v >> 24);  swap (rc4_key, idx, j); idx++;
  88
  89     v = data[3];
  90
  91     j += rc4_key->S[idx] + (v >>  0);  swap (rc4_key, idx, j); idx++;
  92     j += rc4_key->S[idx] + (v >>  8);  swap (rc4_key, idx, j); idx++;
  93     j += rc4_key->S[idx] + (v >> 16);  swap (rc4_key, idx, j); idx++;
  94     j += rc4_key->S[idx] + (v >> 24);  swap (rc4_key, idx, j); idx++;
  95   }
  96
  97   rc4_key->i = 0;
  98   rc4_key->j = 0;
  99 }
 100
 101 static u32 rc4_next_4 (__local RC4_KEY *rc4_key, const u32 ct)
 102 {
 103   u8 idx;
 104
 105   u32 xor4 = 0;
 106
 107   u8 i = rc4_key->i;
 108   u8 j = rc4_key->j;
 109
 110   i += 1;
 111   j += rc4_key->S[i];
 112
 113   swap (rc4_key, i, j);
 114
 115   idx = rc4_key->S[i] + rc4_key->S[j];
 116
 117   xor4 |= rc4_key->S[idx] <<  0;
 118
 119   i += 1;
 120   j += rc4_key->S[i];
 121
 122   swap (rc4_key, i, j);
 123
 124   idx = rc4_key->S[i] + rc4_key->S[j];
 125
 126   xor4 |= rc4_key->S[idx] <<  8;
 127
 128   i += 1;
 129   j += rc4_key->S[i];
 130
 131   swap (rc4_key, i, j);
 132
 133   idx = rc4_key->S[i] + rc4_key->S[j];
 134
 135   xor4 |= rc4_key->S[idx] << 16;
 136
 137   i += 1;
 138   j += rc4_key->S[i];
 139
 140   swap (rc4_key, i, j);
 141
 142   idx = rc4_key->S[i] + rc4_key->S[j];
 143
 144   xor4 |= rc4_key->S[idx] << 24;
 145
 146   rc4_key->i = i;
 147   rc4_key->j = j;
 148
 149   return ct ^ xor4;
 150 }
 151
 152 static int decrypt_and_check (__local RC4_KEY *rc4_key, u32 data[4], u32 timestamp_ct[8])
 153 {
 154   u32 pt;
 155
 156   rc4_init_16 (rc4_key, data);
 157
 158   pt = rc4_next_4 (rc4_key, timestamp_ct[0]);
 159   pt = rc4_next_4 (rc4_key, timestamp_ct[1]);
 160   pt = rc4_next_4 (rc4_key, timestamp_ct[2]);
 161   pt = rc4_next_4 (rc4_key, timestamp_ct[3]);
 162
 163   if ((pt & 0xffff0000) != 0x30320000) return 0;
 164
 165   pt = rc4_next_4 (rc4_key, timestamp_ct[4]);
 166
 167   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0; pt >>= 8;
 168   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0; pt >>= 8;
 169   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0; pt >>= 8;
 170   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0;
 171
 172   pt = rc4_next_4 (rc4_key, timestamp_ct[5]);
 173
 174   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0; pt >>= 8;
 175   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0; pt >>= 8;
 176   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0; pt >>= 8;
 177   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0;
 178
 179   pt = rc4_next_4 (rc4_key, timestamp_ct[6]);
 180
 181   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0; pt >>= 8;
 182   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0; pt >>= 8;
 183   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0; pt >>= 8;
 184   if (((pt & 0xff) < '0') || ((pt & 0xff) > '9')) return 0;
 185
 186   return 1;
 187 }
 188
 189 static void md4_transform (const u32x w0[4], const u32x w1[4], const u32x w2[4], const u32x w3[4], u32x digest[4])
 190 {
 191   u32x a = digest[0];
 192   u32x b = digest[1];
 193   u32x c = digest[2];
 194   u32x d = digest[3];
 195
 196   MD4_STEP (MD4_Fo, a, b, c, d, w0[0], MD4C00, MD4S00);
 197   MD4_STEP (MD4_Fo, d, a, b, c, w0[1], MD4C00, MD4S01);
 198   MD4_STEP (MD4_Fo, c, d, a, b, w0[2], MD4C00, MD4S02);
 199   MD4_STEP (MD4_Fo, b, c, d, a, w0[3], MD4C00, MD4S03);
 200   MD4_STEP (MD4_Fo, a, b, c, d, w1[0], MD4C00, MD4S00);
 201   MD4_STEP (MD4_Fo, d, a, b, c, w1[1], MD4C00, MD4S01);
 202   MD4_STEP (MD4_Fo, c, d, a, b, w1[2], MD4C00, MD4S02);
 203   MD4_STEP (MD4_Fo, b, c, d, a, w1[3], MD4C00, MD4S03);
 204   MD4_STEP (MD4_Fo, a, b, c, d, w2[0], MD4C00, MD4S00);
 205   MD4_STEP (MD4_Fo, d, a, b, c, w2[1], MD4C00, MD4S01);
 206   MD4_STEP (MD4_Fo, c, d, a, b, w2[2], MD4C00, MD4S02);
 207   MD4_STEP (MD4_Fo, b, c, d, a, w2[3], MD4C00, MD4S03);
 208   MD4_STEP (MD4_Fo, a, b, c, d, w3[0], MD4C00, MD4S00);
 209   MD4_STEP (MD4_Fo, d, a, b, c, w3[1], MD4C00, MD4S01);
 210   MD4_STEP (MD4_Fo, c, d, a, b, w3[2], MD4C00, MD4S02);
 211   MD4_STEP (MD4_Fo, b, c, d, a, w3[3], MD4C00, MD4S03);
 212
 213   MD4_STEP (MD4_Go, a, b, c, d, w0[0], MD4C01, MD4S10);
 214   MD4_STEP (MD4_Go, d, a, b, c, w1[0], MD4C01, MD4S11);
 215   MD4_STEP (MD4_Go, c, d, a, b, w2[0], MD4C01, MD4S12);
 216   MD4_STEP (MD4_Go, b, c, d, a, w3[0], MD4C01, MD4S13);
 217   MD4_STEP (MD4_Go, a, b, c, d, w0[1], MD4C01, MD4S10);
 218   MD4_STEP (MD4_Go, d, a, b, c, w1[1], MD4C01, MD4S11);
 219   MD4_STEP (MD4_Go, c, d, a, b, w2[1], MD4C01, MD4S12);
 220   MD4_STEP (MD4_Go, b, c, d, a, w3[1], MD4C01, MD4S13);
 221   MD4_STEP (MD4_Go, a, b, c, d, w0[2], MD4C01, MD4S10);
 222   MD4_STEP (MD4_Go, d, a, b, c, w1[2], MD4C01, MD4S11);
 223   MD4_STEP (MD4_Go, c, d, a, b, w2[2], MD4C01, MD4S12);
 224   MD4_STEP (MD4_Go, b, c, d, a, w3[2], MD4C01, MD4S13);
 225   MD4_STEP (MD4_Go, a, b, c, d, w0[3], MD4C01, MD4S10);
 226   MD4_STEP (MD4_Go, d, a, b, c, w1[3], MD4C01, MD4S11);
 227   MD4_STEP (MD4_Go, c, d, a, b, w2[3], MD4C01, MD4S12);
 228   MD4_STEP (MD4_Go, b, c, d, a, w3[3], MD4C01, MD4S13);
 229
 230   MD4_STEP (MD4_H , a, b, c, d, w0[0], MD4C02, MD4S20);
 231   MD4_STEP (MD4_H , d, a, b, c, w2[0], MD4C02, MD4S21);
 232   MD4_STEP (MD4_H , c, d, a, b, w1[0], MD4C02, MD4S22);
 233   MD4_STEP (MD4_H , b, c, d, a, w3[0], MD4C02, MD4S23);
 234   MD4_STEP (MD4_H , a, b, c, d, w0[2], MD4C02, MD4S20);
 235   MD4_STEP (MD4_H , d, a, b, c, w2[2], MD4C02, MD4S21);
 236   MD4_STEP (MD4_H , c, d, a, b, w1[2], MD4C02, MD4S22);
 237   MD4_STEP (MD4_H , b, c, d, a, w3[2], MD4C02, MD4S23);
 238   MD4_STEP (MD4_H , a, b, c, d, w0[1], MD4C02, MD4S20);
 239   MD4_STEP (MD4_H , d, a, b, c, w2[1], MD4C02, MD4S21);
 240   MD4_STEP (MD4_H , c, d, a, b, w1[1], MD4C02, MD4S22);
 241   MD4_STEP (MD4_H , b, c, d, a, w3[1], MD4C02, MD4S23);
 242   MD4_STEP (MD4_H , a, b, c, d, w0[3], MD4C02, MD4S20);
 243   MD4_STEP (MD4_H , d, a, b, c, w2[3], MD4C02, MD4S21);
 244   MD4_STEP (MD4_H , c, d, a, b, w1[3], MD4C02, MD4S22);
 245   MD4_STEP (MD4_H , b, c, d, a, w3[3], MD4C02, MD4S23);
 246
 247   digest[0] += a;
 248   digest[1] += b;
 249   digest[2] += c;
 250   digest[3] += d;
 251 }
 252
 253 static void md5_transform (const u32x w0[4], const u32x w1[4], const u32x w2[4], const u32x w3[4], u32x digest[4])
 254 {
 255   u32x a = digest[0];
 256   u32x b = digest[1];
 257   u32x c = digest[2];
 258   u32x d = digest[3];
 259
 260   u32x w0_t = w0[0];
 261   u32x w1_t = w0[1];
 262   u32x w2_t = w0[2];
 263   u32x w3_t = w0[3];
 264   u32x w4_t = w1[0];
 265   u32x w5_t = w1[1];
 266   u32x w6_t = w1[2];
 267   u32x w7_t = w1[3];
 268   u32x w8_t = w2[0];
 269   u32x w9_t = w2[1];
 270   u32x wa_t = w2[2];
 271   u32x wb_t = w2[3];
 272   u32x wc_t = w3[0];
 273   u32x wd_t = w3[1];
 274   u32x we_t = w3[2];
 275   u32x wf_t = w3[3];
 276
 277   MD5_STEP (MD5_Fo, a, b, c, d, w0_t, MD5C00, MD5S00);
 278   MD5_STEP (MD5_Fo, d, a, b, c, w1_t, MD5C01, MD5S01);
 279   MD5_STEP (MD5_Fo, c, d, a, b, w2_t, MD5C02, MD5S02);
 280   MD5_STEP (MD5_Fo, b, c, d, a, w3_t, MD5C03, MD5S03);
 281   MD5_STEP (MD5_Fo, a, b, c, d, w4_t, MD5C04, MD5S00);
 282   MD5_STEP (MD5_Fo, d, a, b, c, w5_t, MD5C05, MD5S01);
 283   MD5_STEP (MD5_Fo, c, d, a, b, w6_t, MD5C06, MD5S02);
 284   MD5_STEP (MD5_Fo, b, c, d, a, w7_t, MD5C07, MD5S03);
 285   MD5_STEP (MD5_Fo, a, b, c, d, w8_t, MD5C08, MD5S00);
 286   MD5_STEP (MD5_Fo, d, a, b, c, w9_t, MD5C09, MD5S01);
 287   MD5_STEP (MD5_Fo, c, d, a, b, wa_t, MD5C0a, MD5S02);
 288   MD5_STEP (MD5_Fo, b, c, d, a, wb_t, MD5C0b, MD5S03);
 289   MD5_STEP (MD5_Fo, a, b, c, d, wc_t, MD5C0c, MD5S00);
 290   MD5_STEP (MD5_Fo, d, a, b, c, wd_t, MD5C0d, MD5S01);
 291   MD5_STEP (MD5_Fo, c, d, a, b, we_t, MD5C0e, MD5S02);
 292   MD5_STEP (MD5_Fo, b, c, d, a, wf_t, MD5C0f, MD5S03);
 293
 294   MD5_STEP (MD5_Go, a, b, c, d, w1_t, MD5C10, MD5S10);
 295   MD5_STEP (MD5_Go, d, a, b, c, w6_t, MD5C11, MD5S11);
 296   MD5_STEP (MD5_Go, c, d, a, b, wb_t, MD5C12, MD5S12);
 297   MD5_STEP (MD5_Go, b, c, d, a, w0_t, MD5C13, MD5S13);
 298   MD5_STEP (MD5_Go, a, b, c, d, w5_t, MD5C14, MD5S10);
 299   MD5_STEP (MD5_Go, d, a, b, c, wa_t, MD5C15, MD5S11);
 300   MD5_STEP (MD5_Go, c, d, a, b, wf_t, MD5C16, MD5S12);
 301   MD5_STEP (MD5_Go, b, c, d, a, w4_t, MD5C17, MD5S13);
 302   MD5_STEP (MD5_Go, a, b, c, d, w9_t, MD5C18, MD5S10);
 303   MD5_STEP (MD5_Go, d, a, b, c, we_t, MD5C19, MD5S11);
 304   MD5_STEP (MD5_Go, c, d, a, b, w3_t, MD5C1a, MD5S12);
 305   MD5_STEP (MD5_Go, b, c, d, a, w8_t, MD5C1b, MD5S13);
 306   MD5_STEP (MD5_Go, a, b, c, d, wd_t, MD5C1c, MD5S10);
 307   MD5_STEP (MD5_Go, d, a, b, c, w2_t, MD5C1d, MD5S11);
 308   MD5_STEP (MD5_Go, c, d, a, b, w7_t, MD5C1e, MD5S12);
 309   MD5_STEP (MD5_Go, b, c, d, a, wc_t, MD5C1f, MD5S13);
 310
 311   MD5_STEP (MD5_H , a, b, c, d, w5_t, MD5C20, MD5S20);
 312   MD5_STEP (MD5_H , d, a, b, c, w8_t, MD5C21, MD5S21);
 313   MD5_STEP (MD5_H , c, d, a, b, wb_t, MD5C22, MD5S22);
 314   MD5_STEP (MD5_H , b, c, d, a, we_t, MD5C23, MD5S23);
 315   MD5_STEP (MD5_H , a, b, c, d, w1_t, MD5C24, MD5S20);
 316   MD5_STEP (MD5_H , d, a, b, c, w4_t, MD5C25, MD5S21);
 317   MD5_STEP (MD5_H , c, d, a, b, w7_t, MD5C26, MD5S22);
 318   MD5_STEP (MD5_H , b, c, d, a, wa_t, MD5C27, MD5S23);
 319   MD5_STEP (MD5_H , a, b, c, d, wd_t, MD5C28, MD5S20);
 320   MD5_STEP (MD5_H , d, a, b, c, w0_t, MD5C29, MD5S21);
 321   MD5_STEP (MD5_H , c, d, a, b, w3_t, MD5C2a, MD5S22);
 322   MD5_STEP (MD5_H , b, c, d, a, w6_t, MD5C2b, MD5S23);
 323   MD5_STEP (MD5_H , a, b, c, d, w9_t, MD5C2c, MD5S20);
 324   MD5_STEP (MD5_H , d, a, b, c, wc_t, MD5C2d, MD5S21);
 325   MD5_STEP (MD5_H , c, d, a, b, wf_t, MD5C2e, MD5S22);
 326   MD5_STEP (MD5_H , b, c, d, a, w2_t, MD5C2f, MD5S23);
 327
 328   MD5_STEP (MD5_I , a, b, c, d, w0_t, MD5C30, MD5S30);
 329   MD5_STEP (MD5_I , d, a, b, c, w7_t, MD5C31, MD5S31);
 330   MD5_STEP (MD5_I , c, d, a, b, we_t, MD5C32, MD5S32);
 331   MD5_STEP (MD5_I , b, c, d, a, w5_t, MD5C33, MD5S33);
 332   MD5_STEP (MD5_I , a, b, c, d, wc_t, MD5C34, MD5S30);
 333   MD5_STEP (MD5_I , d, a, b, c, w3_t, MD5C35, MD5S31);
 334   MD5_STEP (MD5_I , c, d, a, b, wa_t, MD5C36, MD5S32);
 335   MD5_STEP (MD5_I , b, c, d, a, w1_t, MD5C37, MD5S33);
 336   MD5_STEP (MD5_I , a, b, c, d, w8_t, MD5C38, MD5S30);
 337   MD5_STEP (MD5_I , d, a, b, c, wf_t, MD5C39, MD5S31);
 338   MD5_STEP (MD5_I , c, d, a, b, w6_t, MD5C3a, MD5S32);
 339   MD5_STEP (MD5_I , b, c, d, a, wd_t, MD5C3b, MD5S33);
 340   MD5_STEP (MD5_I , a, b, c, d, w4_t, MD5C3c, MD5S30);
 341   MD5_STEP (MD5_I , d, a, b, c, wb_t, MD5C3d, MD5S31);
 342   MD5_STEP (MD5_I , c, d, a, b, w2_t, MD5C3e, MD5S32);
 343   MD5_STEP (MD5_I , b, c, d, a, w9_t, MD5C3f, MD5S33);
 344
 345   digest[0] += a;
 346   digest[1] += b;
 347   digest[2] += c;
 348   digest[3] += d;
 349 }
 350
 351 static void hmac_md5_pad (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[4], u32x opad[4])
 352 {
 353   w0[0] = w0[0] ^ 0x36363636;
 354   w0[1] = w0[1] ^ 0x36363636;
 355   w0[2] = w0[2] ^ 0x36363636;
 356   w0[3] = w0[3] ^ 0x36363636;
 357   w1[0] = w1[0] ^ 0x36363636;
 358   w1[1] = w1[1] ^ 0x36363636;
 359   w1[2] = w1[2] ^ 0x36363636;
 360   w1[3] = w1[3] ^ 0x36363636;
 361   w2[0] = w2[0] ^ 0x36363636;
 362   w2[1] = w2[1] ^ 0x36363636;
 363   w2[2] = w2[2] ^ 0x36363636;
 364   w2[3] = w2[3] ^ 0x36363636;
 365   w3[0] = w3[0] ^ 0x36363636;
 366   w3[1] = w3[1] ^ 0x36363636;
 367   w3[2] = w3[2] ^ 0x36363636;
 368   w3[3] = w3[3] ^ 0x36363636;
 369
 370   ipad[0] = MD5M_A;
 371   ipad[1] = MD5M_B;
 372   ipad[2] = MD5M_C;
 373   ipad[3] = MD5M_D;
 374
 375   md5_transform (w0, w1, w2, w3, ipad);
 376
 377   w0[0] = w0[0] ^ 0x6a6a6a6a;
 378   w0[1] = w0[1] ^ 0x6a6a6a6a;
 379   w0[2] = w0[2] ^ 0x6a6a6a6a;
 380   w0[3] = w0[3] ^ 0x6a6a6a6a;
 381   w1[0] = w1[0] ^ 0x6a6a6a6a;
 382   w1[1] = w1[1] ^ 0x6a6a6a6a;
 383   w1[2] = w1[2] ^ 0x6a6a6a6a;
 384   w1[3] = w1[3] ^ 0x6a6a6a6a;
 385   w2[0] = w2[0] ^ 0x6a6a6a6a;
 386   w2[1] = w2[1] ^ 0x6a6a6a6a;
 387   w2[2] = w2[2] ^ 0x6a6a6a6a;
 388   w2[3] = w2[3] ^ 0x6a6a6a6a;
 389   w3[0] = w3[0] ^ 0x6a6a6a6a;
 390   w3[1] = w3[1] ^ 0x6a6a6a6a;
 391   w3[2] = w3[2] ^ 0x6a6a6a6a;
 392   w3[3] = w3[3] ^ 0x6a6a6a6a;
 393
 394   opad[0] = MD5M_A;
 395   opad[1] = MD5M_B;
 396   opad[2] = MD5M_C;
 397   opad[3] = MD5M_D;
 398
 399   md5_transform (w0, w1, w2, w3, opad);
 400 }
 401
 402 static void hmac_md5_run (u32x w0[4], u32x w1[4], u32x w2[4], u32x w3[4], u32x ipad[4], u32x opad[4], u32x digest[4])
 403 {
 404   digest[0] = ipad[0];
 405   digest[1] = ipad[1];
 406   digest[2] = ipad[2];
 407   digest[3] = ipad[3];
 408
 409   md5_transform (w0, w1, w2, w3, digest);
 410
 411   w0[0] = digest[0];
 412   w0[1] = digest[1];
 413   w0[2] = digest[2];
 414   w0[3] = digest[3];
 415   w1[0] = 0x80;
 416   w1[1] = 0;
 417   w1[2] = 0;
 418   w1[3] = 0;
 419   w2[0] = 0;
 420   w2[1] = 0;
 421   w2[2] = 0;
 422   w2[3] = 0;
 423   w3[0] = 0;
 424   w3[1] = 0;
 425   w3[2] = (64 + 16) * 8;
 426   w3[3] = 0;
 427
 428   digest[0] = opad[0];
 429   digest[1] = opad[1];
 430   digest[2] = opad[2];
 431   digest[3] = opad[3];
 432
 433   md5_transform (w0, w1, w2, w3, digest);
 434 }
 435
 436 static void kerb_prepare (const u32x w0[4], const u32x w1[4], const u32 pw_len, const u32 checksum[4], u32x digest[4])
 437 {
 438   /**
 439    * pads
 440    */
 441
 442   u32x w0_t[4];
 443   u32x w1_t[4];
 444   u32x w2_t[4];
 445   u32x w3_t[4];
 446
 447   w0_t[0] = w0[0];
 448   w0_t[1] = w0[1];
 449   w0_t[2] = w0[2];
 450   w0_t[3] = w0[3];
 451   w1_t[0] = w1[0];
 452   w1_t[1] = w1[1];
 453   w1_t[2] = w1[2];
 454   w1_t[3] = w1[3];
 455   w2_t[0] = 0;
 456   w2_t[1] = 0;
 457   w2_t[2] = 0;
 458   w2_t[3] = 0;
 459   w3_t[0] = 0;
 460   w3_t[1] = 0;
 461   w3_t[2] = 0;
 462   w3_t[3] = 0;
 463
 464   // K=MD4(Little_indian(UNICODE(pwd))
 465
 466   append_0x80_2 (w0_t, w1_t, pw_len);
 467
 468   make_unicode (w1_t, w2_t, w3_t);
 469   make_unicode (w0_t, w0_t, w1_t);
 470
 471   w3_t[2] = pw_len * 8 * 2;
 472   w3_t[3] = 0;
 473
 474   digest[0] = MD4M_A;
 475   digest[1] = MD4M_B;
 476   digest[2] = MD4M_C;
 477   digest[3] = MD4M_D;
 478
 479   md4_transform (w0_t, w1_t, w2_t, w3_t, digest);
 480
 481   // K1=MD5_HMAC(K,1); with 1 encoded as little indian on 4 bytes (01000000 in hexa);
 482
 483   w0_t[0] = digest[0];
 484   w0_t[1] = digest[1];
 485   w0_t[2] = digest[2];
 486   w0_t[3] = digest[3];
 487   w1_t[0] = 0;
 488   w1_t[1] = 0;
 489   w1_t[2] = 0;
 490   w1_t[3] = 0;
 491   w2_t[0] = 0;
 492   w2_t[1] = 0;
 493   w2_t[2] = 0;
 494   w2_t[3] = 0;
 495   w3_t[0] = 0;
 496   w3_t[1] = 0;
 497   w3_t[2] = 0;
 498   w3_t[3] = 0;
 499
 500   u32x ipad[4];
 501   u32x opad[4];
 502
 503   hmac_md5_pad (w0_t, w1_t, w2_t, w3_t, ipad, opad);
 504
 505   w0_t[0] = 1;
 506   w0_t[1] = 0x80;
 507   w0_t[2] = 0;
 508   w0_t[3] = 0;
 509   w1_t[0] = 0;
 510   w1_t[1] = 0;
 511   w1_t[2] = 0;
 512   w1_t[3] = 0;
 513   w2_t[0] = 0;
 514   w2_t[1] = 0;
 515   w2_t[2] = 0;
 516   w2_t[3] = 0;
 517   w3_t[0] = 0;
 518   w3_t[1] = 0;
 519   w3_t[2] = (64 + 4) * 8;
 520   w3_t[3] = 0;
 521
 522   hmac_md5_run (w0_t, w1_t, w2_t, w3_t, ipad, opad, digest);
 523
 524   // K3=MD5_HMAC(K1,checksum);
 525
 526   w0_t[0] = digest[0];
 527   w0_t[1] = digest[1];
 528   w0_t[2] = digest[2];
 529   w0_t[3] = digest[3];
 530   w1_t[0] = 0;
 531   w1_t[1] = 0;
 532   w1_t[2] = 0;
 533   w1_t[3] = 0;
 534   w2_t[0] = 0;
 535   w2_t[1] = 0;
 536   w2_t[2] = 0;
 537   w2_t[3] = 0;
 538   w3_t[0] = 0;
 539   w3_t[1] = 0;
 540   w3_t[2] = 0;
 541   w3_t[3] = 0;
 542
 543   hmac_md5_pad (w0_t, w1_t, w2_t, w3_t, ipad, opad);
 544
 545   w0_t[0] = checksum[0];
 546   w0_t[1] = checksum[1];
 547   w0_t[2] = checksum[2];
 548   w0_t[3] = checksum[3];
 549   w1_t[0] = 0x80;
 550   w1_t[1] = 0;
 551   w1_t[2] = 0;
 552   w1_t[3] = 0;
 553   w2_t[0] = 0;
 554   w2_t[1] = 0;
 555   w2_t[2] = 0;
 556   w2_t[3] = 0;
 557   w3_t[0] = 0;
 558   w3_t[1] = 0;
 559   w3_t[2] = (64 + 16) * 8;
 560   w3_t[3] = 0;
 561
 562   hmac_md5_run (w0_t, w1_t, w2_t, w3_t, ipad, opad, digest);
 563 }
 564
 565 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07500_m04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global krb5pa_t *krb5pa_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 566 {
 567   /**
 568    * modifier
 569    */
 570
 571   __local RC4_KEY rc4_keys[64];
 572
 573   const u32 lid = get_local_id (0);
 574   const u32 gid = get_global_id (0);
 575
 576   if (gid >= gid_max) return;
 577
 578   /**
 579    * base
 580    */
 581
 582   u32x pw_buf0[4];
 583
 584   pw_buf0[0] = pws[gid].i[ 0];
 585   pw_buf0[1] = pws[gid].i[ 1];
 586   pw_buf0[2] = pws[gid].i[ 2];
 587   pw_buf0[3] = pws[gid].i[ 3];
 588
 589   u32x pw_buf1[4];
 590
 591   pw_buf1[0] = pws[gid].i[ 4];
 592   pw_buf1[1] = pws[gid].i[ 5];
 593   pw_buf1[2] = pws[gid].i[ 6];
 594   pw_buf1[3] = pws[gid].i[ 7];
 595
 596   const u32 pw_len = pws[gid].pw_len;
 597
 598   /**
 599    * salt
 600    */
 601
 602   u32 checksum[4];
 603
 604   checksum[0] = krb5pa_bufs[salt_pos].checksum[0];
 605   checksum[1] = krb5pa_bufs[salt_pos].checksum[1];
 606   checksum[2] = krb5pa_bufs[salt_pos].checksum[2];
 607   checksum[3] = krb5pa_bufs[salt_pos].checksum[3];
 608
 609   u32 timestamp_ct[8];
 610
 611   timestamp_ct[0] = krb5pa_bufs[salt_pos].timestamp[0];
 612   timestamp_ct[1] = krb5pa_bufs[salt_pos].timestamp[1];
 613   timestamp_ct[2] = krb5pa_bufs[salt_pos].timestamp[2];
 614   timestamp_ct[3] = krb5pa_bufs[salt_pos].timestamp[3];
 615   timestamp_ct[4] = krb5pa_bufs[salt_pos].timestamp[4];
 616   timestamp_ct[5] = krb5pa_bufs[salt_pos].timestamp[5];
 617   timestamp_ct[6] = krb5pa_bufs[salt_pos].timestamp[6];
 618   timestamp_ct[7] = krb5pa_bufs[salt_pos].timestamp[7];
 619
 620   /**
 621    * loop
 622    */
 623
 624   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 625   {
 626     u32x w0[4];
 627
 628     w0[0] = pw_buf0[0];
 629     w0[1] = pw_buf0[1];
 630     w0[2] = pw_buf0[2];
 631     w0[3] = pw_buf0[3];
 632
 633     u32x w1[4];
 634
 635     w1[0] = pw_buf1[0];
 636     w1[1] = pw_buf1[1];
 637     w1[2] = pw_buf1[2];
 638     w1[3] = pw_buf1[3];
 639
 640     u32x w2[4];
 641
 642     w2[0] = 0;
 643     w2[1] = 0;
 644     w2[2] = 0;
 645     w2[3] = 0;
 646
 647     u32x w3[4];
 648
 649     w3[0] = 0;
 650     w3[1] = 0;
 651     w3[2] = 0;
 652     w3[3] = 0;
 653
 654     const u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 655
 656     /**
 657      * kerberos
 658      */
 659
 660     u32x digest[4];
 661
 662     kerb_prepare (w0, w1, out_len, checksum, digest);
 663
 664     u32 tmp[4];
 665
 666     #ifdef VECT_SIZE1
 667
 668     tmp[0] = digest[0];
 669     tmp[1] = digest[1];
 670     tmp[2] = digest[2];
 671     tmp[3] = digest[3];
 672
 673     if (decrypt_and_check (&rc4_keys[lid], tmp, timestamp_ct) == 1)
 674     {
 675       mark_hash_s0 (plains_buf, hashes_shown, digests_offset, gid, il_pos);
 676
 677       d_return_buf[lid] = 1;
 678     }
 679
 680     #endif
 681   }
 682 }
 683
 684 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07500_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global krb5pa_t *krb5pa_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 685 {
 686 }
 687
 688 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07500_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global krb5pa_t *krb5pa_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 689 {
 690 }
 691
 692 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07500_s04 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global krb5pa_t *krb5pa_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 693 {
 694   /**
 695    * modifier
 696    */
 697
 698   __local RC4_KEY rc4_keys[64];
 699
 700   const u32 lid = get_local_id (0);
 701   const u32 gid = get_global_id (0);
 702
 703   if (gid >= gid_max) return;
 704
 705   /**
 706    * base
 707    */
 708
 709   u32x pw_buf0[4];
 710
 711   pw_buf0[0] = pws[gid].i[ 0];
 712   pw_buf0[1] = pws[gid].i[ 1];
 713   pw_buf0[2] = pws[gid].i[ 2];
 714   pw_buf0[3] = pws[gid].i[ 3];
 715
 716   u32x pw_buf1[4];
 717
 718   pw_buf1[0] = pws[gid].i[ 4];
 719   pw_buf1[1] = pws[gid].i[ 5];
 720   pw_buf1[2] = pws[gid].i[ 6];
 721   pw_buf1[3] = pws[gid].i[ 7];
 722
 723   const u32 pw_len = pws[gid].pw_len;
 724
 725   /**
 726    * salt
 727    */
 728
 729   u32 checksum[4];
 730
 731   checksum[0] = krb5pa_bufs[salt_pos].checksum[0];
 732   checksum[1] = krb5pa_bufs[salt_pos].checksum[1];
 733   checksum[2] = krb5pa_bufs[salt_pos].checksum[2];
 734   checksum[3] = krb5pa_bufs[salt_pos].checksum[3];
 735
 736   u32 timestamp_ct[8];
 737
 738   timestamp_ct[0] = krb5pa_bufs[salt_pos].timestamp[0];
 739   timestamp_ct[1] = krb5pa_bufs[salt_pos].timestamp[1];
 740   timestamp_ct[2] = krb5pa_bufs[salt_pos].timestamp[2];
 741   timestamp_ct[3] = krb5pa_bufs[salt_pos].timestamp[3];
 742   timestamp_ct[4] = krb5pa_bufs[salt_pos].timestamp[4];
 743   timestamp_ct[5] = krb5pa_bufs[salt_pos].timestamp[5];
 744   timestamp_ct[6] = krb5pa_bufs[salt_pos].timestamp[6];
 745   timestamp_ct[7] = krb5pa_bufs[salt_pos].timestamp[7];
 746
 747   /**
 748    * loop
 749    */
 750
 751   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 752   {
 753     u32x w0[4];
 754
 755     w0[0] = pw_buf0[0];
 756     w0[1] = pw_buf0[1];
 757     w0[2] = pw_buf0[2];
 758     w0[3] = pw_buf0[3];
 759
 760     u32x w1[4];
 761
 762     w1[0] = pw_buf1[0];
 763     w1[1] = pw_buf1[1];
 764     w1[2] = pw_buf1[2];
 765     w1[3] = pw_buf1[3];
 766
 767     u32x w2[4];
 768
 769     w2[0] = 0;
 770     w2[1] = 0;
 771     w2[2] = 0;
 772     w2[3] = 0;
 773
 774     u32x w3[4];
 775
 776     w3[0] = 0;
 777     w3[1] = 0;
 778     w3[2] = 0;
 779     w3[3] = 0;
 780
 781     const u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 782
 783     /**
 784      * kerberos
 785      */
 786
 787     u32x digest[4];
 788
 789     kerb_prepare (w0, w1, out_len, checksum, digest);
 790
 791     u32 tmp[4];
 792
 793     #ifdef VECT_SIZE1
 794
 795     tmp[0] = digest[0];
 796     tmp[1] = digest[1];
 797     tmp[2] = digest[2];
 798     tmp[3] = digest[3];
 799
 800     if (decrypt_and_check (&rc4_keys[lid], tmp, timestamp_ct) == 1)
 801     {
 802       mark_hash_s0 (plains_buf, hashes_shown, digests_offset, gid, il_pos);
 803
 804       d_return_buf[lid] = 1;
 805     }
 806
 807     #endif
 808   }
 809 }
 810
 811 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07500_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global krb5pa_t *krb5pa_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 812 {
 813 }
 814
 815 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m07500_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global krb5pa_t *krb5pa_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 816 {
 817 }