OpenCL/m05500_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _MD4_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "types_ocl.c"
  18 #include "common.c"
  19 #include "include/rp_gpu.h"
  20 #include "rp.c"
  21
  22 #define COMPARE_S "check_single_comp4.c"
  23 #define COMPARE_M "check_multi_comp4.c"
  24
  25 #define PERM_OP(a,b,tt,n,m) \
  26 {                           \
  27   tt = a >> n;              \
  28   tt = tt ^ b;              \
  29   tt = tt & m;              \
  30   b = b ^ tt;               \
  31   tt = tt << n;             \
  32   a = a ^ tt;               \
  33 }
  34
  35 #define HPERM_OP(a,tt,n,m)  \
  36 {                           \
  37   tt = a << (16 + n);       \
  38   tt = tt ^ a;              \
  39   tt = tt & m;              \
  40   a  = a ^ tt;              \
  41   tt = tt >> (16 + n);      \
  42   a  = a ^ tt;              \
  43 }
  44
  45 __constant u32 c_SPtrans[8][64] =
  46 {
  47   {
  48     0x02080800, 0x00080000, 0x02000002, 0x02080802,
  49     0x02000000, 0x00080802, 0x00080002, 0x02000002,
  50     0x00080802, 0x02080800, 0x02080000, 0x00000802,
  51     0x02000802, 0x02000000, 0x00000000, 0x00080002,
  52     0x00080000, 0x00000002, 0x02000800, 0x00080800,
  53     0x02080802, 0x02080000, 0x00000802, 0x02000800,
  54     0x00000002, 0x00000800, 0x00080800, 0x02080002,
  55     0x00000800, 0x02000802, 0x02080002, 0x00000000,
  56     0x00000000, 0x02080802, 0x02000800, 0x00080002,
  57     0x02080800, 0x00080000, 0x00000802, 0x02000800,
  58     0x02080002, 0x00000800, 0x00080800, 0x02000002,
  59     0x00080802, 0x00000002, 0x02000002, 0x02080000,
  60     0x02080802, 0x00080800, 0x02080000, 0x02000802,
  61     0x02000000, 0x00000802, 0x00080002, 0x00000000,
  62     0x00080000, 0x02000000, 0x02000802, 0x02080800,
  63     0x00000002, 0x02080002, 0x00000800, 0x00080802,
  64   },
  65   {
  66     0x40108010, 0x00000000, 0x00108000, 0x40100000,
  67     0x40000010, 0x00008010, 0x40008000, 0x00108000,
  68     0x00008000, 0x40100010, 0x00000010, 0x40008000,
  69     0x00100010, 0x40108000, 0x40100000, 0x00000010,
  70     0x00100000, 0x40008010, 0x40100010, 0x00008000,
  71     0x00108010, 0x40000000, 0x00000000, 0x00100010,
  72     0x40008010, 0x00108010, 0x40108000, 0x40000010,
  73     0x40000000, 0x00100000, 0x00008010, 0x40108010,
  74     0x00100010, 0x40108000, 0x40008000, 0x00108010,
  75     0x40108010, 0x00100010, 0x40000010, 0x00000000,
  76     0x40000000, 0x00008010, 0x00100000, 0x40100010,
  77     0x00008000, 0x40000000, 0x00108010, 0x40008010,
  78     0x40108000, 0x00008000, 0x00000000, 0x40000010,
  79     0x00000010, 0x40108010, 0x00108000, 0x40100000,
  80     0x40100010, 0x00100000, 0x00008010, 0x40008000,
  81     0x40008010, 0x00000010, 0x40100000, 0x00108000,
  82   },
  83   {
  84     0x04000001, 0x04040100, 0x00000100, 0x04000101,
  85     0x00040001, 0x04000000, 0x04000101, 0x00040100,
  86     0x04000100, 0x00040000, 0x04040000, 0x00000001,
  87     0x04040101, 0x00000101, 0x00000001, 0x04040001,
  88     0x00000000, 0x00040001, 0x04040100, 0x00000100,
  89     0x00000101, 0x04040101, 0x00040000, 0x04000001,
  90     0x04040001, 0x04000100, 0x00040101, 0x04040000,
  91     0x00040100, 0x00000000, 0x04000000, 0x00040101,
  92     0x04040100, 0x00000100, 0x00000001, 0x00040000,
  93     0x00000101, 0x00040001, 0x04040000, 0x04000101,
  94     0x00000000, 0x04040100, 0x00040100, 0x04040001,
  95     0x00040001, 0x04000000, 0x04040101, 0x00000001,
  96     0x00040101, 0x04000001, 0x04000000, 0x04040101,
  97     0x00040000, 0x04000100, 0x04000101, 0x00040100,
  98     0x04000100, 0x00000000, 0x04040001, 0x00000101,
  99     0x04000001, 0x00040101, 0x00000100, 0x04040000,
 100   },
 101   {
 102     0x00401008, 0x10001000, 0x00000008, 0x10401008,
 103     0x00000000, 0x10400000, 0x10001008, 0x00400008,
 104     0x10401000, 0x10000008, 0x10000000, 0x00001008,
 105     0x10000008, 0x00401008, 0x00400000, 0x10000000,
 106     0x10400008, 0x00401000, 0x00001000, 0x00000008,
 107     0x00401000, 0x10001008, 0x10400000, 0x00001000,
 108     0x00001008, 0x00000000, 0x00400008, 0x10401000,
 109     0x10001000, 0x10400008, 0x10401008, 0x00400000,
 110     0x10400008, 0x00001008, 0x00400000, 0x10000008,
 111     0x00401000, 0x10001000, 0x00000008, 0x10400000,
 112     0x10001008, 0x00000000, 0x00001000, 0x00400008,
 113     0x00000000, 0x10400008, 0x10401000, 0x00001000,
 114     0x10000000, 0x10401008, 0x00401008, 0x00400000,
 115     0x10401008, 0x00000008, 0x10001000, 0x00401008,
 116     0x00400008, 0x00401000, 0x10400000, 0x10001008,
 117     0x00001008, 0x10000000, 0x10000008, 0x10401000,
 118   },
 119   {
 120     0x08000000, 0x00010000, 0x00000400, 0x08010420,
 121     0x08010020, 0x08000400, 0x00010420, 0x08010000,
 122     0x00010000, 0x00000020, 0x08000020, 0x00010400,
 123     0x08000420, 0x08010020, 0x08010400, 0x00000000,
 124     0x00010400, 0x08000000, 0x00010020, 0x00000420,
 125     0x08000400, 0x00010420, 0x00000000, 0x08000020,
 126     0x00000020, 0x08000420, 0x08010420, 0x00010020,
 127     0x08010000, 0x00000400, 0x00000420, 0x08010400,
 128     0x08010400, 0x08000420, 0x00010020, 0x08010000,
 129     0x00010000, 0x00000020, 0x08000020, 0x08000400,
 130     0x08000000, 0x00010400, 0x08010420, 0x00000000,
 131     0x00010420, 0x08000000, 0x00000400, 0x00010020,
 132     0x08000420, 0x00000400, 0x00000000, 0x08010420,
 133     0x08010020, 0x08010400, 0x00000420, 0x00010000,
 134     0x00010400, 0x08010020, 0x08000400, 0x00000420,
 135     0x00000020, 0x00010420, 0x08010000, 0x08000020,
 136   },
 137   {
 138     0x80000040, 0x00200040, 0x00000000, 0x80202000,
 139     0x00200040, 0x00002000, 0x80002040, 0x00200000,
 140     0x00002040, 0x80202040, 0x00202000, 0x80000000,
 141     0x80002000, 0x80000040, 0x80200000, 0x00202040,
 142     0x00200000, 0x80002040, 0x80200040, 0x00000000,
 143     0x00002000, 0x00000040, 0x80202000, 0x80200040,
 144     0x80202040, 0x80200000, 0x80000000, 0x00002040,
 145     0x00000040, 0x00202000, 0x00202040, 0x80002000,
 146     0x00002040, 0x80000000, 0x80002000, 0x00202040,
 147     0x80202000, 0x00200040, 0x00000000, 0x80002000,
 148     0x80000000, 0x00002000, 0x80200040, 0x00200000,
 149     0x00200040, 0x80202040, 0x00202000, 0x00000040,
 150     0x80202040, 0x00202000, 0x00200000, 0x80002040,
 151     0x80000040, 0x80200000, 0x00202040, 0x00000000,
 152     0x00002000, 0x80000040, 0x80002040, 0x80202000,
 153     0x80200000, 0x00002040, 0x00000040, 0x80200040,
 154   },
 155   {
 156     0x00004000, 0x00000200, 0x01000200, 0x01000004,
 157     0x01004204, 0x00004004, 0x00004200, 0x00000000,
 158     0x01000000, 0x01000204, 0x00000204, 0x01004000,
 159     0x00000004, 0x01004200, 0x01004000, 0x00000204,
 160     0x01000204, 0x00004000, 0x00004004, 0x01004204,
 161     0x00000000, 0x01000200, 0x01000004, 0x00004200,
 162     0x01004004, 0x00004204, 0x01004200, 0x00000004,
 163     0x00004204, 0x01004004, 0x00000200, 0x01000000,
 164     0x00004204, 0x01004000, 0x01004004, 0x00000204,
 165     0x00004000, 0x00000200, 0x01000000, 0x01004004,
 166     0x01000204, 0x00004204, 0x00004200, 0x00000000,
 167     0x00000200, 0x01000004, 0x00000004, 0x01000200,
 168     0x00000000, 0x01000204, 0x01000200, 0x00004200,
 169     0x00000204, 0x00004000, 0x01004204, 0x01000000,
 170     0x01004200, 0x00000004, 0x00004004, 0x01004204,
 171     0x01000004, 0x01004200, 0x01004000, 0x00004004,
 172   },
 173   {
 174     0x20800080, 0x20820000, 0x00020080, 0x00000000,
 175     0x20020000, 0x00800080, 0x20800000, 0x20820080,
 176     0x00000080, 0x20000000, 0x00820000, 0x00020080,
 177     0x00820080, 0x20020080, 0x20000080, 0x20800000,
 178     0x00020000, 0x00820080, 0x00800080, 0x20020000,
 179     0x20820080, 0x20000080, 0x00000000, 0x00820000,
 180     0x20000000, 0x00800000, 0x20020080, 0x20800080,
 181     0x00800000, 0x00020000, 0x20820000, 0x00000080,
 182     0x00800000, 0x00020000, 0x20000080, 0x20820080,
 183     0x00020080, 0x20000000, 0x00000000, 0x00820000,
 184     0x20800080, 0x20020080, 0x20020000, 0x00800080,
 185     0x20820000, 0x00000080, 0x00800080, 0x20020000,
 186     0x20820080, 0x00800000, 0x20800000, 0x20000080,
 187     0x00820000, 0x00020080, 0x20020080, 0x20800000,
 188     0x00000080, 0x20820000, 0x00820080, 0x00000000,
 189     0x20000000, 0x20800080, 0x00020000, 0x00820080,
 190   }
 191 };
 192
 193 __constant u32 c_skb[8][64] =
 194 {
 195   {
 196     0x00000000, 0x00000010, 0x20000000, 0x20000010,
 197     0x00010000, 0x00010010, 0x20010000, 0x20010010,
 198     0x00000800, 0x00000810, 0x20000800, 0x20000810,
 199     0x00010800, 0x00010810, 0x20010800, 0x20010810,
 200     0x00000020, 0x00000030, 0x20000020, 0x20000030,
 201     0x00010020, 0x00010030, 0x20010020, 0x20010030,
 202     0x00000820, 0x00000830, 0x20000820, 0x20000830,
 203     0x00010820, 0x00010830, 0x20010820, 0x20010830,
 204     0x00080000, 0x00080010, 0x20080000, 0x20080010,
 205     0x00090000, 0x00090010, 0x20090000, 0x20090010,
 206     0x00080800, 0x00080810, 0x20080800, 0x20080810,
 207     0x00090800, 0x00090810, 0x20090800, 0x20090810,
 208     0x00080020, 0x00080030, 0x20080020, 0x20080030,
 209     0x00090020, 0x00090030, 0x20090020, 0x20090030,
 210     0x00080820, 0x00080830, 0x20080820, 0x20080830,
 211     0x00090820, 0x00090830, 0x20090820, 0x20090830,
 212   },
 213   {
 214     0x00000000, 0x02000000, 0x00002000, 0x02002000,
 215     0x00200000, 0x02200000, 0x00202000, 0x02202000,
 216     0x00000004, 0x02000004, 0x00002004, 0x02002004,
 217     0x00200004, 0x02200004, 0x00202004, 0x02202004,
 218     0x00000400, 0x02000400, 0x00002400, 0x02002400,
 219     0x00200400, 0x02200400, 0x00202400, 0x02202400,
 220     0x00000404, 0x02000404, 0x00002404, 0x02002404,
 221     0x00200404, 0x02200404, 0x00202404, 0x02202404,
 222     0x10000000, 0x12000000, 0x10002000, 0x12002000,
 223     0x10200000, 0x12200000, 0x10202000, 0x12202000,
 224     0x10000004, 0x12000004, 0x10002004, 0x12002004,
 225     0x10200004, 0x12200004, 0x10202004, 0x12202004,
 226     0x10000400, 0x12000400, 0x10002400, 0x12002400,
 227     0x10200400, 0x12200400, 0x10202400, 0x12202400,
 228     0x10000404, 0x12000404, 0x10002404, 0x12002404,
 229     0x10200404, 0x12200404, 0x10202404, 0x12202404,
 230   },
 231   {
 232     0x00000000, 0x00000001, 0x00040000, 0x00040001,
 233     0x01000000, 0x01000001, 0x01040000, 0x01040001,
 234     0x00000002, 0x00000003, 0x00040002, 0x00040003,
 235     0x01000002, 0x01000003, 0x01040002, 0x01040003,
 236     0x00000200, 0x00000201, 0x00040200, 0x00040201,
 237     0x01000200, 0x01000201, 0x01040200, 0x01040201,
 238     0x00000202, 0x00000203, 0x00040202, 0x00040203,
 239     0x01000202, 0x01000203, 0x01040202, 0x01040203,
 240     0x08000000, 0x08000001, 0x08040000, 0x08040001,
 241     0x09000000, 0x09000001, 0x09040000, 0x09040001,
 242     0x08000002, 0x08000003, 0x08040002, 0x08040003,
 243     0x09000002, 0x09000003, 0x09040002, 0x09040003,
 244     0x08000200, 0x08000201, 0x08040200, 0x08040201,
 245     0x09000200, 0x09000201, 0x09040200, 0x09040201,
 246     0x08000202, 0x08000203, 0x08040202, 0x08040203,
 247     0x09000202, 0x09000203, 0x09040202, 0x09040203,
 248   },
 249   {
 250     0x00000000, 0x00100000, 0x00000100, 0x00100100,
 251     0x00000008, 0x00100008, 0x00000108, 0x00100108,
 252     0x00001000, 0x00101000, 0x00001100, 0x00101100,
 253     0x00001008, 0x00101008, 0x00001108, 0x00101108,
 254     0x04000000, 0x04100000, 0x04000100, 0x04100100,
 255     0x04000008, 0x04100008, 0x04000108, 0x04100108,
 256     0x04001000, 0x04101000, 0x04001100, 0x04101100,
 257     0x04001008, 0x04101008, 0x04001108, 0x04101108,
 258     0x00020000, 0x00120000, 0x00020100, 0x00120100,
 259     0x00020008, 0x00120008, 0x00020108, 0x00120108,
 260     0x00021000, 0x00121000, 0x00021100, 0x00121100,
 261     0x00021008, 0x00121008, 0x00021108, 0x00121108,
 262     0x04020000, 0x04120000, 0x04020100, 0x04120100,
 263     0x04020008, 0x04120008, 0x04020108, 0x04120108,
 264     0x04021000, 0x04121000, 0x04021100, 0x04121100,
 265     0x04021008, 0x04121008, 0x04021108, 0x04121108,
 266   },
 267   {
 268     0x00000000, 0x10000000, 0x00010000, 0x10010000,
 269     0x00000004, 0x10000004, 0x00010004, 0x10010004,
 270     0x20000000, 0x30000000, 0x20010000, 0x30010000,
 271     0x20000004, 0x30000004, 0x20010004, 0x30010004,
 272     0x00100000, 0x10100000, 0x00110000, 0x10110000,
 273     0x00100004, 0x10100004, 0x00110004, 0x10110004,
 274     0x20100000, 0x30100000, 0x20110000, 0x30110000,
 275     0x20100004, 0x30100004, 0x20110004, 0x30110004,
 276     0x00001000, 0x10001000, 0x00011000, 0x10011000,
 277     0x00001004, 0x10001004, 0x00011004, 0x10011004,
 278     0x20001000, 0x30001000, 0x20011000, 0x30011000,
 279     0x20001004, 0x30001004, 0x20011004, 0x30011004,
 280     0x00101000, 0x10101000, 0x00111000, 0x10111000,
 281     0x00101004, 0x10101004, 0x00111004, 0x10111004,
 282     0x20101000, 0x30101000, 0x20111000, 0x30111000,
 283     0x20101004, 0x30101004, 0x20111004, 0x30111004,
 284   },
 285   {
 286     0x00000000, 0x08000000, 0x00000008, 0x08000008,
 287     0x00000400, 0x08000400, 0x00000408, 0x08000408,
 288     0x00020000, 0x08020000, 0x00020008, 0x08020008,
 289     0x00020400, 0x08020400, 0x00020408, 0x08020408,
 290     0x00000001, 0x08000001, 0x00000009, 0x08000009,
 291     0x00000401, 0x08000401, 0x00000409, 0x08000409,
 292     0x00020001, 0x08020001, 0x00020009, 0x08020009,
 293     0x00020401, 0x08020401, 0x00020409, 0x08020409,
 294     0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 295     0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 296     0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 297     0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 298     0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 299     0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 300     0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 301     0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 302   },
 303   {
 304     0x00000000, 0x00000100, 0x00080000, 0x00080100,
 305     0x01000000, 0x01000100, 0x01080000, 0x01080100,
 306     0x00000010, 0x00000110, 0x00080010, 0x00080110,
 307     0x01000010, 0x01000110, 0x01080010, 0x01080110,
 308     0x00200000, 0x00200100, 0x00280000, 0x00280100,
 309     0x01200000, 0x01200100, 0x01280000, 0x01280100,
 310     0x00200010, 0x00200110, 0x00280010, 0x00280110,
 311     0x01200010, 0x01200110, 0x01280010, 0x01280110,
 312     0x00000200, 0x00000300, 0x00080200, 0x00080300,
 313     0x01000200, 0x01000300, 0x01080200, 0x01080300,
 314     0x00000210, 0x00000310, 0x00080210, 0x00080310,
 315     0x01000210, 0x01000310, 0x01080210, 0x01080310,
 316     0x00200200, 0x00200300, 0x00280200, 0x00280300,
 317     0x01200200, 0x01200300, 0x01280200, 0x01280300,
 318     0x00200210, 0x00200310, 0x00280210, 0x00280310,
 319     0x01200210, 0x01200310, 0x01280210, 0x01280310,
 320   },
 321   {
 322     0x00000000, 0x04000000, 0x00040000, 0x04040000,
 323     0x00000002, 0x04000002, 0x00040002, 0x04040002,
 324     0x00002000, 0x04002000, 0x00042000, 0x04042000,
 325     0x00002002, 0x04002002, 0x00042002, 0x04042002,
 326     0x00000020, 0x04000020, 0x00040020, 0x04040020,
 327     0x00000022, 0x04000022, 0x00040022, 0x04040022,
 328     0x00002020, 0x04002020, 0x00042020, 0x04042020,
 329     0x00002022, 0x04002022, 0x00042022, 0x04042022,
 330     0x00000800, 0x04000800, 0x00040800, 0x04040800,
 331     0x00000802, 0x04000802, 0x00040802, 0x04040802,
 332     0x00002800, 0x04002800, 0x00042800, 0x04042800,
 333     0x00002802, 0x04002802, 0x00042802, 0x04042802,
 334     0x00000820, 0x04000820, 0x00040820, 0x04040820,
 335     0x00000822, 0x04000822, 0x00040822, 0x04040822,
 336     0x00002820, 0x04002820, 0x00042820, 0x04042820,
 337     0x00002822, 0x04002822, 0x00042822, 0x04042822
 338   }
 339 };
 340
 341 #define BOX(i,n,S) (S)[(n)][(i)]
 342
 343 static void _des_crypt_encrypt (u32 iv[2], u32 data[2], u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 344 {
 345   u32 r = data[0];
 346   u32 l = data[1];
 347
 348   #pragma unroll 16
 349   for (u32 i = 0; i < 16; i += 2)
 350   {
 351     u32 u;
 352     u32 t;
 353
 354     u = Kc[i + 0] ^ rotl32 (r, 30u);
 355     t = Kd[i + 0] ^ rotl32 (r, 26u);
 356
 357     l ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 358        | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 359        | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 360        | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 361        | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 362        | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 363        | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 364        | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 365
 366     u = Kc[i + 1] ^ rotl32 (l, 30u);
 367     t = Kd[i + 1] ^ rotl32 (l, 26u);
 368
 369     r ^= BOX (((u >>  0) & 0x3f), 0, s_SPtrans)
 370        | BOX (((u >>  8) & 0x3f), 2, s_SPtrans)
 371        | BOX (((u >> 16) & 0x3f), 4, s_SPtrans)
 372        | BOX (((u >> 24) & 0x3f), 6, s_SPtrans)
 373        | BOX (((t >>  0) & 0x3f), 1, s_SPtrans)
 374        | BOX (((t >>  8) & 0x3f), 3, s_SPtrans)
 375        | BOX (((t >> 16) & 0x3f), 5, s_SPtrans)
 376        | BOX (((t >> 24) & 0x3f), 7, s_SPtrans);
 377   }
 378
 379   iv[0] = l;
 380   iv[1] = r;
 381 }
 382
 383 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 384 {
 385   u32 tt;
 386
 387   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 388   HPERM_OP (c,    tt, 2, 0xcccc0000);
 389   HPERM_OP (d,    tt, 2, 0xcccc0000);
 390   PERM_OP  (d, c, tt, 1, 0x55555555);
 391   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 392   PERM_OP  (d, c, tt, 1, 0x55555555);
 393
 394   d = ((d & 0x000000ff) << 16)
 395     | ((d & 0x0000ff00) <<  0)
 396     | ((d & 0x00ff0000) >> 16)
 397     | ((c & 0xf0000000) >>  4);
 398
 399   c = c & 0x0fffffff;
 400
 401   #pragma unroll 16
 402   for (u32 i = 0; i < 16; i++)
 403   {
 404     if ((i < 2) || (i == 8) || (i == 15))
 405     {
 406       c = ((c >> 1) | (c << 27));
 407       d = ((d >> 1) | (d << 27));
 408     }
 409     else
 410     {
 411       c = ((c >> 2) | (c << 26));
 412       d = ((d >> 2) | (d << 26));
 413     }
 414
 415     c = c & 0x0fffffff;
 416     d = d & 0x0fffffff;
 417
 418     const u32 c00 = (c >>  0) & 0x0000003f;
 419     const u32 c06 = (c >>  6) & 0x00383003;
 420     const u32 c07 = (c >>  7) & 0x0000003c;
 421     const u32 c13 = (c >> 13) & 0x0000060f;
 422     const u32 c20 = (c >> 20) & 0x00000001;
 423
 424     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 425           | BOX (((c06 >>  0) & 0xff)
 426                 |((c07 >>  0) & 0xff), 1, s_skb)
 427           | BOX (((c13 >>  0) & 0xff)
 428                 |((c06 >>  8) & 0xff), 2, s_skb)
 429           | BOX (((c20 >>  0) & 0xff)
 430                 |((c13 >>  8) & 0xff)
 431                 |((c06 >> 16) & 0xff), 3, s_skb);
 432
 433     const u32 d00 = (d >>  0) & 0x00003c3f;
 434     const u32 d07 = (d >>  7) & 0x00003f03;
 435     const u32 d21 = (d >> 21) & 0x0000000f;
 436     const u32 d22 = (d >> 22) & 0x00000030;
 437
 438     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 439           | BOX (((d07 >>  0) & 0xff)
 440                 |((d00 >>  8) & 0xff), 5, s_skb)
 441           | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 442           | BOX (((d21 >>  0) & 0xff)
 443                 |((d22 >>  0) & 0xff), 7, s_skb);
 444
 445     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 446     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 447   }
 448 }
 449
 450 static void transform_netntlmv1_key (const u32 w0, const u32 w1, u32 out[2])
 451 {
 452   const uchar4 t0 = as_uchar4 (w0);
 453   const uchar4 t1 = as_uchar4 (w1);
 454
 455   uchar4 k0;
 456   uchar4 k1;
 457
 458   k0.s0 =                (t0.s0 >> 0);
 459   k0.s1 = (t0.s0 << 7) | (t0.s1 >> 1);
 460   k0.s2 = (t0.s1 << 6) | (t0.s2 >> 2);
 461   k0.s3 = (t0.s2 << 5) | (t0.s3 >> 3);
 462   k1.s0 = (t0.s3 << 4) | (t1.s0 >> 4);
 463   k1.s1 = (t1.s0 << 3) | (t1.s1 >> 5);
 464   k1.s2 = (t1.s1 << 2) | (t1.s2 >> 6);
 465   k1.s3 = (t1.s2 << 1);
 466
 467   out[0] = as_uint (k0);
 468   out[1] = as_uint (k1);
 469 }
 470
 471 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05500_m04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 472 {
 473   /**
 474    * modifier
 475    */
 476
 477   const u32 lid = get_local_id (0);
 478
 479   /**
 480    * base
 481    */
 482
 483   const u32 gid = get_global_id (0);
 484
 485   u32 pw_buf0[4];
 486
 487   pw_buf0[0] = pws[gid].i[ 0];
 488   pw_buf0[1] = pws[gid].i[ 1];
 489   pw_buf0[2] = pws[gid].i[ 2];
 490   pw_buf0[3] = pws[gid].i[ 3];
 491
 492   u32 pw_buf1[4];
 493
 494   pw_buf1[0] = pws[gid].i[ 4];
 495   pw_buf1[1] = pws[gid].i[ 5];
 496   pw_buf1[2] = pws[gid].i[ 6];
 497   pw_buf1[3] = pws[gid].i[ 7];
 498
 499   const u32 pw_len = pws[gid].pw_len;
 500
 501   /**
 502    * sbox, kbox
 503    */
 504
 505   __local u32 s_SPtrans[8][64];
 506   __local u32 s_skb[8][64];
 507
 508   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 509   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 510   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 511   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 512   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 513   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 514   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 515   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 516
 517   s_skb[0][lid] = c_skb[0][lid];
 518   s_skb[1][lid] = c_skb[1][lid];
 519   s_skb[2][lid] = c_skb[2][lid];
 520   s_skb[3][lid] = c_skb[3][lid];
 521   s_skb[4][lid] = c_skb[4][lid];
 522   s_skb[5][lid] = c_skb[5][lid];
 523   s_skb[6][lid] = c_skb[6][lid];
 524   s_skb[7][lid] = c_skb[7][lid];
 525
 526   barrier (CLK_LOCAL_MEM_FENCE);
 527
 528   if (gid >= gid_max) return;
 529
 530   /**
 531    * salt
 532    */
 533
 534   const u32 s0 = salt_bufs[salt_pos].salt_buf[0];
 535   const u32 s1 = salt_bufs[salt_pos].salt_buf[1];
 536   const u32 s2 = salt_bufs[salt_pos].salt_buf[2];
 537
 538   u32 data[2];
 539
 540   data[0] = s0;
 541   data[1] = s1;
 542
 543   /**
 544    * loop
 545    */
 546
 547   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 548   {
 549     u32 w0[4];
 550
 551     w0[0] = pw_buf0[0];
 552     w0[1] = pw_buf0[1];
 553     w0[2] = pw_buf0[2];
 554     w0[3] = pw_buf0[3];
 555
 556     u32 w1[4];
 557
 558     w1[0] = pw_buf1[0];
 559     w1[1] = pw_buf1[1];
 560     w1[2] = pw_buf1[2];
 561     w1[3] = pw_buf1[3];
 562
 563     u32 w2[4];
 564
 565     w2[0] = 0;
 566     w2[1] = 0;
 567     w2[2] = 0;
 568     w2[3] = 0;
 569
 570     u32 w3[4];
 571
 572     w3[0] = 0;
 573     w3[1] = 0;
 574     w3[2] = 0;
 575     w3[3] = 0;
 576
 577     const u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 578
 579     append_0x80_2x4 (w0, w1, out_len);
 580
 581     u32 w0_t[4];
 582     u32 w1_t[4];
 583     u32 w2_t[4];
 584     u32 w3_t[4];
 585
 586     make_unicode (w0, w0_t, w1_t);
 587     make_unicode (w1, w2_t, w3_t);
 588
 589     w3_t[2] = out_len * 8 * 2;
 590
 591     u32 a = MD4M_A;
 592     u32 b = MD4M_B;
 593     u32 c = MD4M_C;
 594     u32 d = MD4M_D;
 595
 596     MD4_STEP (MD4_Fo, a, b, c, d, w0_t[0], MD4C00, MD4S00);
 597     MD4_STEP (MD4_Fo, d, a, b, c, w0_t[1], MD4C00, MD4S01);
 598     MD4_STEP (MD4_Fo, c, d, a, b, w0_t[2], MD4C00, MD4S02);
 599     MD4_STEP (MD4_Fo, b, c, d, a, w0_t[3], MD4C00, MD4S03);
 600     MD4_STEP (MD4_Fo, a, b, c, d, w1_t[0], MD4C00, MD4S00);
 601     MD4_STEP (MD4_Fo, d, a, b, c, w1_t[1], MD4C00, MD4S01);
 602     MD4_STEP (MD4_Fo, c, d, a, b, w1_t[2], MD4C00, MD4S02);
 603     MD4_STEP (MD4_Fo, b, c, d, a, w1_t[3], MD4C00, MD4S03);
 604     MD4_STEP (MD4_Fo, a, b, c, d, w2_t[0], MD4C00, MD4S00);
 605     MD4_STEP (MD4_Fo, d, a, b, c, w2_t[1], MD4C00, MD4S01);
 606     MD4_STEP (MD4_Fo, c, d, a, b, w2_t[2], MD4C00, MD4S02);
 607     MD4_STEP (MD4_Fo, b, c, d, a, w2_t[3], MD4C00, MD4S03);
 608     MD4_STEP (MD4_Fo, a, b, c, d, w3_t[0], MD4C00, MD4S00);
 609     MD4_STEP (MD4_Fo, d, a, b, c, w3_t[1], MD4C00, MD4S01);
 610     MD4_STEP (MD4_Fo, c, d, a, b, w3_t[2], MD4C00, MD4S02);
 611     MD4_STEP (MD4_Fo, b, c, d, a, w3_t[3], MD4C00, MD4S03);
 612
 613     MD4_STEP (MD4_Go, a, b, c, d, w0_t[0], MD4C01, MD4S10);
 614     MD4_STEP (MD4_Go, d, a, b, c, w1_t[0], MD4C01, MD4S11);
 615     MD4_STEP (MD4_Go, c, d, a, b, w2_t[0], MD4C01, MD4S12);
 616     MD4_STEP (MD4_Go, b, c, d, a, w3_t[0], MD4C01, MD4S13);
 617     MD4_STEP (MD4_Go, a, b, c, d, w0_t[1], MD4C01, MD4S10);
 618     MD4_STEP (MD4_Go, d, a, b, c, w1_t[1], MD4C01, MD4S11);
 619     MD4_STEP (MD4_Go, c, d, a, b, w2_t[1], MD4C01, MD4S12);
 620     MD4_STEP (MD4_Go, b, c, d, a, w3_t[1], MD4C01, MD4S13);
 621     MD4_STEP (MD4_Go, a, b, c, d, w0_t[2], MD4C01, MD4S10);
 622     MD4_STEP (MD4_Go, d, a, b, c, w1_t[2], MD4C01, MD4S11);
 623     MD4_STEP (MD4_Go, c, d, a, b, w2_t[2], MD4C01, MD4S12);
 624     MD4_STEP (MD4_Go, b, c, d, a, w3_t[2], MD4C01, MD4S13);
 625     MD4_STEP (MD4_Go, a, b, c, d, w0_t[3], MD4C01, MD4S10);
 626     MD4_STEP (MD4_Go, d, a, b, c, w1_t[3], MD4C01, MD4S11);
 627     MD4_STEP (MD4_Go, c, d, a, b, w2_t[3], MD4C01, MD4S12);
 628     MD4_STEP (MD4_Go, b, c, d, a, w3_t[3], MD4C01, MD4S13);
 629
 630     MD4_STEP (MD4_H , a, b, c, d, w0_t[0], MD4C02, MD4S20);
 631     MD4_STEP (MD4_H , d, a, b, c, w2_t[0], MD4C02, MD4S21);
 632     MD4_STEP (MD4_H , c, d, a, b, w1_t[0], MD4C02, MD4S22);
 633     MD4_STEP (MD4_H , b, c, d, a, w3_t[0], MD4C02, MD4S23);
 634     MD4_STEP (MD4_H , a, b, c, d, w0_t[2], MD4C02, MD4S20);
 635     MD4_STEP (MD4_H , d, a, b, c, w2_t[2], MD4C02, MD4S21);
 636     MD4_STEP (MD4_H , c, d, a, b, w1_t[2], MD4C02, MD4S22);
 637     MD4_STEP (MD4_H , b, c, d, a, w3_t[2], MD4C02, MD4S23);
 638     MD4_STEP (MD4_H , a, b, c, d, w0_t[1], MD4C02, MD4S20);
 639     MD4_STEP (MD4_H , d, a, b, c, w2_t[1], MD4C02, MD4S21);
 640     MD4_STEP (MD4_H , c, d, a, b, w1_t[1], MD4C02, MD4S22);
 641     MD4_STEP (MD4_H , b, c, d, a, w3_t[1], MD4C02, MD4S23);
 642     MD4_STEP (MD4_H , a, b, c, d, w0_t[3], MD4C02, MD4S20);
 643     MD4_STEP (MD4_H , d, a, b, c, w2_t[3], MD4C02, MD4S21);
 644
 645     if (allx (s2 != ((d + MD4M_D) >> 16))) continue;
 646
 647     MD4_STEP (MD4_H , c, d, a, b, w1_t[3], MD4C02, MD4S22);
 648     MD4_STEP (MD4_H , b, c, d, a, w3_t[3], MD4C02, MD4S23);
 649
 650     a += MD4M_A;
 651     b += MD4M_B;
 652     c += MD4M_C;
 653     d += MD4M_D;
 654
 655     /**
 656      * DES1
 657      */
 658
 659     u32 key[2];
 660
 661     transform_netntlmv1_key (a, b, key);
 662
 663     u32 Kc[16];
 664     u32 Kd[16];
 665
 666     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
 667
 668     u32 iv1[2];
 669
 670     _des_crypt_encrypt (iv1, data, Kc, Kd, s_SPtrans);
 671
 672     /**
 673      * DES2
 674      */
 675
 676     transform_netntlmv1_key (((b >> 24) | (c << 8)), ((c >> 24) | (d << 8)), key);
 677
 678     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
 679
 680     u32 iv2[2];
 681
 682     _des_crypt_encrypt (iv2, data, Kc, Kd, s_SPtrans);
 683
 684     /**
 685      * compare
 686      */
 687
 688     const u32 r0 = iv1[0];
 689     const u32 r1 = iv1[1];
 690     const u32 r2 = iv2[0];
 691     const u32 r3 = iv2[1];
 692
 693     #include COMPARE_M
 694   }
 695 }
 696
 697 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05500_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 698 {
 699 }
 700
 701 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05500_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 702 {
 703 }
 704
 705 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05500_s04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 706 {
 707   /**
 708    * modifier
 709    */
 710
 711   const u32 lid = get_local_id (0);
 712
 713   /**
 714    * base
 715    */
 716
 717   const u32 gid = get_global_id (0);
 718
 719   u32 pw_buf0[4];
 720
 721   pw_buf0[0] = pws[gid].i[ 0];
 722   pw_buf0[1] = pws[gid].i[ 1];
 723   pw_buf0[2] = pws[gid].i[ 2];
 724   pw_buf0[3] = pws[gid].i[ 3];
 725
 726   u32 pw_buf1[4];
 727
 728   pw_buf1[0] = pws[gid].i[ 4];
 729   pw_buf1[1] = pws[gid].i[ 5];
 730   pw_buf1[2] = pws[gid].i[ 6];
 731   pw_buf1[3] = pws[gid].i[ 7];
 732
 733   const u32 pw_len = pws[gid].pw_len;
 734
 735   /**
 736    * sbox, kbox
 737    */
 738
 739   __local u32 s_SPtrans[8][64];
 740   __local u32 s_skb[8][64];
 741
 742   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 743   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 744   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 745   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 746   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 747   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 748   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 749   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 750
 751   s_skb[0][lid] = c_skb[0][lid];
 752   s_skb[1][lid] = c_skb[1][lid];
 753   s_skb[2][lid] = c_skb[2][lid];
 754   s_skb[3][lid] = c_skb[3][lid];
 755   s_skb[4][lid] = c_skb[4][lid];
 756   s_skb[5][lid] = c_skb[5][lid];
 757   s_skb[6][lid] = c_skb[6][lid];
 758   s_skb[7][lid] = c_skb[7][lid];
 759
 760   barrier (CLK_LOCAL_MEM_FENCE);
 761
 762   if (gid >= gid_max) return;
 763
 764   /**
 765    * salt
 766    */
 767
 768   const u32 s0 = salt_bufs[salt_pos].salt_buf[0];
 769   const u32 s1 = salt_bufs[salt_pos].salt_buf[1];
 770   const u32 s2 = salt_bufs[salt_pos].salt_buf[2];
 771
 772   u32 data[2];
 773
 774   data[0] = s0;
 775   data[1] = s1;
 776
 777   /**
 778    * digest
 779    */
 780
 781   const u32 search[4] =
 782   {
 783     digests_buf[digests_offset].digest_buf[DGST_R0],
 784     digests_buf[digests_offset].digest_buf[DGST_R1],
 785     digests_buf[digests_offset].digest_buf[DGST_R2],
 786     digests_buf[digests_offset].digest_buf[DGST_R3]
 787   };
 788
 789   /**
 790    * loop
 791    */
 792
 793   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 794   {
 795     u32 w0[4];
 796
 797     w0[0] = pw_buf0[0];
 798     w0[1] = pw_buf0[1];
 799     w0[2] = pw_buf0[2];
 800     w0[3] = pw_buf0[3];
 801
 802     u32 w1[4];
 803
 804     w1[0] = pw_buf1[0];
 805     w1[1] = pw_buf1[1];
 806     w1[2] = pw_buf1[2];
 807     w1[3] = pw_buf1[3];
 808
 809     u32 w2[4];
 810
 811     w2[0] = 0;
 812     w2[1] = 0;
 813     w2[2] = 0;
 814     w2[3] = 0;
 815
 816     u32 w3[4];
 817
 818     w3[0] = 0;
 819     w3[1] = 0;
 820     w3[2] = 0;
 821     w3[3] = 0;
 822
 823     const u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 824
 825     append_0x80_2x4 (w0, w1, out_len);
 826
 827     u32 w0_t[4];
 828     u32 w1_t[4];
 829     u32 w2_t[4];
 830     u32 w3_t[4];
 831
 832     make_unicode (w0, w0_t, w1_t);
 833     make_unicode (w1, w2_t, w3_t);
 834
 835     w3_t[2] = out_len * 8 * 2;
 836
 837     u32 a = MD4M_A;
 838     u32 b = MD4M_B;
 839     u32 c = MD4M_C;
 840     u32 d = MD4M_D;
 841
 842     MD4_STEP (MD4_Fo, a, b, c, d, w0_t[0], MD4C00, MD4S00);
 843     MD4_STEP (MD4_Fo, d, a, b, c, w0_t[1], MD4C00, MD4S01);
 844     MD4_STEP (MD4_Fo, c, d, a, b, w0_t[2], MD4C00, MD4S02);
 845     MD4_STEP (MD4_Fo, b, c, d, a, w0_t[3], MD4C00, MD4S03);
 846     MD4_STEP (MD4_Fo, a, b, c, d, w1_t[0], MD4C00, MD4S00);
 847     MD4_STEP (MD4_Fo, d, a, b, c, w1_t[1], MD4C00, MD4S01);
 848     MD4_STEP (MD4_Fo, c, d, a, b, w1_t[2], MD4C00, MD4S02);
 849     MD4_STEP (MD4_Fo, b, c, d, a, w1_t[3], MD4C00, MD4S03);
 850     MD4_STEP (MD4_Fo, a, b, c, d, w2_t[0], MD4C00, MD4S00);
 851     MD4_STEP (MD4_Fo, d, a, b, c, w2_t[1], MD4C00, MD4S01);
 852     MD4_STEP (MD4_Fo, c, d, a, b, w2_t[2], MD4C00, MD4S02);
 853     MD4_STEP (MD4_Fo, b, c, d, a, w2_t[3], MD4C00, MD4S03);
 854     MD4_STEP (MD4_Fo, a, b, c, d, w3_t[0], MD4C00, MD4S00);
 855     MD4_STEP (MD4_Fo, d, a, b, c, w3_t[1], MD4C00, MD4S01);
 856     MD4_STEP (MD4_Fo, c, d, a, b, w3_t[2], MD4C00, MD4S02);
 857     MD4_STEP (MD4_Fo, b, c, d, a, w3_t[3], MD4C00, MD4S03);
 858
 859     MD4_STEP (MD4_Go, a, b, c, d, w0_t[0], MD4C01, MD4S10);
 860     MD4_STEP (MD4_Go, d, a, b, c, w1_t[0], MD4C01, MD4S11);
 861     MD4_STEP (MD4_Go, c, d, a, b, w2_t[0], MD4C01, MD4S12);
 862     MD4_STEP (MD4_Go, b, c, d, a, w3_t[0], MD4C01, MD4S13);
 863     MD4_STEP (MD4_Go, a, b, c, d, w0_t[1], MD4C01, MD4S10);
 864     MD4_STEP (MD4_Go, d, a, b, c, w1_t[1], MD4C01, MD4S11);
 865     MD4_STEP (MD4_Go, c, d, a, b, w2_t[1], MD4C01, MD4S12);
 866     MD4_STEP (MD4_Go, b, c, d, a, w3_t[1], MD4C01, MD4S13);
 867     MD4_STEP (MD4_Go, a, b, c, d, w0_t[2], MD4C01, MD4S10);
 868     MD4_STEP (MD4_Go, d, a, b, c, w1_t[2], MD4C01, MD4S11);
 869     MD4_STEP (MD4_Go, c, d, a, b, w2_t[2], MD4C01, MD4S12);
 870     MD4_STEP (MD4_Go, b, c, d, a, w3_t[2], MD4C01, MD4S13);
 871     MD4_STEP (MD4_Go, a, b, c, d, w0_t[3], MD4C01, MD4S10);
 872     MD4_STEP (MD4_Go, d, a, b, c, w1_t[3], MD4C01, MD4S11);
 873     MD4_STEP (MD4_Go, c, d, a, b, w2_t[3], MD4C01, MD4S12);
 874     MD4_STEP (MD4_Go, b, c, d, a, w3_t[3], MD4C01, MD4S13);
 875
 876     MD4_STEP (MD4_H , a, b, c, d, w0_t[0], MD4C02, MD4S20);
 877     MD4_STEP (MD4_H , d, a, b, c, w2_t[0], MD4C02, MD4S21);
 878     MD4_STEP (MD4_H , c, d, a, b, w1_t[0], MD4C02, MD4S22);
 879     MD4_STEP (MD4_H , b, c, d, a, w3_t[0], MD4C02, MD4S23);
 880     MD4_STEP (MD4_H , a, b, c, d, w0_t[2], MD4C02, MD4S20);
 881     MD4_STEP (MD4_H , d, a, b, c, w2_t[2], MD4C02, MD4S21);
 882     MD4_STEP (MD4_H , c, d, a, b, w1_t[2], MD4C02, MD4S22);
 883     MD4_STEP (MD4_H , b, c, d, a, w3_t[2], MD4C02, MD4S23);
 884     MD4_STEP (MD4_H , a, b, c, d, w0_t[1], MD4C02, MD4S20);
 885     MD4_STEP (MD4_H , d, a, b, c, w2_t[1], MD4C02, MD4S21);
 886     MD4_STEP (MD4_H , c, d, a, b, w1_t[1], MD4C02, MD4S22);
 887     MD4_STEP (MD4_H , b, c, d, a, w3_t[1], MD4C02, MD4S23);
 888     MD4_STEP (MD4_H , a, b, c, d, w0_t[3], MD4C02, MD4S20);
 889     MD4_STEP (MD4_H , d, a, b, c, w2_t[3], MD4C02, MD4S21);
 890
 891     if (allx (s2 != ((d + MD4M_D) >> 16))) continue;
 892
 893     MD4_STEP (MD4_H , c, d, a, b, w1_t[3], MD4C02, MD4S22);
 894     MD4_STEP (MD4_H , b, c, d, a, w3_t[3], MD4C02, MD4S23);
 895
 896     a += MD4M_A;
 897     b += MD4M_B;
 898     c += MD4M_C;
 899     d += MD4M_D;
 900
 901     /**
 902      * DES1
 903      */
 904
 905     u32 key[2];
 906
 907     transform_netntlmv1_key (a, b, key);
 908
 909     u32 Kc[16];
 910     u32 Kd[16];
 911
 912     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
 913
 914     u32 iv1[2];
 915
 916     _des_crypt_encrypt (iv1, data, Kc, Kd, s_SPtrans);
 917
 918     /**
 919      * DES2
 920      */
 921
 922     /*
 923     transform_netntlmv1_key (((b >> 24) | (c << 8)), ((c >> 24) | (d << 8)), key);
 924
 925     _des_crypt_keysetup (key[0], key[1], Kc, Kd, s_skb);
 926
 927     u32 iv2[2];
 928
 929     _des_crypt_encrypt (iv2, data, Kc, Kd, s_SPtrans);
 930     */
 931
 932     u32 iv2[2];
 933
 934     iv2[0] = search[2];
 935     iv2[1] = search[3];
 936
 937     /**
 938      * compare
 939      */
 940
 941     const u32 r0 = iv1[0];
 942     const u32 r1 = iv1[1];
 943     const u32 r2 = iv2[0];
 944     const u32 r3 = iv2[1];
 945
 946     #include COMPARE_S
 947   }
 948 }
 949
 950 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05500_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 951 {
 952 }
 953
 954 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m05500_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 combs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 955 {
 956 }