OpenCL/m01500_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "types_ocl.c"
  18 #include "common.c"
  19 #include "include/rp_gpu.h"
  20 #include "rp.c"
  21
  22 #define COMPARE_S "check_single_comp4.c"
  23 #define COMPARE_M "check_multi_comp4.c"
  24
  25 #define PERM_OP(a,b,tt,n,m) \
  26 {                           \
  27   tt = a >> n;              \
  28   tt = tt ^ b;              \
  29   tt = tt & m;              \
  30   b = b ^ tt;               \
  31   tt = tt << n;             \
  32   a = a ^ tt;               \
  33 }
  34
  35 #define HPERM_OP(a,tt,n,m)  \
  36 {                           \
  37   tt = a << (16 + n);       \
  38   tt = tt ^ a;              \
  39   tt = tt & m;              \
  40   a  = a ^ tt;              \
  41   tt = tt >> (16 + n);      \
  42   a  = a ^ tt;              \
  43 }
  44
  45 __constant u32 c_SPtrans[8][64] =
  46 {
  47   /* nibble 0 */
  48   0x00820200, 0x00020000, 0x80800000, 0x80820200,
  49   0x00800000, 0x80020200, 0x80020000, 0x80800000,
  50   0x80020200, 0x00820200, 0x00820000, 0x80000200,
  51   0x80800200, 0x00800000, 0x00000000, 0x80020000,
  52   0x00020000, 0x80000000, 0x00800200, 0x00020200,
  53   0x80820200, 0x00820000, 0x80000200, 0x00800200,
  54   0x80000000, 0x00000200, 0x00020200, 0x80820000,
  55   0x00000200, 0x80800200, 0x80820000, 0x00000000,
  56   0x00000000, 0x80820200, 0x00800200, 0x80020000,
  57   0x00820200, 0x00020000, 0x80000200, 0x00800200,
  58   0x80820000, 0x00000200, 0x00020200, 0x80800000,
  59   0x80020200, 0x80000000, 0x80800000, 0x00820000,
  60   0x80820200, 0x00020200, 0x00820000, 0x80800200,
  61   0x00800000, 0x80000200, 0x80020000, 0x00000000,
  62   0x00020000, 0x00800000, 0x80800200, 0x00820200,
  63   0x80000000, 0x80820000, 0x00000200, 0x80020200,
  64   /* nibble 1 */
  65   0x10042004, 0x00000000, 0x00042000, 0x10040000,
  66   0x10000004, 0x00002004, 0x10002000, 0x00042000,
  67   0x00002000, 0x10040004, 0x00000004, 0x10002000,
  68   0x00040004, 0x10042000, 0x10040000, 0x00000004,
  69   0x00040000, 0x10002004, 0x10040004, 0x00002000,
  70   0x00042004, 0x10000000, 0x00000000, 0x00040004,
  71   0x10002004, 0x00042004, 0x10042000, 0x10000004,
  72   0x10000000, 0x00040000, 0x00002004, 0x10042004,
  73   0x00040004, 0x10042000, 0x10002000, 0x00042004,
  74   0x10042004, 0x00040004, 0x10000004, 0x00000000,
  75   0x10000000, 0x00002004, 0x00040000, 0x10040004,
  76   0x00002000, 0x10000000, 0x00042004, 0x10002004,
  77   0x10042000, 0x00002000, 0x00000000, 0x10000004,
  78   0x00000004, 0x10042004, 0x00042000, 0x10040000,
  79   0x10040004, 0x00040000, 0x00002004, 0x10002000,
  80   0x10002004, 0x00000004, 0x10040000, 0x00042000,
  81   /* nibble 2 */
  82   0x41000000, 0x01010040, 0x00000040, 0x41000040,
  83   0x40010000, 0x01000000, 0x41000040, 0x00010040,
  84   0x01000040, 0x00010000, 0x01010000, 0x40000000,
  85   0x41010040, 0x40000040, 0x40000000, 0x41010000,
  86   0x00000000, 0x40010000, 0x01010040, 0x00000040,
  87   0x40000040, 0x41010040, 0x00010000, 0x41000000,
  88   0x41010000, 0x01000040, 0x40010040, 0x01010000,
  89   0x00010040, 0x00000000, 0x01000000, 0x40010040,
  90   0x01010040, 0x00000040, 0x40000000, 0x00010000,
  91   0x40000040, 0x40010000, 0x01010000, 0x41000040,
  92   0x00000000, 0x01010040, 0x00010040, 0x41010000,
  93   0x40010000, 0x01000000, 0x41010040, 0x40000000,
  94   0x40010040, 0x41000000, 0x01000000, 0x41010040,
  95   0x00010000, 0x01000040, 0x41000040, 0x00010040,
  96   0x01000040, 0x00000000, 0x41010000, 0x40000040,
  97   0x41000000, 0x40010040, 0x00000040, 0x01010000,
  98   /* nibble 3 */
  99   0x00100402, 0x04000400, 0x00000002, 0x04100402,
 100   0x00000000, 0x04100000, 0x04000402, 0x00100002,
 101   0x04100400, 0x04000002, 0x04000000, 0x00000402,
 102   0x04000002, 0x00100402, 0x00100000, 0x04000000,
 103   0x04100002, 0x00100400, 0x00000400, 0x00000002,
 104   0x00100400, 0x04000402, 0x04100000, 0x00000400,
 105   0x00000402, 0x00000000, 0x00100002, 0x04100400,
 106   0x04000400, 0x04100002, 0x04100402, 0x00100000,
 107   0x04100002, 0x00000402, 0x00100000, 0x04000002,
 108   0x00100400, 0x04000400, 0x00000002, 0x04100000,
 109   0x04000402, 0x00000000, 0x00000400, 0x00100002,
 110   0x00000000, 0x04100002, 0x04100400, 0x00000400,
 111   0x04000000, 0x04100402, 0x00100402, 0x00100000,
 112   0x04100402, 0x00000002, 0x04000400, 0x00100402,
 113   0x00100002, 0x00100400, 0x04100000, 0x04000402,
 114   0x00000402, 0x04000000, 0x04000002, 0x04100400,
 115   /* nibble 4 */
 116   0x02000000, 0x00004000, 0x00000100, 0x02004108,
 117   0x02004008, 0x02000100, 0x00004108, 0x02004000,
 118   0x00004000, 0x00000008, 0x02000008, 0x00004100,
 119   0x02000108, 0x02004008, 0x02004100, 0x00000000,
 120   0x00004100, 0x02000000, 0x00004008, 0x00000108,
 121   0x02000100, 0x00004108, 0x00000000, 0x02000008,
 122   0x00000008, 0x02000108, 0x02004108, 0x00004008,
 123   0x02004000, 0x00000100, 0x00000108, 0x02004100,
 124   0x02004100, 0x02000108, 0x00004008, 0x02004000,
 125   0x00004000, 0x00000008, 0x02000008, 0x02000100,
 126   0x02000000, 0x00004100, 0x02004108, 0x00000000,
 127   0x00004108, 0x02000000, 0x00000100, 0x00004008,
 128   0x02000108, 0x00000100, 0x00000000, 0x02004108,
 129   0x02004008, 0x02004100, 0x00000108, 0x00004000,
 130   0x00004100, 0x02004008, 0x02000100, 0x00000108,
 131   0x00000008, 0x00004108, 0x02004000, 0x02000008,
 132   /* nibble 5 */
 133   0x20000010, 0x00080010, 0x00000000, 0x20080800,
 134   0x00080010, 0x00000800, 0x20000810, 0x00080000,
 135   0x00000810, 0x20080810, 0x00080800, 0x20000000,
 136   0x20000800, 0x20000010, 0x20080000, 0x00080810,
 137   0x00080000, 0x20000810, 0x20080010, 0x00000000,
 138   0x00000800, 0x00000010, 0x20080800, 0x20080010,
 139   0x20080810, 0x20080000, 0x20000000, 0x00000810,
 140   0x00000010, 0x00080800, 0x00080810, 0x20000800,
 141   0x00000810, 0x20000000, 0x20000800, 0x00080810,
 142   0x20080800, 0x00080010, 0x00000000, 0x20000800,
 143   0x20000000, 0x00000800, 0x20080010, 0x00080000,
 144   0x00080010, 0x20080810, 0x00080800, 0x00000010,
 145   0x20080810, 0x00080800, 0x00080000, 0x20000810,
 146   0x20000010, 0x20080000, 0x00080810, 0x00000000,
 147   0x00000800, 0x20000010, 0x20000810, 0x20080800,
 148   0x20080000, 0x00000810, 0x00000010, 0x20080010,
 149   /* nibble 6 */
 150   0x00001000, 0x00000080, 0x00400080, 0x00400001,
 151   0x00401081, 0x00001001, 0x00001080, 0x00000000,
 152   0x00400000, 0x00400081, 0x00000081, 0x00401000,
 153   0x00000001, 0x00401080, 0x00401000, 0x00000081,
 154   0x00400081, 0x00001000, 0x00001001, 0x00401081,
 155   0x00000000, 0x00400080, 0x00400001, 0x00001080,
 156   0x00401001, 0x00001081, 0x00401080, 0x00000001,
 157   0x00001081, 0x00401001, 0x00000080, 0x00400000,
 158   0x00001081, 0x00401000, 0x00401001, 0x00000081,
 159   0x00001000, 0x00000080, 0x00400000, 0x00401001,
 160   0x00400081, 0x00001081, 0x00001080, 0x00000000,
 161   0x00000080, 0x00400001, 0x00000001, 0x00400080,
 162   0x00000000, 0x00400081, 0x00400080, 0x00001080,
 163   0x00000081, 0x00001000, 0x00401081, 0x00400000,
 164   0x00401080, 0x00000001, 0x00001001, 0x00401081,
 165   0x00400001, 0x00401080, 0x00401000, 0x00001001,
 166   /* nibble 7 */
 167   0x08200020, 0x08208000, 0x00008020, 0x00000000,
 168   0x08008000, 0x00200020, 0x08200000, 0x08208020,
 169   0x00000020, 0x08000000, 0x00208000, 0x00008020,
 170   0x00208020, 0x08008020, 0x08000020, 0x08200000,
 171   0x00008000, 0x00208020, 0x00200020, 0x08008000,
 172   0x08208020, 0x08000020, 0x00000000, 0x00208000,
 173   0x08000000, 0x00200000, 0x08008020, 0x08200020,
 174   0x00200000, 0x00008000, 0x08208000, 0x00000020,
 175   0x00200000, 0x00008000, 0x08000020, 0x08208020,
 176   0x00008020, 0x08000000, 0x00000000, 0x00208000,
 177   0x08200020, 0x08008020, 0x08008000, 0x00200020,
 178   0x08208000, 0x00000020, 0x00200020, 0x08008000,
 179   0x08208020, 0x00200000, 0x08200000, 0x08000020,
 180   0x00208000, 0x00008020, 0x08008020, 0x08200000,
 181   0x00000020, 0x08208000, 0x00208020, 0x00000000,
 182   0x08000000, 0x08200020, 0x00008000, 0x00208020
 183 };
 184
 185 __constant u32 c_skb[8][64] =
 186 {
 187   /* for C bits (numbered as per FIPS 46) 1 2 3 4 5 6 */
 188   0x00000000, 0x00000010, 0x20000000, 0x20000010,
 189   0x00010000, 0x00010010, 0x20010000, 0x20010010,
 190   0x00000800, 0x00000810, 0x20000800, 0x20000810,
 191   0x00010800, 0x00010810, 0x20010800, 0x20010810,
 192   0x00000020, 0x00000030, 0x20000020, 0x20000030,
 193   0x00010020, 0x00010030, 0x20010020, 0x20010030,
 194   0x00000820, 0x00000830, 0x20000820, 0x20000830,
 195   0x00010820, 0x00010830, 0x20010820, 0x20010830,
 196   0x00080000, 0x00080010, 0x20080000, 0x20080010,
 197   0x00090000, 0x00090010, 0x20090000, 0x20090010,
 198   0x00080800, 0x00080810, 0x20080800, 0x20080810,
 199   0x00090800, 0x00090810, 0x20090800, 0x20090810,
 200   0x00080020, 0x00080030, 0x20080020, 0x20080030,
 201   0x00090020, 0x00090030, 0x20090020, 0x20090030,
 202   0x00080820, 0x00080830, 0x20080820, 0x20080830,
 203   0x00090820, 0x00090830, 0x20090820, 0x20090830,
 204   /* for C bits (numbered as per FIPS 46) 7 8 10 11 12 13 */
 205   0x00000000, 0x02000000, 0x00002000, 0x02002000,
 206   0x00200000, 0x02200000, 0x00202000, 0x02202000,
 207   0x00000004, 0x02000004, 0x00002004, 0x02002004,
 208   0x00200004, 0x02200004, 0x00202004, 0x02202004,
 209   0x00000400, 0x02000400, 0x00002400, 0x02002400,
 210   0x00200400, 0x02200400, 0x00202400, 0x02202400,
 211   0x00000404, 0x02000404, 0x00002404, 0x02002404,
 212   0x00200404, 0x02200404, 0x00202404, 0x02202404,
 213   0x10000000, 0x12000000, 0x10002000, 0x12002000,
 214   0x10200000, 0x12200000, 0x10202000, 0x12202000,
 215   0x10000004, 0x12000004, 0x10002004, 0x12002004,
 216   0x10200004, 0x12200004, 0x10202004, 0x12202004,
 217   0x10000400, 0x12000400, 0x10002400, 0x12002400,
 218   0x10200400, 0x12200400, 0x10202400, 0x12202400,
 219   0x10000404, 0x12000404, 0x10002404, 0x12002404,
 220   0x10200404, 0x12200404, 0x10202404, 0x12202404,
 221   /* for C bits (numbered as per FIPS 46) 14 15 16 17 19 20 */
 222   0x00000000, 0x00000001, 0x00040000, 0x00040001,
 223   0x01000000, 0x01000001, 0x01040000, 0x01040001,
 224   0x00000002, 0x00000003, 0x00040002, 0x00040003,
 225   0x01000002, 0x01000003, 0x01040002, 0x01040003,
 226   0x00000200, 0x00000201, 0x00040200, 0x00040201,
 227   0x01000200, 0x01000201, 0x01040200, 0x01040201,
 228   0x00000202, 0x00000203, 0x00040202, 0x00040203,
 229   0x01000202, 0x01000203, 0x01040202, 0x01040203,
 230   0x08000000, 0x08000001, 0x08040000, 0x08040001,
 231   0x09000000, 0x09000001, 0x09040000, 0x09040001,
 232   0x08000002, 0x08000003, 0x08040002, 0x08040003,
 233   0x09000002, 0x09000003, 0x09040002, 0x09040003,
 234   0x08000200, 0x08000201, 0x08040200, 0x08040201,
 235   0x09000200, 0x09000201, 0x09040200, 0x09040201,
 236   0x08000202, 0x08000203, 0x08040202, 0x08040203,
 237   0x09000202, 0x09000203, 0x09040202, 0x09040203,
 238   /* for C bits (numbered as per FIPS 46) 21 23 24 26 27 28 */
 239   0x00000000, 0x00100000, 0x00000100, 0x00100100,
 240   0x00000008, 0x00100008, 0x00000108, 0x00100108,
 241   0x00001000, 0x00101000, 0x00001100, 0x00101100,
 242   0x00001008, 0x00101008, 0x00001108, 0x00101108,
 243   0x04000000, 0x04100000, 0x04000100, 0x04100100,
 244   0x04000008, 0x04100008, 0x04000108, 0x04100108,
 245   0x04001000, 0x04101000, 0x04001100, 0x04101100,
 246   0x04001008, 0x04101008, 0x04001108, 0x04101108,
 247   0x00020000, 0x00120000, 0x00020100, 0x00120100,
 248   0x00020008, 0x00120008, 0x00020108, 0x00120108,
 249   0x00021000, 0x00121000, 0x00021100, 0x00121100,
 250   0x00021008, 0x00121008, 0x00021108, 0x00121108,
 251   0x04020000, 0x04120000, 0x04020100, 0x04120100,
 252   0x04020008, 0x04120008, 0x04020108, 0x04120108,
 253   0x04021000, 0x04121000, 0x04021100, 0x04121100,
 254   0x04021008, 0x04121008, 0x04021108, 0x04121108,
 255   /* for D bits (numbered as per FIPS 46) 1 2 3 4 5 6 */
 256   0x00000000, 0x10000000, 0x00010000, 0x10010000,
 257   0x00000004, 0x10000004, 0x00010004, 0x10010004,
 258   0x20000000, 0x30000000, 0x20010000, 0x30010000,
 259   0x20000004, 0x30000004, 0x20010004, 0x30010004,
 260   0x00100000, 0x10100000, 0x00110000, 0x10110000,
 261   0x00100004, 0x10100004, 0x00110004, 0x10110004,
 262   0x20100000, 0x30100000, 0x20110000, 0x30110000,
 263   0x20100004, 0x30100004, 0x20110004, 0x30110004,
 264   0x00001000, 0x10001000, 0x00011000, 0x10011000,
 265   0x00001004, 0x10001004, 0x00011004, 0x10011004,
 266   0x20001000, 0x30001000, 0x20011000, 0x30011000,
 267   0x20001004, 0x30001004, 0x20011004, 0x30011004,
 268   0x00101000, 0x10101000, 0x00111000, 0x10111000,
 269   0x00101004, 0x10101004, 0x00111004, 0x10111004,
 270   0x20101000, 0x30101000, 0x20111000, 0x30111000,
 271   0x20101004, 0x30101004, 0x20111004, 0x30111004,
 272   /* for D bits (numbered as per FIPS 46) 8 9 11 12 13 14 */
 273   0x00000000, 0x08000000, 0x00000008, 0x08000008,
 274   0x00000400, 0x08000400, 0x00000408, 0x08000408,
 275   0x00020000, 0x08020000, 0x00020008, 0x08020008,
 276   0x00020400, 0x08020400, 0x00020408, 0x08020408,
 277   0x00000001, 0x08000001, 0x00000009, 0x08000009,
 278   0x00000401, 0x08000401, 0x00000409, 0x08000409,
 279   0x00020001, 0x08020001, 0x00020009, 0x08020009,
 280   0x00020401, 0x08020401, 0x00020409, 0x08020409,
 281   0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 282   0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 283   0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 284   0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 285   0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 286   0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 287   0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 288   0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 289   /* for D bits (numbered as per FIPS 46) 16 17 18 19 20 21 */
 290   0x00000000, 0x00000100, 0x00080000, 0x00080100,
 291   0x01000000, 0x01000100, 0x01080000, 0x01080100,
 292   0x00000010, 0x00000110, 0x00080010, 0x00080110,
 293   0x01000010, 0x01000110, 0x01080010, 0x01080110,
 294   0x00200000, 0x00200100, 0x00280000, 0x00280100,
 295   0x01200000, 0x01200100, 0x01280000, 0x01280100,
 296   0x00200010, 0x00200110, 0x00280010, 0x00280110,
 297   0x01200010, 0x01200110, 0x01280010, 0x01280110,
 298   0x00000200, 0x00000300, 0x00080200, 0x00080300,
 299   0x01000200, 0x01000300, 0x01080200, 0x01080300,
 300   0x00000210, 0x00000310, 0x00080210, 0x00080310,
 301   0x01000210, 0x01000310, 0x01080210, 0x01080310,
 302   0x00200200, 0x00200300, 0x00280200, 0x00280300,
 303   0x01200200, 0x01200300, 0x01280200, 0x01280300,
 304   0x00200210, 0x00200310, 0x00280210, 0x00280310,
 305   0x01200210, 0x01200310, 0x01280210, 0x01280310,
 306   /* for D bits (numbered as per FIPS 46) 22 23 24 25 27 28 */
 307   0x00000000, 0x04000000, 0x00040000, 0x04040000,
 308   0x00000002, 0x04000002, 0x00040002, 0x04040002,
 309   0x00002000, 0x04002000, 0x00042000, 0x04042000,
 310   0x00002002, 0x04002002, 0x00042002, 0x04042002,
 311   0x00000020, 0x04000020, 0x00040020, 0x04040020,
 312   0x00000022, 0x04000022, 0x00040022, 0x04040022,
 313   0x00002020, 0x04002020, 0x00042020, 0x04042020,
 314   0x00002022, 0x04002022, 0x00042022, 0x04042022,
 315   0x00000800, 0x04000800, 0x00040800, 0x04040800,
 316   0x00000802, 0x04000802, 0x00040802, 0x04040802,
 317   0x00002800, 0x04002800, 0x00042800, 0x04042800,
 318   0x00002802, 0x04002802, 0x00042802, 0x04042802,
 319   0x00000820, 0x04000820, 0x00040820, 0x04040820,
 320   0x00000822, 0x04000822, 0x00040822, 0x04040822,
 321   0x00002820, 0x04002820, 0x00042820, 0x04042820,
 322   0x00002822, 0x04002822, 0x00042822, 0x04042822
 323 };
 324
 325 __constant u32 shifts3s0[16] = {  1,  1,  2,  2,  2,  2,  2,  2,  1,  2,  2,  2,  2,  2,  2,  1 };
 326 __constant u32 shifts3s1[16] = { 27, 27, 26, 26, 26, 26, 26, 26, 27, 26, 26, 26, 26, 26, 26, 27 };
 327
 328 #ifdef VECT_SIZE1
 329 #define BOX(i,n,S) (u32x) ((S)[(n)][(i)])
 330 #endif
 331
 332 #ifdef VECT_SIZE2
 333 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1])
 334 #endif
 335
 336 #ifdef VECT_SIZE4
 337 #define BOX(i,n,S) (u32x) ((S)[(n)][(i).s0], (S)[(n)][(i).s1], (S)[(n)][(i).s2], (S)[(n)][(i).s3])
 338 #endif
 339
 340 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 341 {
 342   u32 tt;
 343
 344   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 345   HPERM_OP (c,    tt, 2, 0xcccc0000);
 346   HPERM_OP (d,    tt, 2, 0xcccc0000);
 347   PERM_OP  (d, c, tt, 1, 0x55555555);
 348   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 349   PERM_OP  (d, c, tt, 1, 0x55555555);
 350
 351   d = ((d & 0x000000ff) << 16)
 352     | ((d & 0x0000ff00) <<  0)
 353     | ((d & 0x00ff0000) >> 16)
 354     | ((c & 0xf0000000) >>  4);
 355
 356   c = c & 0x0fffffff;
 357
 358   #pragma unroll
 359   for (u32 i = 0; i < 16; i++)
 360   {
 361     c = c >> shifts3s0[i] | c << shifts3s1[i];
 362     d = d >> shifts3s0[i] | d << shifts3s1[i];
 363
 364     c = c & 0x0fffffff;
 365     d = d & 0x0fffffff;
 366
 367     const u32 c00 = (c >>  0) & 0x0000003f;
 368     const u32 c06 = (c >>  6) & 0x00383003;
 369     const u32 c07 = (c >>  7) & 0x0000003c;
 370     const u32 c13 = (c >> 13) & 0x0000060f;
 371     const u32 c20 = (c >> 20) & 0x00000001;
 372
 373     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 374             | BOX (((c06 >>  0) & 0xff)
 375                   |((c07 >>  0) & 0xff), 1, s_skb)
 376             | BOX (((c13 >>  0) & 0xff)
 377                   |((c06 >>  8) & 0xff), 2, s_skb)
 378             | BOX (((c20 >>  0) & 0xff)
 379                   |((c13 >>  8) & 0xff)
 380                   |((c06 >> 16) & 0xff), 3, s_skb);
 381
 382     const u32 d00 = (d >>  0) & 0x00003c3f;
 383     const u32 d07 = (d >>  7) & 0x00003f03;
 384     const u32 d21 = (d >> 21) & 0x0000000f;
 385     const u32 d22 = (d >> 22) & 0x00000030;
 386
 387     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 388             | BOX (((d07 >>  0) & 0xff)
 389                   |((d00 >>  8) & 0xff), 5, s_skb)
 390             | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 391             | BOX (((d21 >>  0) & 0xff)
 392                   |((d22 >>  0) & 0xff), 7, s_skb);
 393
 394     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 395     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 396   }
 397 }
 398
 399 static void _des_crypt_encrypt (u32 iv[2], u32 mask, u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 400 {
 401   const u32 E1 = (mask >> 2) & 0x3f0;
 402   const u32 E0 = mask & 0x3f;
 403
 404   u32 r = 0;
 405   u32 l = 0;
 406
 407   for (u32 i = 0; i < 25; i++)
 408   {
 409     for (u32 j = 0; j < 16; j += 2)
 410     {
 411       u32 t;
 412       u32 u;
 413
 414       t = r ^ (r >> 16);
 415       u = t & E0;
 416       t = t & E1;
 417       u = u ^ (u << 16);
 418       u = u ^ r;
 419       u = u ^ Kc[j + 0];
 420       t = t ^ (t << 16);
 421       t = t ^ r;
 422       t = rotl32 (t, 28u);
 423       t = t ^ Kd[j + 0];
 424
 425       l = l
 426         ^ BOX (amd_bfe (u,  0, 6), 0, s_SPtrans)
 427         ^ BOX (amd_bfe (u,  8, 6), 2, s_SPtrans)
 428         ^ BOX (amd_bfe (u, 16, 6), 4, s_SPtrans)
 429         ^ BOX (amd_bfe (u, 24, 6), 6, s_SPtrans)
 430         ^ BOX (amd_bfe (t,  0, 6), 1, s_SPtrans)
 431         ^ BOX (amd_bfe (t,  8, 6), 3, s_SPtrans)
 432         ^ BOX (amd_bfe (t, 16, 6), 5, s_SPtrans)
 433         ^ BOX (amd_bfe (t, 24, 6), 7, s_SPtrans);
 434
 435       t = l ^ (l >> 16);
 436       u = t & E0;
 437       t = t & E1;
 438       u = u ^ (u << 16);
 439       u = u ^ l;
 440       u = u ^ Kc[j + 1];
 441       t = t ^ (t << 16);
 442       t = t ^ l;
 443       t = rotl32 (t, 28u);
 444       t = t ^ Kd[j + 1];
 445
 446       r = r
 447         ^ BOX (amd_bfe (u,  0, 6), 0, s_SPtrans)
 448         ^ BOX (amd_bfe (u,  8, 6), 2, s_SPtrans)
 449         ^ BOX (amd_bfe (u, 16, 6), 4, s_SPtrans)
 450         ^ BOX (amd_bfe (u, 24, 6), 6, s_SPtrans)
 451         ^ BOX (amd_bfe (t,  0, 6), 1, s_SPtrans)
 452         ^ BOX (amd_bfe (t,  8, 6), 3, s_SPtrans)
 453         ^ BOX (amd_bfe (t, 16, 6), 5, s_SPtrans)
 454         ^ BOX (amd_bfe (t, 24, 6), 7, s_SPtrans);
 455     }
 456
 457     u32 tt;
 458
 459     tt = l;
 460     l  = r;
 461     r  = tt;
 462   }
 463
 464   iv[0] = rotl32 (r, 31);
 465   iv[1] = rotl32 (l, 31);
 466 }
 467
 468 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_m04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 469 {
 470   /**
 471    * modifier
 472    */
 473
 474   const u32 lid = get_local_id (0);
 475
 476   /**
 477    * base
 478    */
 479
 480   const u32 gid = get_global_id (0);
 481
 482   u32 pw_buf0[4];
 483
 484   pw_buf0[0] = pws[gid].i[ 0];
 485   pw_buf0[1] = pws[gid].i[ 1];
 486   pw_buf0[2] = 0;
 487   pw_buf0[3] = 0;
 488
 489   const u32 pw_len = pws[gid].pw_len;
 490
 491   /**
 492    * sbox, kbox
 493    */
 494
 495   __local u32 s_SPtrans[8][64];
 496   __local u32 s_skb[8][64];
 497
 498   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 499   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 500   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 501   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 502   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 503   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 504   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 505   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 506
 507   s_skb[0][lid] = c_skb[0][lid];
 508   s_skb[1][lid] = c_skb[1][lid];
 509   s_skb[2][lid] = c_skb[2][lid];
 510   s_skb[3][lid] = c_skb[3][lid];
 511   s_skb[4][lid] = c_skb[4][lid];
 512   s_skb[5][lid] = c_skb[5][lid];
 513   s_skb[6][lid] = c_skb[6][lid];
 514   s_skb[7][lid] = c_skb[7][lid];
 515
 516   barrier (CLK_LOCAL_MEM_FENCE);
 517
 518   if (gid >= gid_max) return;
 519
 520   /**
 521    * salt
 522    */
 523
 524   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 525
 526   /**
 527    * main
 528    */
 529
 530   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 531   {
 532     u32 w0[4];
 533
 534     w0[0] = pw_buf0[0];
 535     w0[1] = pw_buf0[1];
 536     w0[2] = 0;
 537     w0[3] = 0;
 538
 539     u32 w1[4];
 540
 541     w1[0] = 0;
 542     w1[1] = 0;
 543     w1[2] = 0;
 544     w1[3] = 0;
 545
 546     u32 w2[4];
 547
 548     w2[0] = 0;
 549     w2[1] = 0;
 550     w2[2] = 0;
 551     w2[3] = 0;
 552
 553     u32 w3[4];
 554
 555     w3[0] = 0;
 556     w3[1] = 0;
 557     w3[2] = 0;
 558     w3[3] = 0;
 559
 560     u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 561
 562     out_len = (out_len >= 8) ? 8 : out_len;
 563
 564     u32 data[2];
 565
 566     data[0] = (w0[0] << 1) & 0xfefefefe;
 567     data[1] = (w0[1] << 1) & 0xfefefefe;
 568
 569     u32 Kc[16];
 570     u32 Kd[16];
 571
 572     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 573
 574     u32 iv[2];
 575
 576     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 577
 578     const u32 r0 = iv[0];
 579     const u32 r1 = iv[1];
 580     const u32 r2 = 0;
 581     const u32 r3 = 0;
 582
 583     #include COMPARE_M
 584   }
 585 }
 586
 587 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 588 {
 589 }
 590
 591 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 592 {
 593 }
 594
 595 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_s04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 596 {
 597   /**
 598    * modifier
 599    */
 600
 601   const u32 lid = get_local_id (0);
 602
 603   /**
 604    * base
 605    */
 606
 607   const u32 gid = get_global_id (0);
 608
 609   u32 pw_buf0[4];
 610
 611   pw_buf0[0] = pws[gid].i[ 0];
 612   pw_buf0[1] = pws[gid].i[ 1];
 613   pw_buf0[2] = 0;
 614   pw_buf0[3] = 0;
 615
 616   const u32 pw_len = pws[gid].pw_len;
 617
 618   /**
 619    * sbox, kbox
 620    */
 621
 622   __local u32 s_SPtrans[8][64];
 623   __local u32 s_skb[8][64];
 624
 625   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 626   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 627   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 628   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 629   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 630   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 631   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 632   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 633
 634   s_skb[0][lid] = c_skb[0][lid];
 635   s_skb[1][lid] = c_skb[1][lid];
 636   s_skb[2][lid] = c_skb[2][lid];
 637   s_skb[3][lid] = c_skb[3][lid];
 638   s_skb[4][lid] = c_skb[4][lid];
 639   s_skb[5][lid] = c_skb[5][lid];
 640   s_skb[6][lid] = c_skb[6][lid];
 641   s_skb[7][lid] = c_skb[7][lid];
 642
 643   barrier (CLK_LOCAL_MEM_FENCE);
 644
 645   if (gid >= gid_max) return;
 646
 647   /**
 648    * salt
 649    */
 650
 651   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 652
 653   /**
 654    * digest
 655    */
 656
 657   const u32 search[4] =
 658   {
 659     digests_buf[digests_offset].digest_buf[DGST_R0],
 660     digests_buf[digests_offset].digest_buf[DGST_R1],
 661     digests_buf[digests_offset].digest_buf[DGST_R2],
 662     digests_buf[digests_offset].digest_buf[DGST_R3]
 663   };
 664
 665   /**
 666    * main
 667    */
 668
 669   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 670   {
 671     u32 w0[4];
 672
 673     w0[0] = pw_buf0[0];
 674     w0[1] = pw_buf0[1];
 675     w0[2] = 0;
 676     w0[3] = 0;
 677
 678     u32 w1[4];
 679
 680     w1[0] = 0;
 681     w1[1] = 0;
 682     w1[2] = 0;
 683     w1[3] = 0;
 684
 685     u32 w2[4];
 686
 687     w2[0] = 0;
 688     w2[1] = 0;
 689     w2[2] = 0;
 690     w2[3] = 0;
 691
 692     u32 w3[4];
 693
 694     w3[0] = 0;
 695     w3[1] = 0;
 696     w3[2] = 0;
 697     w3[3] = 0;
 698
 699     u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 700
 701     out_len = (out_len >= 8) ? 8 : out_len;
 702
 703     u32 data[2];
 704
 705     data[0] = (w0[0] << 1) & 0xfefefefe;
 706     data[1] = (w0[1] << 1) & 0xfefefefe;
 707
 708     u32 Kc[16];
 709     u32 Kd[16];
 710
 711     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 712
 713     u32 iv[2];
 714
 715     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 716
 717     const u32 r0 = iv[0];
 718     const u32 r1 = iv[1];
 719     const u32 r2 = 0;
 720     const u32 r3 = 0;
 721
 722     #include COMPARE_S
 723   }
 724 }
 725
 726 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 727 {
 728 }
 729
 730 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 731 {
 732 }