OpenCL/m01500_a0.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #define _DES_
   7
   8 #include "include/constants.h"
   9 #include "include/kernel_vendor.h"
  10
  11 #define DGST_R0 0
  12 #define DGST_R1 1
  13 #define DGST_R2 2
  14 #define DGST_R3 3
  15
  16 #include "include/kernel_functions.c"
  17 #include "types_ocl.c"
  18 #include "common.c"
  19 #include "include/rp_gpu.h"
  20 #include "rp.c"
  21
  22 #define COMPARE_S "check_single_comp4.c"
  23 #define COMPARE_M "check_multi_comp4.c"
  24
  25 #define PERM_OP(a,b,tt,n,m) \
  26 {                           \
  27   tt = a >> n;              \
  28   tt = tt ^ b;              \
  29   tt = tt & m;              \
  30   b = b ^ tt;               \
  31   tt = tt << n;             \
  32   a = a ^ tt;               \
  33 }
  34
  35 #define HPERM_OP(a,tt,n,m)  \
  36 {                           \
  37   tt = a << (16 + n);       \
  38   tt = tt ^ a;              \
  39   tt = tt & m;              \
  40   a  = a ^ tt;              \
  41   tt = tt >> (16 + n);      \
  42   a  = a ^ tt;              \
  43 }
  44
  45 __constant u32 c_SPtrans[8][64] =
  46 {
  47   /* nibble 0 */
  48   0x00820200, 0x00020000, 0x80800000, 0x80820200,
  49   0x00800000, 0x80020200, 0x80020000, 0x80800000,
  50   0x80020200, 0x00820200, 0x00820000, 0x80000200,
  51   0x80800200, 0x00800000, 0x00000000, 0x80020000,
  52   0x00020000, 0x80000000, 0x00800200, 0x00020200,
  53   0x80820200, 0x00820000, 0x80000200, 0x00800200,
  54   0x80000000, 0x00000200, 0x00020200, 0x80820000,
  55   0x00000200, 0x80800200, 0x80820000, 0x00000000,
  56   0x00000000, 0x80820200, 0x00800200, 0x80020000,
  57   0x00820200, 0x00020000, 0x80000200, 0x00800200,
  58   0x80820000, 0x00000200, 0x00020200, 0x80800000,
  59   0x80020200, 0x80000000, 0x80800000, 0x00820000,
  60   0x80820200, 0x00020200, 0x00820000, 0x80800200,
  61   0x00800000, 0x80000200, 0x80020000, 0x00000000,
  62   0x00020000, 0x00800000, 0x80800200, 0x00820200,
  63   0x80000000, 0x80820000, 0x00000200, 0x80020200,
  64   /* nibble 1 */
  65   0x10042004, 0x00000000, 0x00042000, 0x10040000,
  66   0x10000004, 0x00002004, 0x10002000, 0x00042000,
  67   0x00002000, 0x10040004, 0x00000004, 0x10002000,
  68   0x00040004, 0x10042000, 0x10040000, 0x00000004,
  69   0x00040000, 0x10002004, 0x10040004, 0x00002000,
  70   0x00042004, 0x10000000, 0x00000000, 0x00040004,
  71   0x10002004, 0x00042004, 0x10042000, 0x10000004,
  72   0x10000000, 0x00040000, 0x00002004, 0x10042004,
  73   0x00040004, 0x10042000, 0x10002000, 0x00042004,
  74   0x10042004, 0x00040004, 0x10000004, 0x00000000,
  75   0x10000000, 0x00002004, 0x00040000, 0x10040004,
  76   0x00002000, 0x10000000, 0x00042004, 0x10002004,
  77   0x10042000, 0x00002000, 0x00000000, 0x10000004,
  78   0x00000004, 0x10042004, 0x00042000, 0x10040000,
  79   0x10040004, 0x00040000, 0x00002004, 0x10002000,
  80   0x10002004, 0x00000004, 0x10040000, 0x00042000,
  81   /* nibble 2 */
  82   0x41000000, 0x01010040, 0x00000040, 0x41000040,
  83   0x40010000, 0x01000000, 0x41000040, 0x00010040,
  84   0x01000040, 0x00010000, 0x01010000, 0x40000000,
  85   0x41010040, 0x40000040, 0x40000000, 0x41010000,
  86   0x00000000, 0x40010000, 0x01010040, 0x00000040,
  87   0x40000040, 0x41010040, 0x00010000, 0x41000000,
  88   0x41010000, 0x01000040, 0x40010040, 0x01010000,
  89   0x00010040, 0x00000000, 0x01000000, 0x40010040,
  90   0x01010040, 0x00000040, 0x40000000, 0x00010000,
  91   0x40000040, 0x40010000, 0x01010000, 0x41000040,
  92   0x00000000, 0x01010040, 0x00010040, 0x41010000,
  93   0x40010000, 0x01000000, 0x41010040, 0x40000000,
  94   0x40010040, 0x41000000, 0x01000000, 0x41010040,
  95   0x00010000, 0x01000040, 0x41000040, 0x00010040,
  96   0x01000040, 0x00000000, 0x41010000, 0x40000040,
  97   0x41000000, 0x40010040, 0x00000040, 0x01010000,
  98   /* nibble 3 */
  99   0x00100402, 0x04000400, 0x00000002, 0x04100402,
 100   0x00000000, 0x04100000, 0x04000402, 0x00100002,
 101   0x04100400, 0x04000002, 0x04000000, 0x00000402,
 102   0x04000002, 0x00100402, 0x00100000, 0x04000000,
 103   0x04100002, 0x00100400, 0x00000400, 0x00000002,
 104   0x00100400, 0x04000402, 0x04100000, 0x00000400,
 105   0x00000402, 0x00000000, 0x00100002, 0x04100400,
 106   0x04000400, 0x04100002, 0x04100402, 0x00100000,
 107   0x04100002, 0x00000402, 0x00100000, 0x04000002,
 108   0x00100400, 0x04000400, 0x00000002, 0x04100000,
 109   0x04000402, 0x00000000, 0x00000400, 0x00100002,
 110   0x00000000, 0x04100002, 0x04100400, 0x00000400,
 111   0x04000000, 0x04100402, 0x00100402, 0x00100000,
 112   0x04100402, 0x00000002, 0x04000400, 0x00100402,
 113   0x00100002, 0x00100400, 0x04100000, 0x04000402,
 114   0x00000402, 0x04000000, 0x04000002, 0x04100400,
 115   /* nibble 4 */
 116   0x02000000, 0x00004000, 0x00000100, 0x02004108,
 117   0x02004008, 0x02000100, 0x00004108, 0x02004000,
 118   0x00004000, 0x00000008, 0x02000008, 0x00004100,
 119   0x02000108, 0x02004008, 0x02004100, 0x00000000,
 120   0x00004100, 0x02000000, 0x00004008, 0x00000108,
 121   0x02000100, 0x00004108, 0x00000000, 0x02000008,
 122   0x00000008, 0x02000108, 0x02004108, 0x00004008,
 123   0x02004000, 0x00000100, 0x00000108, 0x02004100,
 124   0x02004100, 0x02000108, 0x00004008, 0x02004000,
 125   0x00004000, 0x00000008, 0x02000008, 0x02000100,
 126   0x02000000, 0x00004100, 0x02004108, 0x00000000,
 127   0x00004108, 0x02000000, 0x00000100, 0x00004008,
 128   0x02000108, 0x00000100, 0x00000000, 0x02004108,
 129   0x02004008, 0x02004100, 0x00000108, 0x00004000,
 130   0x00004100, 0x02004008, 0x02000100, 0x00000108,
 131   0x00000008, 0x00004108, 0x02004000, 0x02000008,
 132   /* nibble 5 */
 133   0x20000010, 0x00080010, 0x00000000, 0x20080800,
 134   0x00080010, 0x00000800, 0x20000810, 0x00080000,
 135   0x00000810, 0x20080810, 0x00080800, 0x20000000,
 136   0x20000800, 0x20000010, 0x20080000, 0x00080810,
 137   0x00080000, 0x20000810, 0x20080010, 0x00000000,
 138   0x00000800, 0x00000010, 0x20080800, 0x20080010,
 139   0x20080810, 0x20080000, 0x20000000, 0x00000810,
 140   0x00000010, 0x00080800, 0x00080810, 0x20000800,
 141   0x00000810, 0x20000000, 0x20000800, 0x00080810,
 142   0x20080800, 0x00080010, 0x00000000, 0x20000800,
 143   0x20000000, 0x00000800, 0x20080010, 0x00080000,
 144   0x00080010, 0x20080810, 0x00080800, 0x00000010,
 145   0x20080810, 0x00080800, 0x00080000, 0x20000810,
 146   0x20000010, 0x20080000, 0x00080810, 0x00000000,
 147   0x00000800, 0x20000010, 0x20000810, 0x20080800,
 148   0x20080000, 0x00000810, 0x00000010, 0x20080010,
 149   /* nibble 6 */
 150   0x00001000, 0x00000080, 0x00400080, 0x00400001,
 151   0x00401081, 0x00001001, 0x00001080, 0x00000000,
 152   0x00400000, 0x00400081, 0x00000081, 0x00401000,
 153   0x00000001, 0x00401080, 0x00401000, 0x00000081,
 154   0x00400081, 0x00001000, 0x00001001, 0x00401081,
 155   0x00000000, 0x00400080, 0x00400001, 0x00001080,
 156   0x00401001, 0x00001081, 0x00401080, 0x00000001,
 157   0x00001081, 0x00401001, 0x00000080, 0x00400000,
 158   0x00001081, 0x00401000, 0x00401001, 0x00000081,
 159   0x00001000, 0x00000080, 0x00400000, 0x00401001,
 160   0x00400081, 0x00001081, 0x00001080, 0x00000000,
 161   0x00000080, 0x00400001, 0x00000001, 0x00400080,
 162   0x00000000, 0x00400081, 0x00400080, 0x00001080,
 163   0x00000081, 0x00001000, 0x00401081, 0x00400000,
 164   0x00401080, 0x00000001, 0x00001001, 0x00401081,
 165   0x00400001, 0x00401080, 0x00401000, 0x00001001,
 166   /* nibble 7 */
 167   0x08200020, 0x08208000, 0x00008020, 0x00000000,
 168   0x08008000, 0x00200020, 0x08200000, 0x08208020,
 169   0x00000020, 0x08000000, 0x00208000, 0x00008020,
 170   0x00208020, 0x08008020, 0x08000020, 0x08200000,
 171   0x00008000, 0x00208020, 0x00200020, 0x08008000,
 172   0x08208020, 0x08000020, 0x00000000, 0x00208000,
 173   0x08000000, 0x00200000, 0x08008020, 0x08200020,
 174   0x00200000, 0x00008000, 0x08208000, 0x00000020,
 175   0x00200000, 0x00008000, 0x08000020, 0x08208020,
 176   0x00008020, 0x08000000, 0x00000000, 0x00208000,
 177   0x08200020, 0x08008020, 0x08008000, 0x00200020,
 178   0x08208000, 0x00000020, 0x00200020, 0x08008000,
 179   0x08208020, 0x00200000, 0x08200000, 0x08000020,
 180   0x00208000, 0x00008020, 0x08008020, 0x08200000,
 181   0x00000020, 0x08208000, 0x00208020, 0x00000000,
 182   0x08000000, 0x08200020, 0x00008000, 0x00208020
 183 };
 184
 185 __constant u32 c_skb[8][64] =
 186 {
 187   /* for C bits (numbered as per FIPS 46) 1 2 3 4 5 6 */
 188   0x00000000, 0x00000010, 0x20000000, 0x20000010,
 189   0x00010000, 0x00010010, 0x20010000, 0x20010010,
 190   0x00000800, 0x00000810, 0x20000800, 0x20000810,
 191   0x00010800, 0x00010810, 0x20010800, 0x20010810,
 192   0x00000020, 0x00000030, 0x20000020, 0x20000030,
 193   0x00010020, 0x00010030, 0x20010020, 0x20010030,
 194   0x00000820, 0x00000830, 0x20000820, 0x20000830,
 195   0x00010820, 0x00010830, 0x20010820, 0x20010830,
 196   0x00080000, 0x00080010, 0x20080000, 0x20080010,
 197   0x00090000, 0x00090010, 0x20090000, 0x20090010,
 198   0x00080800, 0x00080810, 0x20080800, 0x20080810,
 199   0x00090800, 0x00090810, 0x20090800, 0x20090810,
 200   0x00080020, 0x00080030, 0x20080020, 0x20080030,
 201   0x00090020, 0x00090030, 0x20090020, 0x20090030,
 202   0x00080820, 0x00080830, 0x20080820, 0x20080830,
 203   0x00090820, 0x00090830, 0x20090820, 0x20090830,
 204   /* for C bits (numbered as per FIPS 46) 7 8 10 11 12 13 */
 205   0x00000000, 0x02000000, 0x00002000, 0x02002000,
 206   0x00200000, 0x02200000, 0x00202000, 0x02202000,
 207   0x00000004, 0x02000004, 0x00002004, 0x02002004,
 208   0x00200004, 0x02200004, 0x00202004, 0x02202004,
 209   0x00000400, 0x02000400, 0x00002400, 0x02002400,
 210   0x00200400, 0x02200400, 0x00202400, 0x02202400,
 211   0x00000404, 0x02000404, 0x00002404, 0x02002404,
 212   0x00200404, 0x02200404, 0x00202404, 0x02202404,
 213   0x10000000, 0x12000000, 0x10002000, 0x12002000,
 214   0x10200000, 0x12200000, 0x10202000, 0x12202000,
 215   0x10000004, 0x12000004, 0x10002004, 0x12002004,
 216   0x10200004, 0x12200004, 0x10202004, 0x12202004,
 217   0x10000400, 0x12000400, 0x10002400, 0x12002400,
 218   0x10200400, 0x12200400, 0x10202400, 0x12202400,
 219   0x10000404, 0x12000404, 0x10002404, 0x12002404,
 220   0x10200404, 0x12200404, 0x10202404, 0x12202404,
 221   /* for C bits (numbered as per FIPS 46) 14 15 16 17 19 20 */
 222   0x00000000, 0x00000001, 0x00040000, 0x00040001,
 223   0x01000000, 0x01000001, 0x01040000, 0x01040001,
 224   0x00000002, 0x00000003, 0x00040002, 0x00040003,
 225   0x01000002, 0x01000003, 0x01040002, 0x01040003,
 226   0x00000200, 0x00000201, 0x00040200, 0x00040201,
 227   0x01000200, 0x01000201, 0x01040200, 0x01040201,
 228   0x00000202, 0x00000203, 0x00040202, 0x00040203,
 229   0x01000202, 0x01000203, 0x01040202, 0x01040203,
 230   0x08000000, 0x08000001, 0x08040000, 0x08040001,
 231   0x09000000, 0x09000001, 0x09040000, 0x09040001,
 232   0x08000002, 0x08000003, 0x08040002, 0x08040003,
 233   0x09000002, 0x09000003, 0x09040002, 0x09040003,
 234   0x08000200, 0x08000201, 0x08040200, 0x08040201,
 235   0x09000200, 0x09000201, 0x09040200, 0x09040201,
 236   0x08000202, 0x08000203, 0x08040202, 0x08040203,
 237   0x09000202, 0x09000203, 0x09040202, 0x09040203,
 238   /* for C bits (numbered as per FIPS 46) 21 23 24 26 27 28 */
 239   0x00000000, 0x00100000, 0x00000100, 0x00100100,
 240   0x00000008, 0x00100008, 0x00000108, 0x00100108,
 241   0x00001000, 0x00101000, 0x00001100, 0x00101100,
 242   0x00001008, 0x00101008, 0x00001108, 0x00101108,
 243   0x04000000, 0x04100000, 0x04000100, 0x04100100,
 244   0x04000008, 0x04100008, 0x04000108, 0x04100108,
 245   0x04001000, 0x04101000, 0x04001100, 0x04101100,
 246   0x04001008, 0x04101008, 0x04001108, 0x04101108,
 247   0x00020000, 0x00120000, 0x00020100, 0x00120100,
 248   0x00020008, 0x00120008, 0x00020108, 0x00120108,
 249   0x00021000, 0x00121000, 0x00021100, 0x00121100,
 250   0x00021008, 0x00121008, 0x00021108, 0x00121108,
 251   0x04020000, 0x04120000, 0x04020100, 0x04120100,
 252   0x04020008, 0x04120008, 0x04020108, 0x04120108,
 253   0x04021000, 0x04121000, 0x04021100, 0x04121100,
 254   0x04021008, 0x04121008, 0x04021108, 0x04121108,
 255   /* for D bits (numbered as per FIPS 46) 1 2 3 4 5 6 */
 256   0x00000000, 0x10000000, 0x00010000, 0x10010000,
 257   0x00000004, 0x10000004, 0x00010004, 0x10010004,
 258   0x20000000, 0x30000000, 0x20010000, 0x30010000,
 259   0x20000004, 0x30000004, 0x20010004, 0x30010004,
 260   0x00100000, 0x10100000, 0x00110000, 0x10110000,
 261   0x00100004, 0x10100004, 0x00110004, 0x10110004,
 262   0x20100000, 0x30100000, 0x20110000, 0x30110000,
 263   0x20100004, 0x30100004, 0x20110004, 0x30110004,
 264   0x00001000, 0x10001000, 0x00011000, 0x10011000,
 265   0x00001004, 0x10001004, 0x00011004, 0x10011004,
 266   0x20001000, 0x30001000, 0x20011000, 0x30011000,
 267   0x20001004, 0x30001004, 0x20011004, 0x30011004,
 268   0x00101000, 0x10101000, 0x00111000, 0x10111000,
 269   0x00101004, 0x10101004, 0x00111004, 0x10111004,
 270   0x20101000, 0x30101000, 0x20111000, 0x30111000,
 271   0x20101004, 0x30101004, 0x20111004, 0x30111004,
 272   /* for D bits (numbered as per FIPS 46) 8 9 11 12 13 14 */
 273   0x00000000, 0x08000000, 0x00000008, 0x08000008,
 274   0x00000400, 0x08000400, 0x00000408, 0x08000408,
 275   0x00020000, 0x08020000, 0x00020008, 0x08020008,
 276   0x00020400, 0x08020400, 0x00020408, 0x08020408,
 277   0x00000001, 0x08000001, 0x00000009, 0x08000009,
 278   0x00000401, 0x08000401, 0x00000409, 0x08000409,
 279   0x00020001, 0x08020001, 0x00020009, 0x08020009,
 280   0x00020401, 0x08020401, 0x00020409, 0x08020409,
 281   0x02000000, 0x0A000000, 0x02000008, 0x0A000008,
 282   0x02000400, 0x0A000400, 0x02000408, 0x0A000408,
 283   0x02020000, 0x0A020000, 0x02020008, 0x0A020008,
 284   0x02020400, 0x0A020400, 0x02020408, 0x0A020408,
 285   0x02000001, 0x0A000001, 0x02000009, 0x0A000009,
 286   0x02000401, 0x0A000401, 0x02000409, 0x0A000409,
 287   0x02020001, 0x0A020001, 0x02020009, 0x0A020009,
 288   0x02020401, 0x0A020401, 0x02020409, 0x0A020409,
 289   /* for D bits (numbered as per FIPS 46) 16 17 18 19 20 21 */
 290   0x00000000, 0x00000100, 0x00080000, 0x00080100,
 291   0x01000000, 0x01000100, 0x01080000, 0x01080100,
 292   0x00000010, 0x00000110, 0x00080010, 0x00080110,
 293   0x01000010, 0x01000110, 0x01080010, 0x01080110,
 294   0x00200000, 0x00200100, 0x00280000, 0x00280100,
 295   0x01200000, 0x01200100, 0x01280000, 0x01280100,
 296   0x00200010, 0x00200110, 0x00280010, 0x00280110,
 297   0x01200010, 0x01200110, 0x01280010, 0x01280110,
 298   0x00000200, 0x00000300, 0x00080200, 0x00080300,
 299   0x01000200, 0x01000300, 0x01080200, 0x01080300,
 300   0x00000210, 0x00000310, 0x00080210, 0x00080310,
 301   0x01000210, 0x01000310, 0x01080210, 0x01080310,
 302   0x00200200, 0x00200300, 0x00280200, 0x00280300,
 303   0x01200200, 0x01200300, 0x01280200, 0x01280300,
 304   0x00200210, 0x00200310, 0x00280210, 0x00280310,
 305   0x01200210, 0x01200310, 0x01280210, 0x01280310,
 306   /* for D bits (numbered as per FIPS 46) 22 23 24 25 27 28 */
 307   0x00000000, 0x04000000, 0x00040000, 0x04040000,
 308   0x00000002, 0x04000002, 0x00040002, 0x04040002,
 309   0x00002000, 0x04002000, 0x00042000, 0x04042000,
 310   0x00002002, 0x04002002, 0x00042002, 0x04042002,
 311   0x00000020, 0x04000020, 0x00040020, 0x04040020,
 312   0x00000022, 0x04000022, 0x00040022, 0x04040022,
 313   0x00002020, 0x04002020, 0x00042020, 0x04042020,
 314   0x00002022, 0x04002022, 0x00042022, 0x04042022,
 315   0x00000800, 0x04000800, 0x00040800, 0x04040800,
 316   0x00000802, 0x04000802, 0x00040802, 0x04040802,
 317   0x00002800, 0x04002800, 0x00042800, 0x04042800,
 318   0x00002802, 0x04002802, 0x00042802, 0x04042802,
 319   0x00000820, 0x04000820, 0x00040820, 0x04040820,
 320   0x00000822, 0x04000822, 0x00040822, 0x04040822,
 321   0x00002820, 0x04002820, 0x00042820, 0x04042820,
 322   0x00002822, 0x04002822, 0x00042822, 0x04042822
 323 };
 324
 325 __constant u32 shifts3s0[16] = {  1,  1,  2,  2,  2,  2,  2,  2,  1,  2,  2,  2,  2,  2,  2,  1 };
 326 __constant u32 shifts3s1[16] = { 27, 27, 26, 26, 26, 26, 26, 26, 27, 26, 26, 26, 26, 26, 26, 27 };
 327
 328 #define BOX(i,n,S) (S)[(n)][(i)]
 329
 330 static void _des_crypt_keysetup (u32 c, u32 d, u32 Kc[16], u32 Kd[16], __local u32 s_skb[8][64])
 331 {
 332   u32 tt;
 333
 334   PERM_OP  (d, c, tt, 4, 0x0f0f0f0f);
 335   HPERM_OP (c,    tt, 2, 0xcccc0000);
 336   HPERM_OP (d,    tt, 2, 0xcccc0000);
 337   PERM_OP  (d, c, tt, 1, 0x55555555);
 338   PERM_OP  (c, d, tt, 8, 0x00ff00ff);
 339   PERM_OP  (d, c, tt, 1, 0x55555555);
 340
 341   d = ((d & 0x000000ff) << 16)
 342     | ((d & 0x0000ff00) <<  0)
 343     | ((d & 0x00ff0000) >> 16)
 344     | ((c & 0xf0000000) >>  4);
 345
 346   c = c & 0x0fffffff;
 347
 348   #pragma unroll
 349   for (u32 i = 0; i < 16; i++)
 350   {
 351     c = c >> shifts3s0[i] | c << shifts3s1[i];
 352     d = d >> shifts3s0[i] | d << shifts3s1[i];
 353
 354     c = c & 0x0fffffff;
 355     d = d & 0x0fffffff;
 356
 357     const u32 c00 = (c >>  0) & 0x0000003f;
 358     const u32 c06 = (c >>  6) & 0x00383003;
 359     const u32 c07 = (c >>  7) & 0x0000003c;
 360     const u32 c13 = (c >> 13) & 0x0000060f;
 361     const u32 c20 = (c >> 20) & 0x00000001;
 362
 363     u32 s = BOX (((c00 >>  0) & 0xff), 0, s_skb)
 364             | BOX (((c06 >>  0) & 0xff)
 365                   |((c07 >>  0) & 0xff), 1, s_skb)
 366             | BOX (((c13 >>  0) & 0xff)
 367                   |((c06 >>  8) & 0xff), 2, s_skb)
 368             | BOX (((c20 >>  0) & 0xff)
 369                   |((c13 >>  8) & 0xff)
 370                   |((c06 >> 16) & 0xff), 3, s_skb);
 371
 372     const u32 d00 = (d >>  0) & 0x00003c3f;
 373     const u32 d07 = (d >>  7) & 0x00003f03;
 374     const u32 d21 = (d >> 21) & 0x0000000f;
 375     const u32 d22 = (d >> 22) & 0x00000030;
 376
 377     u32 t = BOX (((d00 >>  0) & 0xff), 4, s_skb)
 378             | BOX (((d07 >>  0) & 0xff)
 379                   |((d00 >>  8) & 0xff), 5, s_skb)
 380             | BOX (((d07 >>  8) & 0xff), 6, s_skb)
 381             | BOX (((d21 >>  0) & 0xff)
 382                   |((d22 >>  0) & 0xff), 7, s_skb);
 383
 384     Kc[i] = ((t << 16) | (s & 0x0000ffff));
 385     Kd[i] = ((s >> 16) | (t & 0xffff0000));
 386   }
 387 }
 388
 389 static void _des_crypt_encrypt (u32 iv[2], u32 mask, u32 Kc[16], u32 Kd[16], __local u32 s_SPtrans[8][64])
 390 {
 391   const u32 E1 = (mask >> 2) & 0x3f0;
 392   const u32 E0 = mask & 0x3f;
 393
 394   u32 r = 0;
 395   u32 l = 0;
 396
 397   for (u32 i = 0; i < 25; i++)
 398   {
 399     for (u32 j = 0; j < 16; j += 2)
 400     {
 401       u32 t;
 402       u32 u;
 403
 404       t = r ^ (r >> 16);
 405       u = t & E0;
 406       t = t & E1;
 407       u = u ^ (u << 16);
 408       u = u ^ r;
 409       u = u ^ Kc[j + 0];
 410       t = t ^ (t << 16);
 411       t = t ^ r;
 412       t = rotl32 (t, 28u);
 413       t = t ^ Kd[j + 0];
 414
 415       l = l
 416         ^ BOX (amd_bfe (u,  0, 6), 0, s_SPtrans)
 417         ^ BOX (amd_bfe (u,  8, 6), 2, s_SPtrans)
 418         ^ BOX (amd_bfe (u, 16, 6), 4, s_SPtrans)
 419         ^ BOX (amd_bfe (u, 24, 6), 6, s_SPtrans)
 420         ^ BOX (amd_bfe (t,  0, 6), 1, s_SPtrans)
 421         ^ BOX (amd_bfe (t,  8, 6), 3, s_SPtrans)
 422         ^ BOX (amd_bfe (t, 16, 6), 5, s_SPtrans)
 423         ^ BOX (amd_bfe (t, 24, 6), 7, s_SPtrans);
 424
 425       t = l ^ (l >> 16);
 426       u = t & E0;
 427       t = t & E1;
 428       u = u ^ (u << 16);
 429       u = u ^ l;
 430       u = u ^ Kc[j + 1];
 431       t = t ^ (t << 16);
 432       t = t ^ l;
 433       t = rotl32 (t, 28u);
 434       t = t ^ Kd[j + 1];
 435
 436       r = r
 437         ^ BOX (amd_bfe (u,  0, 6), 0, s_SPtrans)
 438         ^ BOX (amd_bfe (u,  8, 6), 2, s_SPtrans)
 439         ^ BOX (amd_bfe (u, 16, 6), 4, s_SPtrans)
 440         ^ BOX (amd_bfe (u, 24, 6), 6, s_SPtrans)
 441         ^ BOX (amd_bfe (t,  0, 6), 1, s_SPtrans)
 442         ^ BOX (amd_bfe (t,  8, 6), 3, s_SPtrans)
 443         ^ BOX (amd_bfe (t, 16, 6), 5, s_SPtrans)
 444         ^ BOX (amd_bfe (t, 24, 6), 7, s_SPtrans);
 445     }
 446
 447     u32 tt;
 448
 449     tt = l;
 450     l  = r;
 451     r  = tt;
 452   }
 453
 454   iv[0] = rotl32 (r, 31);
 455   iv[1] = rotl32 (l, 31);
 456 }
 457
 458 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_m04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 459 {
 460   /**
 461    * modifier
 462    */
 463
 464   const u32 lid = get_local_id (0);
 465
 466   /**
 467    * base
 468    */
 469
 470   const u32 gid = get_global_id (0);
 471
 472   u32 pw_buf0[4];
 473
 474   pw_buf0[0] = pws[gid].i[ 0];
 475   pw_buf0[1] = pws[gid].i[ 1];
 476   pw_buf0[2] = 0;
 477   pw_buf0[3] = 0;
 478
 479   const u32 pw_len = pws[gid].pw_len;
 480
 481   /**
 482    * sbox, kbox
 483    */
 484
 485   __local u32 s_SPtrans[8][64];
 486   __local u32 s_skb[8][64];
 487
 488   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 489   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 490   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 491   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 492   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 493   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 494   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 495   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 496
 497   s_skb[0][lid] = c_skb[0][lid];
 498   s_skb[1][lid] = c_skb[1][lid];
 499   s_skb[2][lid] = c_skb[2][lid];
 500   s_skb[3][lid] = c_skb[3][lid];
 501   s_skb[4][lid] = c_skb[4][lid];
 502   s_skb[5][lid] = c_skb[5][lid];
 503   s_skb[6][lid] = c_skb[6][lid];
 504   s_skb[7][lid] = c_skb[7][lid];
 505
 506   barrier (CLK_LOCAL_MEM_FENCE);
 507
 508   if (gid >= gid_max) return;
 509
 510   /**
 511    * salt
 512    */
 513
 514   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 515
 516   /**
 517    * main
 518    */
 519
 520   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 521   {
 522     u32 w0[4];
 523
 524     w0[0] = pw_buf0[0];
 525     w0[1] = pw_buf0[1];
 526     w0[2] = 0;
 527     w0[3] = 0;
 528
 529     u32 w1[4];
 530
 531     w1[0] = 0;
 532     w1[1] = 0;
 533     w1[2] = 0;
 534     w1[3] = 0;
 535
 536     u32 w2[4];
 537
 538     w2[0] = 0;
 539     w2[1] = 0;
 540     w2[2] = 0;
 541     w2[3] = 0;
 542
 543     u32 w3[4];
 544
 545     w3[0] = 0;
 546     w3[1] = 0;
 547     w3[2] = 0;
 548     w3[3] = 0;
 549
 550     u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 551
 552     out_len = (out_len >= 8) ? 8 : out_len;
 553
 554     u32 data[2];
 555
 556     data[0] = (w0[0] << 1) & 0xfefefefe;
 557     data[1] = (w0[1] << 1) & 0xfefefefe;
 558
 559     u32 Kc[16];
 560     u32 Kd[16];
 561
 562     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 563
 564     u32 iv[2];
 565
 566     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 567
 568     const u32 r0 = iv[0];
 569     const u32 r1 = iv[1];
 570     const u32 r2 = 0;
 571     const u32 r3 = 0;
 572
 573     #include COMPARE_M
 574   }
 575 }
 576
 577 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_m08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 578 {
 579 }
 580
 581 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_m16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 582 {
 583 }
 584
 585 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_s04 (__global pw_t *pws, __global gpu_rule_t *  rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 rules_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 586 {
 587   /**
 588    * modifier
 589    */
 590
 591   const u32 lid = get_local_id (0);
 592
 593   /**
 594    * base
 595    */
 596
 597   const u32 gid = get_global_id (0);
 598
 599   u32 pw_buf0[4];
 600
 601   pw_buf0[0] = pws[gid].i[ 0];
 602   pw_buf0[1] = pws[gid].i[ 1];
 603   pw_buf0[2] = 0;
 604   pw_buf0[3] = 0;
 605
 606   const u32 pw_len = pws[gid].pw_len;
 607
 608   /**
 609    * sbox, kbox
 610    */
 611
 612   __local u32 s_SPtrans[8][64];
 613   __local u32 s_skb[8][64];
 614
 615   s_SPtrans[0][lid] = c_SPtrans[0][lid];
 616   s_SPtrans[1][lid] = c_SPtrans[1][lid];
 617   s_SPtrans[2][lid] = c_SPtrans[2][lid];
 618   s_SPtrans[3][lid] = c_SPtrans[3][lid];
 619   s_SPtrans[4][lid] = c_SPtrans[4][lid];
 620   s_SPtrans[5][lid] = c_SPtrans[5][lid];
 621   s_SPtrans[6][lid] = c_SPtrans[6][lid];
 622   s_SPtrans[7][lid] = c_SPtrans[7][lid];
 623
 624   s_skb[0][lid] = c_skb[0][lid];
 625   s_skb[1][lid] = c_skb[1][lid];
 626   s_skb[2][lid] = c_skb[2][lid];
 627   s_skb[3][lid] = c_skb[3][lid];
 628   s_skb[4][lid] = c_skb[4][lid];
 629   s_skb[5][lid] = c_skb[5][lid];
 630   s_skb[6][lid] = c_skb[6][lid];
 631   s_skb[7][lid] = c_skb[7][lid];
 632
 633   barrier (CLK_LOCAL_MEM_FENCE);
 634
 635   if (gid >= gid_max) return;
 636
 637   /**
 638    * salt
 639    */
 640
 641   const u32 mask = salt_bufs[salt_pos].salt_buf[0];
 642
 643   /**
 644    * digest
 645    */
 646
 647   const u32 search[4] =
 648   {
 649     digests_buf[digests_offset].digest_buf[DGST_R0],
 650     digests_buf[digests_offset].digest_buf[DGST_R1],
 651     digests_buf[digests_offset].digest_buf[DGST_R2],
 652     digests_buf[digests_offset].digest_buf[DGST_R3]
 653   };
 654
 655   /**
 656    * main
 657    */
 658
 659   for (u32 il_pos = 0; il_pos < rules_cnt; il_pos++)
 660   {
 661     u32 w0[4];
 662
 663     w0[0] = pw_buf0[0];
 664     w0[1] = pw_buf0[1];
 665     w0[2] = 0;
 666     w0[3] = 0;
 667
 668     u32 w1[4];
 669
 670     w1[0] = 0;
 671     w1[1] = 0;
 672     w1[2] = 0;
 673     w1[3] = 0;
 674
 675     u32 w2[4];
 676
 677     w2[0] = 0;
 678     w2[1] = 0;
 679     w2[2] = 0;
 680     w2[3] = 0;
 681
 682     u32 w3[4];
 683
 684     w3[0] = 0;
 685     w3[1] = 0;
 686     w3[2] = 0;
 687     w3[3] = 0;
 688
 689     u32 out_len = apply_rules (rules_buf[il_pos].cmds, w0, w1, pw_len);
 690
 691     out_len = (out_len >= 8) ? 8 : out_len;
 692
 693     u32 data[2];
 694
 695     data[0] = (w0[0] << 1) & 0xfefefefe;
 696     data[1] = (w0[1] << 1) & 0xfefefefe;
 697
 698     u32 Kc[16];
 699     u32 Kd[16];
 700
 701     _des_crypt_keysetup (data[0], data[1], Kc, Kd, s_skb);
 702
 703     u32 iv[2];
 704
 705     _des_crypt_encrypt (iv, mask, Kc, Kd, s_SPtrans);
 706
 707     const u32 r0 = iv[0];
 708     const u32 r1 = iv[1];
 709     const u32 r2 = 0;
 710     const u32 r3 = 0;
 711
 712     #include COMPARE_S
 713   }
 714 }
 715
 716 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_s08 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 717 {
 718 }
 719
 720 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) m01500_s16 (__global pw_t *pws, __global gpu_rule_t *rules_buf, __global comb_t *combs_buf, __global bf_t *bfs_buf, __global void *tmps, __global void *hooks, __global u32 *bitmaps_buf_s1_a, __global u32 *bitmaps_buf_s1_b, __global u32 *bitmaps_buf_s1_c, __global u32 *bitmaps_buf_s1_d, __global u32 *bitmaps_buf_s2_a, __global u32 *bitmaps_buf_s2_b, __global u32 *bitmaps_buf_s2_c, __global u32 *bitmaps_buf_s2_d, __global plain_t *plains_buf, __global digest_t *digests_buf, __global u32 *hashes_shown, __global salt_t *salt_bufs, __global void *esalt_bufs, __global u32 *d_return_buf, __global u32 *d_scryptV_buf, const u32 bitmap_mask, const u32 bitmap_shift1, const u32 bitmap_shift2, const u32 salt_pos, const u32 loop_pos, const u32 loop_cnt, const u32 bfs_cnt, const u32 digests_cnt, const u32 digests_offset, const u32 combs_mode, const u32 gid_max)
 721 {
 722 }