amd/markov_le_v4.cl

   1 /**
   2  * Author......: Jens Steube <jens.steube@gmail.com>
   3  * License.....: MIT
   4  */
   5
   6 #include "include/kernel_vendor.h"
   7
   8 #define CHARSIZ 256
   9
  10 #define VECT_SIZE4
  11
  12 #include "types_amd.c"
  13
  14 static void generate_pw (u32 pw_buf[16], __global cs_t *root_css_buf, __global cs_t *markov_css_buf, const u32 pw_l_len, const u32 pw_r_len, const u32 mask80, const u32 bits14, const u32 bits15, u64 val)
  15 {
  16   pw_buf[ 0] = 0;
  17   pw_buf[ 1] = 0;
  18   pw_buf[ 2] = 0;
  19   pw_buf[ 3] = 0;
  20   pw_buf[ 4] = 0;
  21   pw_buf[ 5] = 0;
  22   pw_buf[ 6] = 0;
  23   pw_buf[ 7] = 0;
  24   pw_buf[ 8] = 0;
  25   pw_buf[ 9] = 0;
  26   pw_buf[10] = 0;
  27   pw_buf[11] = 0;
  28   pw_buf[12] = 0;
  29   pw_buf[13] = 0;
  30   pw_buf[14] = 0;
  31   pw_buf[15] = 0;
  32
  33   __global cs_t *cs = &root_css_buf[pw_r_len];
  34
  35   u32 i;
  36   u32 j;
  37
  38   for (i = 0, j = pw_r_len; i < pw_l_len; i++, j++)
  39   {
  40     const u32 len = cs->cs_len;
  41
  42     const u64 next = val / len;
  43     const u64 pos  = val % len;
  44
  45     val = next;
  46
  47     const u32 key = cs->cs_buf[pos];
  48
  49     const u32 jd4 = j / 4;
  50     const u32 jm4 = j % 4;
  51
  52     pw_buf[jd4] |= key << (jm4 * 8);
  53
  54     cs = &markov_css_buf[(j * CHARSIZ) + key];
  55   }
  56
  57   const u32 jd4 = j / 4;
  58   const u32 jm4 = j % 4;
  59
  60   pw_buf[jd4] |= (0xff << (jm4 * 8)) & mask80;
  61
  62   if (bits14) pw_buf[14] = (pw_l_len + pw_r_len) * 8;
  63   if (bits15) pw_buf[15] = (pw_l_len + pw_r_len) * 8;
  64 }
  65
  66 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) l_markov (__global pw_t *pws_buf_l, __global cs_t *root_css_buf, __global cs_t *markov_css_buf, const u64 off, const u32 pw_l_len, const u32 pw_r_len, const u32 mask80, const u32 bits14, const u32 bits15, const u32 gid_max)
  67 {
  68   const u32 gid  = get_global_id (0);
  69
  70   if (gid >= gid_max) return;
  71
  72   const u32 gid4 = gid * 4;
  73
  74   u32 pw_buf0[16];
  75   u32 pw_buf1[16];
  76   u32 pw_buf2[16];
  77   u32 pw_buf3[16];
  78
  79   generate_pw (pw_buf0, root_css_buf, markov_css_buf, pw_l_len, pw_r_len, mask80, bits14, bits15, off + gid4 + 0);
  80   generate_pw (pw_buf1, root_css_buf, markov_css_buf, pw_l_len, pw_r_len, mask80, bits14, bits15, off + gid4 + 1);
  81   generate_pw (pw_buf2, root_css_buf, markov_css_buf, pw_l_len, pw_r_len, mask80, bits14, bits15, off + gid4 + 2);
  82   generate_pw (pw_buf3, root_css_buf, markov_css_buf, pw_l_len, pw_r_len, mask80, bits14, bits15, off + gid4 + 3);
  83
  84   #pragma unroll 16
  85   for (int i = 0; i < 16; i++)
  86   {
  87     pws_buf_l[gid].i[i].s0 = pw_buf0[i];
  88     pws_buf_l[gid].i[i].s1 = pw_buf1[i];
  89     pws_buf_l[gid].i[i].s2 = pw_buf2[i];
  90     pws_buf_l[gid].i[i].s3 = pw_buf3[i];
  91   }
  92
  93   pws_buf_l[gid].pw_len = pw_l_len + pw_r_len;
  94 }
  95
  96 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) r_markov (__global bf_t *pws_buf_r, __global cs_t *root_css_buf, __global cs_t *markov_css_buf, const u64 off, const u32 pw_r_len, const u32 mask80, const u32 bits14, const u32 bits15, const u32 gid_max)
  97 {
  98   const u32 gid  = get_global_id (0);
  99
 100   if (gid >= gid_max) return;
 101
 102   const u32 gid4 = gid * 4;
 103
 104   u32 pw_buf[16];
 105
 106   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_r_len, 0, 0, 0, 0, off + gid4 + 0);
 107
 108   pws_buf_r[gid4 + 0].i = pw_buf[0];
 109
 110   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_r_len, 0, 0, 0, 0, off + gid4 + 1);
 111
 112   pws_buf_r[gid4 + 1].i = pw_buf[0];
 113
 114   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_r_len, 0, 0, 0, 0, off + gid4 + 2);
 115
 116   pws_buf_r[gid4 + 2].i = pw_buf[0];
 117
 118   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_r_len, 0, 0, 0, 0, off + gid4 + 3);
 119
 120   pws_buf_r[gid4 + 3].i = pw_buf[0];
 121 }
 122
 123 __kernel void __attribute__((reqd_work_group_size (64, 1, 1))) C_markov (__global comb_t *pws_buf, __global cs_t *root_css_buf, __global cs_t *markov_css_buf, const u64 off, const u32 pw_len, const u32 mask80, const u32 bits14, const u32 bits15, const u32 gid_max)
 124 {
 125   const u32 gid  = get_global_id (0);
 126
 127   if (gid >= gid_max) return;
 128
 129   const u32 gid4 = gid * 4;
 130
 131   u32 pw_buf[16];
 132
 133   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_len, 0, mask80, bits14, bits15, off + gid4 + 0);
 134
 135   pws_buf[gid4 + 0].i[ 0] = pw_buf[ 0];
 136   pws_buf[gid4 + 0].i[ 1] = pw_buf[ 1];
 137   pws_buf[gid4 + 0].i[ 2] = pw_buf[ 2];
 138   pws_buf[gid4 + 0].i[ 3] = pw_buf[ 3];
 139   pws_buf[gid4 + 0].i[ 4] = pw_buf[ 4];
 140   pws_buf[gid4 + 0].i[ 5] = pw_buf[ 5];
 141   pws_buf[gid4 + 0].i[ 6] = pw_buf[ 6];
 142   pws_buf[gid4 + 0].i[ 7] = pw_buf[ 7];
 143
 144   pws_buf[gid4 + 0].pw_len = pw_len;
 145
 146   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_len, 0, mask80, bits14, bits15, off + gid4 + 1);
 147
 148   pws_buf[gid4 + 1].i[ 0] = pw_buf[ 0];
 149   pws_buf[gid4 + 1].i[ 1] = pw_buf[ 1];
 150   pws_buf[gid4 + 1].i[ 2] = pw_buf[ 2];
 151   pws_buf[gid4 + 1].i[ 3] = pw_buf[ 3];
 152   pws_buf[gid4 + 1].i[ 4] = pw_buf[ 4];
 153   pws_buf[gid4 + 1].i[ 5] = pw_buf[ 5];
 154   pws_buf[gid4 + 1].i[ 6] = pw_buf[ 6];
 155   pws_buf[gid4 + 1].i[ 7] = pw_buf[ 7];
 156
 157   pws_buf[gid4 + 1].pw_len = pw_len;
 158
 159   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_len, 0, mask80, bits14, bits15, off + gid4 + 2);
 160
 161   pws_buf[gid4 + 2].i[ 0] = pw_buf[ 0];
 162   pws_buf[gid4 + 2].i[ 1] = pw_buf[ 1];
 163   pws_buf[gid4 + 2].i[ 2] = pw_buf[ 2];
 164   pws_buf[gid4 + 2].i[ 3] = pw_buf[ 3];
 165   pws_buf[gid4 + 2].i[ 4] = pw_buf[ 4];
 166   pws_buf[gid4 + 2].i[ 5] = pw_buf[ 5];
 167   pws_buf[gid4 + 2].i[ 6] = pw_buf[ 6];
 168   pws_buf[gid4 + 2].i[ 7] = pw_buf[ 7];
 169
 170   pws_buf[gid4 + 2].pw_len = pw_len;
 171
 172   generate_pw (pw_buf, root_css_buf, markov_css_buf, pw_len, 0, mask80, bits14, bits15, off + gid4 + 3);
 173
 174   pws_buf[gid4 + 3].i[ 0] = pw_buf[ 0];
 175   pws_buf[gid4 + 3].i[ 1] = pw_buf[ 1];
 176   pws_buf[gid4 + 3].i[ 2] = pw_buf[ 2];
 177   pws_buf[gid4 + 3].i[ 3] = pw_buf[ 3];
 178   pws_buf[gid4 + 3].i[ 4] = pw_buf[ 4];
 179   pws_buf[gid4 + 3].i[ 5] = pw_buf[ 5];
 180   pws_buf[gid4 + 3].i[ 6] = pw_buf[ 6];
 181   pws_buf[gid4 + 3].i[ 7] = pw_buf[ 7];
 182
 183   pws_buf[gid4 + 3].pw_len = pw_len;
 184 }