#!/bin/bash

gcc make_tokens.c -o make_tokens -O3 -g -Wall -Wextra && ./make_tokens dataset_lenin.txt tokens.txt