Часто теория информации рассматривается как раздел теории вероятностей или как раздел теории связи. Таким образом, предмет «Теория информации» весьма узок, т.к. зажат между чистой математикой и прикладными разделами теории связи. Получение, передача, обработка и хранение информации является основой любой управляющей системы. Принцип работы управляющей системы заключается в том, что движение и действие больших масс или передача и преобразование больших количеств энергии направляется и контролируется при помощи небольших количеств энергии, несущих информацию.