linux — Updating a single file in a compressed tar — Stack Overflow

Create a repository database just for these packages

This can be done on either ‘Al’ or ‘Bob’ using the repo-add command which comes with pacman (from version 3?); first, change to the /path/to/nvidia directory where the packages were downloaded, then create database file called nvidia.db.tar.gz:

$ cd /path/to/nvidia
# repo-add nvidia.db.tar.gz *.pkg.tar.xz

Download package zip/tar.gz file without installing

Generate a list of packages to download

This can be done on any Arch Linux machine which has up-to-date repository data bases (see above for links to database files); to create the list of links to the required packages, use:

# pacman -Sp nvidia nvidia-utils xf86-video-nouveau > /path/to/nvidia.list

The file nvidia.list will contain links to the listed packages and any others which they depend on which are not already installed on ‘Al’. Unless you have cleared your cache the packages you have installed will be in your cache location.

How do i install a .tar.gz (or .tar.bz2) file?

cd Downloads
sudo cp dropbox-lnx.x86_64-1.5.36.tar.gz /opt/

cd /opt/
sudo tar -xvf dropbox-lnx.x86_64-1.5.36.tar.gz
sudo rm -rf dropbox-lnx.x86_64-1.5.36.tar.gz

ls -a

james@james-OptiPlex-GX620:/opt$ ls -a
. .. .dropbox-dist
james@james-OptiPlex-GX620:/opt$

sudo chmod 777 .dropbox-dist/

sudo ln -s /opt/.dropbox-dist/ /usr/bin/dropbox

gksu gedit /usr/share/applications/dropbox.desktop

[Desktop Entry]
Version=1.0
Name=Firefox Nightly
Comment=Browse the World Wide Web
GenericName=Web Browser
Keywords=Internet;WWW;Browser;Web;Explorer
Exec=firefox-nightly
Terminal=false
X-MultipleArgs=false
Type=Application
Icon=/opt/firefox/icons/mozicon128.png
Categories=GNOME;GTK;Network;WebBrowser;
MimeType=text/html;text/xml;application/xhtml xml;application/xml;application/rss xml;application/rdf xml;image/gif;image/jpeg;image/png;x-scheme-handler/http;x-scheme-handler/https;x-scheme-handler/ftp;x-scheme-handler/chrome;video/webm;application/x-xpinstall;
StartupNotify=true
Actions=NewWindow;
[Desktop Action NewWindow]
Name=Open a New Window
Exec=firefox-nightly -new-window
OnlyShowIn=Unity;

Install the packages

Finally install the packages:

# pacman -S nvidia nvidia-utils xf86-video nouveau

Links and sources

Compiled from the forums, with thanks to Heller_Barbe and byte

Listing tar.gz file #

To list the content of a tar.gz file, use the —list (-t) option:

tar -tf archive.tar.gz

The output will look something like this:

file1file2file3

If you add the —verbose (-v) option, tar will print more information, such as owner, file size, timestamp ..etc:

tar -tvf archive.tar.gz

Local repository

Scenario: you have two Arch Linux machines, ‘Al’ (with internet connection) and ‘Bob’ (without internet connection), and you need to install some NVIDIA packages and their dependencies on ‘Bob’. In this example, the wanted packages are nvidia, nvidia-utils, and xf86-video-nouveau, but you want to use a dedicated directory instead of /var/cache/pacman/pkg/ and a dedicated repository called nvidia (instead of the usual core, extra etc…)

Offline cache

You can stuff things into /var/lib/pacman/sync and /var/cache/pacman/pkg to make pacman think it has everything it needs to do searches, updates, and installs. This method is based on byte’s post from this thread.

Download the package databases on a computer with internet access and transfer them to your computer. If needed, change MIRROR to any mirror from the mirror status list.

Restoring online sources

Should Bob ever be put online we can restore access to the online sources by replacing /etc/pacman.conf with the previously created /etc/pacman.conf.old.

Transfer the packages

Now all the packages have been downloaded, you do not need ‘Al’ anymore. Copy the contents of /path/to/nvidia to a the temporary NVIDIA packages cache directory on ‘Bob’. In this example, this folder is called /home/me/nvidia:

$ cp /path/to/nvidia/* /home/me/nvidia

Next, pacman must be made aware of this new repository of packages. First copy your current pacman.conf:

# cp /etc/pacman.conf /etc/pacman.conf.old

Now in /etc/pacman.conf make sure that your SigLevel is set to Never as your repository will not provide signatures

SigLevel = Never

Бинарные пакеты

Бинарные пакеты почти аналогичны пакетам Debian. Разница следующая:

1. Расширении .ipk вместо .deb.
2. Упаковывается всё с помощью `tar` и сжимается с помощью gzip, это же справедливо для вложенных архивов. В Debian архив верхнего уровня упаковывается более примитивным ar, а вложенные архивы чаще всего имеют расширение .tar.xz, инструменты используются соответствующие.

Если вы поменяете расширение пакета для OpenWrt на

.tar.gz

и распакуете, то обнаружите внутри два архива и один текстовый файл. Файл называется

debian-version

, в нём содержится версия формата бинарного файла и она нам не очень интересна, в современных системах эта версия всегда равняется

2.0

Архив data.tar.gz содержит исполняемые файлы, файлы конфигурации и всё, ради чего устанавливается пакет. Если распаковать его в корень ФС, вы получите все ожидаемые файлы на нужных местах, в /usr/bin/, /etc/ и так далее.

А в control.tar.gz находятся вспомогательные файлы для пакетного менеджера. Это скрипты, которые должны выполняться до или после установки и удаления (preinst, postinst, prerm, postrm), сведения о файлах, являющихся конфигурационными, и метаинформация о пакете, во многом повторяющая ту, что содержится в Packages.

Как мне установить файл .tar.gz (или .tar.bz2)?

cd Downloads
sudo cp dropbox-lnx.x86_64-1.5.36.tar.gz /opt/

cd /opt/
sudo tar -xvf dropbox-lnx.x86_64-1.5.36.tar.gz
sudo rm -rf dropbox-lnx.x86_64-1.5.36.tar.gz

ls -a

james@james-OptiPlex-GX620:/opt$ ls -a
. .. .dropbox-dist
james@james-OptiPlex-GX620:/opt$

sudo chmod 777 .dropbox-dist/

sudo ln -s /opt/.dropbox-dist/ /usr/bin/dropbox

gksu gedit /usr/share/applications/dropbox.desktop

[Desktop Entry]
Version=1.0
Name=Firefox Nightly
Comment=Browse the World Wide Web
GenericName=Web Browser
Keywords=Internet;WWW;Browser;Web;Explorer
Exec=firefox-nightly
Terminal=false
X-MultipleArgs=false
Type=Application
Icon=/opt/firefox/icons/mozicon128.png
Categories=GNOME;GTK;Network;WebBrowser;
MimeType=text/html;text/xml;application/xhtml xml;application/xml;application/rss xml;application/rdf xml;image/gif;image/jpeg;image/png;x-scheme-handler/http;x-scheme-handler/https;x-scheme-handler/ftp;x-scheme-handler/chrome;video/webm;application/x-xpinstall;
StartupNotify=true
Actions=NewWindow;
[Desktop Action NewWindow]
Name=Open a New Window
Exec=firefox-nightly -new-window
OnlyShowIn=Unity;

Проверяем репозиторий вместе с пакетом

Вы можете проверить всё на настоящем роутере (не забудьте только выбрать правильный таргет), но я воспользовался Докером. В Докерхабе есть образ OpenWrt для x86_84, который можно запустив, пробросив внутрь контейнера директорию с SDK:

sudo docker run -it --name openwrt_test -v $PWD:/opt openwrtorg/rootfs

. Потыкайте кнопку ввода пока не появится приглашение Баша.

Система сборки пакетов

Сборочная система (она же SDK) выполнена в виде Make-фреймворка. Фреймворк не подразумевает, что вы будете собирать пакеты по отдельности, его основная задача заключается в сборке целых репозиториев.

SDK для x86_64 лежит в git. Есть архив (ссылка скоро устареет, но найти свежий несложно), который сэкономит вам время на компиляции тулчейна для сборки. Внутри особый интерес представляет файл feeds.conf.default. Формат несложный, через пробел:

1. Ключевое слово src-git. Поддерживается не только git, но сейчас репозиториев в иных VCS нет.
2. Название фида.
3. URL git-репозитория, в котором можно указать коммит или тег. Если вы знаете, как называется такая спецификация, подскажите, пожалуйста.

Сам репозиторий с пакетами устроен максимально просто: в корне репозитория категория пакета, на втором уровне директория с названием пакета, а внутри него лежит

Makefile

, опционально `Config.in` для дополнительных опций при выполнении

make menuconfig

и субдиректория

patches

с соответствующим содержимым. Для простейшего пакета достаточно только

Makefile

. Для примера можете заглянуть в

Тестовая сборка

Я попробовал собрать GNU Hello, чтобы проверить, как работает SDK. Это сравнительно монструозный Hello World, написанный в строгом соответствии с гайдлайнами проекта GNU, его единственная задача заключается в иллюстрации этих гайдлайнов. Отдельный репозиторий для него не создавал, а вместо этого «подсунул» в базовые пакеты SDK, откуда и скомпилировал.

Для работы самого SDK в окружениии Debian понадобятся пакеты libncurses-dev (для меню сборки), build-essential (GCC и прочие стандартные зависимости программ на C), gawk, unzip, file, rsync и python3.

Также для создания репозитория из собранных пакетов, потребуется утилита для генерации ключей usign. Её в репозитории нет, поэтому дополнительно потребуется `cmake` для сборки. Этот инструмент можно заменить как на GPG, так и на signify-openbsd, но она рекомендуется и разрабатывается проектом OpenWrt, а также гораздо приятней в использовании.

Компилируем и устанавливаем usign:

Устройство репозитория

В файловой системе OpenWrt есть файл

/etc/opkg/distfeeds.conf

, в нём указывается системный (предоставленный разработчиками OpenWrt и opkg) список репозиториев. Собственные и сторонние репозитории можно указать в

/etc/opkg/customfeeds.conf

. Формат однострочный, состоит из трёх слов:

1. src или src/gz, от этого зависит, будет качаться файл Packages или Packages.gz. Судя по коду, есть другие опции для первого слова, но я не нашёл репозиториев, для которых это было бы актуально. Несмотря на src в названии, это репозиторий для бинарных пакетов. Специального формата репозиториев для пакетов с исходным кодом, аналогичного тому, что используется в Debian/APT, у opkg не предусмотрено.
2. Название репозитория или «фида» в терминологии opkg/OpenWrt.
3. URL, внутри которого лежит файл Packages/Packages.gz.

При выполнении

opkg update

к URL через

/

добавляется

Packages

или

Packages.gz

, список пакетов и подписи сохраняются в

/tmp/opkg-lists

, файл называется соответственно второму слову в списке репозиториев. Отсюда два важных вывода:

1. При перезагрузке кэш очистится. На встроенных системах вроде роутеров это абсолютно разумно.
2. В /etc/opkg/customfeeds.conf можно оверрайдить системные фиды своими собственными, дав им такое же название. opkg ругнётся, но проглотит оверрайд, сложив нужный файлик вместо загруженного ранее.

Заодно будет загружен

Packages.sig

, в котором должен лежать хэш распакованного списка пакетов. В самом списке просто перечисляются пакеты, для каждого пакета есть несколько значений, значения для разных пакетов отделяются пустой строкой. Вот самые важные поля для каждого пакета:

• Package, имя пакета;
• Version, версия, при наличии нескольких пакетов с одинаковым именем можно выбрать версию, по умолчанию установится самая свежая;
• Depends, зависимости от других пакетов, пакетный менеджер доустановит перечисленные пакеты в случае их отсутствия в системе;
• Filename, путь к файлу относительно базового URL репозитория, обычно репозиторий плоский и всё лежит там же, где и `Packages.gz`;
• SHA256sum, заявленный репозиторием хэш пакета.

Если хотите больше подробностей, можете просто прочитать один из таких списков

Conclusion #

tar.gz file is a Tar archive
compressed with Gzip. To extract a tar.gz file, use the tar -xf command followed by the archive name.

If you have any questions, please leave a comment below.

Download/copy the packages and their dependencies

Obviously this requires an internet connection, so on ‘Al’ create a directory called /path/to/nvidia for the files and run:

# wget -P /path/to/nvidia/ -i /path/to/nvidia.list