Формат ресурсов в SFW RA

[MagnuMspec 7 504]

В общем, в процессе произведенного Allnarta тестирования было выявлено следующее:

Общий вес BSA-архивов напрямую влияет на лимит загружаемых плагинов. Т.е. чем тяжелее архивы, тем меньше плагинов вы сможете подключить.

 

Видимо, игра напрямую вгружает ресурсы BSA в себя при запуске, а в случае распакованных ресурсов поступает как-то иначе.

 

Отсюда и опрос, как нам поступить при последующих апдейтах модулей RA.

[Shadd Ashborn 1 720]

Лично я за "рассыпной" вариант.) Обьясню почему (помимо лимита модов):

 

Очень многие ресурсы модулей друг друга переписывают. С этим пора что-то делать, т.к. временами это напрямую влияет на качество игры (как пример - я недавно распаковала какой-то из БСА модулей и у меня в сотый раз переписались текстуры и модели тела и некоторых броников на предназначенные для ванильных тел. Те, что я адаптировала личною Т.е. они до сих пор где-то "зависли" или в мастере, или в каком-то другом модуле, и захламляют игровые ресурсы). Кроме того, дубликаты - всегда не есть хорошо и для быстродействия, и просто даже для размера папки Data.

 

Как это решить? Да довольно просто.) распаковать, наконец, абсолютно все архивы RA в правильной последовательности (но ее, Магнум, знаешь только ты ) и поделить. Это можент повлечь за собой взаимную зависимость модулей, но мне кажется, это не так уж и плохо.

[Reddeq 329]

Я тоже за распакованные ресурсы, если это влияет на производительность.Производительность прежде всего=) Что касается модулей - я думаю, нужно составить список "приоритетов", как в порядке загрузки - т.е. ресурсы какого модуля в случае чего должны перезаписывать все остальное. Да, возможно, это усложнит процесс установки, хотя чего уж тут сложного - просто закидывать папки в правильной последовательности=)

Скорее, это усложнит менеджмент сборки на стадии, э-э, сборки, но при этом значительно упростит жизнь пользователю, который уже определился, что ему нужно.

И по поводу работы движка с архивами: я подозреваю, движок, как и любой архиватор, умеет ползать по архивам и доставать оттуда нужные файлы (если бы он прогружал все бса, размер процесса раздулся бы гораздо больше допустимых 4 гигов=). Но логично, что на шарахание по архивам он тратит больше ресурсов (особенно по хорошенько пожатым архивам), чем на простое шебуршание по папкам

[Shadd Ashborn 1 720]

 

 

И по поводу работы движка с архивами: я подозреваю, движок, как и любой архиватор, умеет ползать по архивам и доставать оттуда нужные файлы

 

Я не знаю, что с ним в эти моменты происходит, но при переваливании через какое-то количество БСАшников (или их контента - не могу сказать) он начинает в них тупо "теряться" - он не может подгрузить нужный ресурс для нужного айдишника.) И связано это именно с БСА - с "рыхлыми" ресурсами он ведет себя безукоризненно. От того, собственно, и начался разговор о переходе на рыхлые ресурсы - мы просто "приперли" к лимиту возможности движка с БСАшниками РА.

[Reddeq 329]

 

 

мы просто "приперли" к лимиту возможности движка с БСАшниками РА.

Кстати, а таки влияет вес БСА-шников или их количество? У нас же сейчас в каждом модуле десятки разных архивов. Что будет, если начать их сливать?

[Shadd Ashborn 1 720]

 

 

Кстати, а таки влияет вес БСА-шников или их количество? У нас же сейчас в каждом модуле десятки разных архивов. Что будет, если начать их сливать?

 

А вот этого я не знаю) Тут надо экспериментировать.

 

У меня, кстати, кроме того, довольно непонятная ситуация со всякой Пустошной нечистью - после распаковки БСА она стала куда более разнообразной (особенно на супермутантах ощущаю разницу). о_О Ощущение, что почему-то какие-то моды не подхватывали модели из БСА. Но то скорее индивидуальное, ибо нечисть, судя по всему, из тактикса.

[MagnuMspec Автор темы 7 504]

Я знаю, что ГЕКК обжирается памятью и зависает, если многовато BSA вгружается. Так что дело, скорее, в весе архивов, т.к. у ГЕККа лимит то ли 1,8 гб, то ли где-то рядом.

 

 

 

(как пример - я недавно распаковала какой-то из БСА модулей и у меня в сотый раз переписались текстуры и модели тела и некоторых броников на предназначенные для ванильных тел. Те, что я адаптировала личною Т.е. они до сих пор где-то "зависли" или в мастере, или в каком-то другом модуле, и захламляют игровые ресурсы).

Эм, тут такое дело - я при вшитии твоих патчей добавлял мешам под Робертса новые пути, чтобы опять же, не трогать архивы.

Почему-то решил, что это более удобно))

 

Что касается распаковки всего и вся. Тут надо будет скорее всего держать мне отдельные папки под каждый модуль, а то и паковать обновления отдельно, чтоб не перезакачивалось всё... Хех, придется заморочиться и продумать этот момент. Для этого как раз есть по 8 часов просиживания штанов в офисе.

В случае с распакованными ресурсами главная проблема именно в мусоре, разбросанном по всяческим архивам. В BSA то это всё аккуратно сложенно.

Я говорю не о лишних перезаписях, а о простых ресурсах, валяющихся где-попало. В этом случае реальный респект модостроителям, которые складывают свои ресурсы в специальные папки, по принципу DLC.

[oldork 10]

По немалому Обливионскому опыту - могу сказать , что с рассыпными папками -игра ведёт себя гораздо лучше ,быстрее,надёжнее.Вряд ли Вегас сильно отличается в этом.

Правда я никаких лимитов с архивами никогда не достигал видимо......

И имхо - дело в весе , а не в количестве , но это опять же по ощущениям.

[Shadd Ashborn 1 720]

 

Эм, тут такое дело - я при вшитии твоих патчей добавлял мешам под Робертса новые пути, чтобы опять же, не трогать архивы. 

Почему-то решил, что это более удобно))

 

Вот оно у меня вечно и путается, ставлю в итоге свои же патчи по-новой.

 

 

 

 

Так что дело, скорее, в весе архивов, т.к. у ГЕККа лимит то ли 1,8 гб, то ли где-то рядом.

 

Возможно. Скорее всего, имеет значение именно общий вес всех собранных БСАшников, и наверное он не может превышать размеров для 32-бит игры (2 гб оперы). Обычно это привело бы к вылету, но 4гб патч позволяет игре не вылетать. Вот она и охреневает.

 

 

Что касается распаковки всего и вся. Тут надо будет скорее всего держать мне отдельные папки под каждый модуль, а то и паковать обновления отдельно, чтоб не перезакачивалось всё... Хех, придется заморочиться и продумать этот момент. Для этого как раз есть по 8 часов просиживания штанов в офисе. 

 

Ну, поэтому команда ОА вообще не парится и напрямую собирает всю сборку в один огромный инсталлятор. х)

[front210 68]

Всё не читал, но напишу.

Пару лет назад проводил "исследования" движка игры.

Запущенная игра F3 ищет ресурсы сначала в папке Data.

Там их, конечно, не находит и лезет в папки meshes, sound, textures - в зависимости, что в тот момент надо загрузить.

ПОТОМ! И только потом лезет в bsa-архивы.

 

После этого я всё распаковываю. Родные bsa-архивы тоже распаковал, а потом их удалил, отредактировав ini-шник.

 

По наблюдениям, с распакованными архивами игра становится стабильнее, меньше "мини-задержки" и подёргивания/подгрузки.

 

P.S.Поправлю сам себя, т.к. вспомнил более детально. Поиск нужного файла игрой проходит по следующему алгоритму:

1) <папка игры>/textures/.../имя файла. Не находит.

2) <папка игры>/Data/textures/.../имя файла.

3) <папка игры>/Data/bsa-архив.

На каком этапе будет найден файл, на 2-ом или на 3-ем, это, формально, и есть смысл опроса.

Изменено 9 декабря, 2015 пользователем front210

[SICreef 15]

Распакованные архивы это хорошо конечно. Но вот если в плагине несколько сотен мелких файлов, то их проще всё же в bsa запаковать.

[front210 68]

Распакованные архивы это хорошо конечно. Но вот если в плагине несколько сотен мелких файлов, то их проще всё же в bsa запаковать.

Проще - да, лучше - нет.

Вы в курсе, что анализируя ресурсы разных "модов" можно найти, например, источник вылетов игры?

Текстуры не того формата или корявого размера. Модели, которые не может открыть ни Нифскоп, ни 3D-редактор, ни ГЕКК. Звуки, которые не воспроизводятся ничем. Про разнообразный "забытый" мусор, типа файлов thumbs.db и прочего, я даже упоминать не буду.

 

Кстати, даже DCInteriors, который у всех установлен, этим страдает, не говоря о "творениях" менее именитых авторов.

Более того, некоторые файлы из официальных ресурсов Fallout 3 тоже имеют проблемы. Вы не знали?

 

Движок этой игры довольно "кривоногий", но он всё-таки "прощает" некоторые некритические ошибки. Однако если ЭТИХ же ошибок становится некоторое количество ПОДРЯД, сразу вылет игры.

 

Я никого ни к чему не склоняю, просто делюсь своим мнением. Моддингом игры Fallout 3 я занимаюсь с 2009 года, через мои руки прошло очень, ОЧЕНЬ много модов. И до сих пор у меня не установлено ни одного мода, который бы не был мной исправлен. Везде есть проблемы того или иного рода. Русскоязычные переводы - отдельная песня. Хорошо ещё, когда автор перевода владеет хотя бы одним языком, русским или английским. А так, от смеха плакать иногда хочется. Знаете, сколько переведённых другими людьми модов у меня установлено? Ноль. Я их все перевожу по-новой, либо не играю в них, пока не переведу, а ресурсы не "выпотрошу" как надо.

 

В последний год, правда, у меня нет времени на игры и серьёзный моддинг, однако, думаю, что скрупулезный анализ ресурсов игры и содержимого esp-файлов может позволить себе каждый. Если захотеть.

[SICreef 15]

 

front210, я больше моды знаю по скайриму. Так же правлю многие моды под себя. В скайриме скрипты лежат отдельно. Естественно, в отличии от фоллаута, скрипты в большинстве случаев лучше паковать в bsa. Но так как здесь они в esp, то это не столь важно. Однако, при ощутимо высоком количестве мелких файлов, более 10k, диск начинает читать их медленнее, так что приходится дефрагментировать, если часто обновляешь или переустанавливаешь моды. Впрочем, для тех пользуется ssd, это не является проблемой. И если уж плагины будут паковать ресурсами наружу, то пускай сразу укажут, какой файловый менеджер лучше использовать и структурировать архивы под него. Например, Mod Organizer или Wrye Flash, что бы корректно удалять предыдущие моды, а не рыскать по подпапкам в поисках ненужных файлов.

 

[Shadd Ashborn 1 720]

front210, я больше моды знаю по скайриму. Так же правлю многие моды под себя. В скайриме скрипты лежат отдельно. Естественно, в отличии от фоллаута, скрипты в большинстве случаев лучше паковать в bsa. Но так как здесь они в esp, то это не столь важно. Однако, при ощутимо высоком количестве мелких файлов, более 10k, диск начинает читать их медленнее, так что приходится дефрагментировать, если часто обновляешь или переустанавливаешь моды. Впрочем, для тех пользуется ssd, это не является проблемой. И если уж плагины будут паковать ресурсами наружу, то пускай сразу укажут, какой файловый менеджер лучше использовать и структурировать архивы под него. Например, Mod Organizer или Wrye Flash, что бы корректно удалять предыдущие моды, а не рыскать по подпапкам в поисках ненужных файлов.

 

Фаллаут и Обла ОЧЕНЬ сильно отличаются от Скайрима в техническом плане. У них совершенно другой алгоритм работы с файлами - и да, им намного лучше, когда все файлы лежат в рыхлых папках.

 

Как уже говорилось не раз в этой теме, БСА игра читает медленнее, менее стабильно, и при определеном количестве оных просто перестает соображать, что происходит (я до сих пор в тихом экстазе, что всё-таки выявила этот баг, который не давал мне нормально играть наверное с полгода!  ). Так что мы будем полюбому вынуждены переходить на "рыхлый" формат, потому что лимита мы уже достигли. Другой вопрос - оставлять ли что-то в БСА, или распаковывать всё.)

[SICreef 15]

Оставьте тогда уж в bsa что-нибудь особо мелкое по весу и большое по количеству. Особых проблем в этом случае ведь быть не должно, надеюсь.

Ещё одно, если bsa не будет, то тогда не будет мучения распаковывать по нескольку архивов и глядеть что бы случайно не пропустить какой-нибудь, можно один модуль запаковать по типу ресурсов, меши, текстурки, звук, отдельно, или лучше сразу все ресурсы модуля в один архив, всё-равно ведь баги копятся и исправляются, так что обновлять большой архив раз в 2 недели или месяц не будет сложно. К тому же проект достаточно продвинулся и обновления модов всё реже выпускаются, остаётся только доработать что есть, торопиться ведь некуда.

[MagnuMspec Автор темы 7 504]

Так, разобрал моргир. 2,24гб остались без BSA. Не знаю насчет FOOK и SIG, довольно разбросанные там ресурсы, почти никакой структуры.

[Infest 1 353]

Итак, есть у меня идея, которая позволит серьёзно решить проблему с ресурсами. Однако на реализацию этой идеи потребуется много времени и тесная кооперация с разработчиками SFW.

 

Итак, предлагаю полную реструктуризацию RA. 

 

Как это будет выглядеть? Так как основной костяк всех модулей составляют файлы текстур и моделей, их можно вынести отдельно от bsa, оставив в архивах только звуковые файлы и прочую мелочь. Так как есть вероятность того, что некоторые ресурсы модулей будут пересекаться с ресурсами других модулей, то вполне вероятно реализовать систему приоритетов. Как? Очень просто, всё через автоматический инсталлятор. Иными словами, если менее приоритетный по ресурсам модуль попробовать установить вместе с модулем, на котором есть приоритетные ресурсы, то эти ресурсы устанавливаться не будут. Будет полезно, например, для того же HD Redesign, если кому-то вдруг захочется установить модуль, затрагивающий ресурсы из HDRd.

 

Плюсы:

- многократное увеличение стабильности загружаемых модулей и модов в игру.

- увеличение количества устанавливаемых плагинов.

- малый вес инсталлятора, благодаря современным алгоритмам сжатия.

- полностью автоматизированный процесс.

 

Минусы:

- многократное увеличение веса корня игры.

- большое количество времени и ресурсов на разработку данной задумки.

- возможная путаница при добавлении нового контента в модули.

- на данный момент не известно, как поведёт себя игра, с огромным количеством распакованных ресурсов. Вопрос снят.

- возможны проблемы при установке пользовательских модификаций.

[Shadd Ashborn 1 720]

 

 

- на данный момент не известно, как поведёт себя игра, с огромным количеством распакованных ресурсов. 

 

Замечательно. Как раз таки БСА - своего рода "костыль" движка. Оригинальные ресурсы идут в сжатом виде для меньшего веса игры (ну и неприлично как-то разрабу вот так вываливать весь рыхляк игрокам в руки ), но фактически движок плохо их переваривает. Тогда как распакованные файлы он нормально обрабатывает в неограниченном количестве. Лимит .есп возвращается на свое "законное" место в около 140 штук со всеми модулями RA.

 

Проверено, моя игра весит около 120 гигабайт и почти всё это - реально использующийся контент. х)

[Infest 1 353]

 

 

Замечательно. Как раз таки БСА - своего рода "костыль" движка. Оригинальные ресурсы идут в сжатом виде для меньшего веса игры (ну и неприлично как-то разрабу вот так вываливать весь рыхляк игрокам в руки ), но фактически движок плохо их переваривает. Тогда как распакованные файлы он нормально обрабатывает в неограниченном количестве.

 

 

В таком случае вопрос снят.

 

 

 

Лимит .есп возвращается на свое "законное" место в около 140 штук со всеми модулями RA.

 

 

140 штук? Разве не 256?

[Shadd Ashborn 1 720]

 

 

140 штук? Разве не 256?

 

Официально 256, но игра начинает подыхать где-то на 140-150. У кого-то меньше, у кого-то больше, но лимит где-то такой. Но нам он не страшен, у нас два десятка мастеров на тонны контента.)

[Infest 1 353]

 

 

Официально 256, но игра начинает подыхать где-то на 140-150. У кого-то меньше, у кого-то больше, но лимит где-то такой. Но нам он не страшен, у нас два десятка мастеров на тонны контента.)

 

 

В таком случае мой вариант, наверное, самый оптимальный, хоть и не без геморроя. 

 

В общем, последнее слово за Магнумом. 

[MagnuMspec Автор темы 7 504]

Ну, на текущих версиях часть ресурсов поставляется в BSA, часть - в распакованном виде.

В BSA остались в основном ресурсы, которые сильно разбросаны. На будущие версии в планах распаковать FOOK2, Misc из MoreGear, и часть архивов Gear. Остальное - без изменений.

 

Что до путаницы - теперь я при добавлении контента дублирую его - на игру, и на папку для релиза. Вроде путаницы быть не должно.

 

Что до инсталлера, эх, нам бы SFWшный добить, а там посмотрим. RA еще в совершенно незаконченном состоянии.

[Infest 1 353]

Что до инсталлера, эх, нам бы SFWшный добить, а там посмотрим. RA еще в совершенно незаконченном состоянии.

 

 

Уже добиваю. Нужен рабочий билд 3.0b. 

 

Насчёт RA, спешить пока некуда, но на мой взгляд, перспектива не плохая, тем более, как сказала Allnarta, с распакованными ресурсами стабильность RA существенно увеличивается.  

[никита19845 1 260]

 

 

В таком случае мой вариант, наверное, самый оптимальный, хоть и не без геморроя. 

 

В общем, последнее слово за Магнумом. 

 

СФВ начинает крошиться при 60 - 65

[Infest 1 353]

 

 

СФВ начинает крошиться при 60 - 65

 

 

Это если с кучей bsa архивами.