О трафике

[Xirss]

Кто вот вам такое сказал? При каждом выходе в инет - ваш IP в очередной раз попадает в базу М$ и им останется лишь в определенный момент времени дать распечатки в соответствующие службы.
Вы думаете, что провайдер будет стоять грудью за вас и не выдаст ваш адрес? Наивно так думать. Без этого пункта ему не дали бы лицензию на право быть провайдером.

1) у многих провайдеров - 1 внешний ип адресс для всех клиентов. и у многих нет лога, кто куда ходил. т.к. хранить гигабайты мусора нецелесообразно. во всяком случае - у моего прова точно нет, знаю т.к. у него работаю
2) я уже говорил о фильтровании траффика в сторону майкрософт

Н-дя. Все смелые, пока с этим не столкнуться в реальной жизни. Поверьте мне на слово - там не дураки сидят и сделают все как надо. И камер (фото и видео) не будет, и следов не останется, и пароли нужные получат. Свое профессиональное мастерство они оттачивают ежедневно.

первые 10-20 прецедентов по всей стране - и почти в каждом блоге будет запись о "зверствованиях органов". естессно, еще хорошо приукрашенная. + газеты шумок подхватят... а там - и до массовых беспорядков недалеко
пора бы уже забыть тоталитарное прошлое...

Знаю. Но вы не читали моего сообщения? Но вы однако не знаете того, что знают M$. А они уже знают о наличии драйвера и ведут учет подобного довольно тщательно. Их пока интересуют крупняк. Но кто знает, что будет потом?

они возможно знают о драйвере. а возможно и не знают. не выдавайте свою паранойю за истину.

А вы точно знаете, что именно надо блокировать? IP адреса M$? Да сбором информации давно занимаются уже все, кому не лень. Поставьте файервол и вы об этом узнаете. Вот я, как программист, не могу сказать с уверенностью на 100%, что блокируя какой-то адрес, я тем самым заблокировал попытку сообщить "на родину" о себе приватную информацию. Возможно это была банальная проверка обновлений.
Особенно смешно выглядит ваше сообщения для блокировки (чего, кстати) программ, которые по роду своей деятельности ведут интенсивный обмен данными (всякие файлокачалки, P2P клиенты, почтовые службы и пр. пр. пр.). Наивно полагать, что Касперский или др. Веб или тем более OutPost ничего не сообщают о вас "на родину".

авто-обновление я первым делом рублю все запросы в сторону майкрософт рубонуть - и все возможно - оставить хттп, с очисткой всей персональной инфо типа кукисов и т.д.

Да я же написал, что это для вашего общего развития. Многие наивно полагают, что доступа к их компьютеру снаружи никогда не было и никогда не будет.

приводить для "общего развития" заметки ламера-параноика, спихивающего на происки майкрософт подцепленные adware и фейковые страшилки "мега-антиспайвера", обещающего избавление от "встроенного" spyware за n-е кол-во мертвых президентов?

[Павел_17]

1) у многих провайдеров - 1 внешний ип адресс для всех клиентов.

Не у многих, а у единиц. У мелкоты.

и у многих нет лога

Таких еще меньше.
Во-первых, им надо делать учет трафика, чтобы брать с вас денежку. Потому что завтра придет дядя Вася и скажет, что он был в инете на одном сайте, а ему трафика насчитали на 3 тыс. рублей. Без логов как ваш провайдер разговаривает с дядей Васей?
Во-вторых, лог-файлы в сжатом виде не так уж и много места занимают. Обычно не выше 10 Мб в сутки, для мелких провов и того меньше. Вы хотите сказать, что это так разорительно, особенно если учесть, что болванка 4.7 Гб стоит 10-15 руб.

во всяком случае - у моего прова точно нет, знаю т.к. у него работаю

Н-дя...

2) я уже говорил о фильтровании траффика в сторону майкрософт

Не поможет. У него для этих целей несколько серверов, особенно после того, как начались продажи Висты и имеющиеся серваки не выдержали трафика.

пора бы уже забыть тоталитарное прошлое...

Рад бы, но реальность показывает, что рано. По Москве это почувствовали уже довольно много контор.

они возможно знают о драйвере. а возможно и не знают. не выдавайте свою паранойю за истину.

Не думайте о других, что они глупые. Кстати, вы установили файервол и посмотрели сколько приложений пыталось выйти в инет?

авто-обновление я первым делом рублю

Уже смешно. Особенно при включенной опции "Разрешить отправлять уведомления удаленному помощнику", которая по умолчанию включена.
В общем, дерзайте.

Кстати, какое христианское движение вы представляете?

[Xirss]

Не у многих, а у единиц. У мелкоты.

я бы не сказал подавляющее большинство провов использует нат. в крайнем случае - динамический внешний ип, но чаще нат.

Таких еще меньше.
Во-первых, им надо делать учет трафика, чтобы брать с вас денежку. Потому что завтра придет дядя Вася и скажет, что он был в инете на одном сайте, а ему трафика насчитали на 3 тыс. рублей. Без логов как ваш провайдер разговаривает с дядей Васей?
Во-вторых, лог-файлы в сжатом виде не так уж и много места занимают. Обычно не выше 10 Мб в сутки, для мелких провов и того меньше. Вы хотите сказать, что это так разорительно, особенно если учесть, что болванка 4.7 Гб стоит 10-15 руб.

логи прокси-сервера с 10 пользователями на нем - текстовики в районе 20-50 мб в день. представьте себе такое для 1000 человек...

Не поможет. У него для этих целей несколько серверов, особенно после того, как начались продажи Висты и имеющиеся серваки не выдержали трафика.

серверов в любом случае конечное число.

Не думайте о других, что они глупые. Кстати, вы установили файервол и посмотрели сколько приложений пыталось выйти в инет?

ставил. когда анлима не было. не так и много

Уже смешно. Особенно при включенной опции "Разрешить отправлять уведомления удаленному помощнику", которая по умолчанию включена.
В общем, дерзайте.

удаленного помощника я тоже отключаю обычно т.к. не использую. как и половину служб типа upnp и прочих.
да и, мягко говоря, не слышал о "подпольной активности" его... во всяком случае из источников, заслуживающих доверия.

Кстати, какое христианское движение вы представляете?

с чего вы взяли, что я представляю какое-либо движение?

[Павел_17]

логи прокси-сервера с 10 пользователями на нем - текстовики в районе 20-50 мб в день. представьте себе такое для 1000 человек...

Не надо мне рассказывать про логи, они у меня перед глазами каждый день. Сожмите их архиватором и не переживайте. Стоимость хранения 1 Мб каждый день все снижается.
Ничего, что я открою небольшой секрет. Любой из почти тысячи пользователей нашего провайдера могут до сих пор посмотреть свою статистику по трафику за последние пару лет. За отдельную плату можно предоставить ему полную картину посещений с каждого его конкретного IP, поскольку сисадмину нужно чуть поработать пальцами.

Впрочем, я перестаю оффтопить. Приношу всем свои извинения.

с чего вы взяли, что я представляю какое-либо движение?

А тогда какое отношение к этой теме вы лично имеете? Или вы христианин сам по себе?

[Xirss]

Ничего, что я открою небольшой секрет. Любой из почти тысячи пользователей нашего провайдера могут до сих пор посмотреть свою статистику по трафику за последние пару лет. За отдельную плату можно предоставить ему полную картину посещений с каждого его конкретного IP, поскольку сисадмину нужно чуть поработать пальцами.

статистику по траффику с интервалом в несколько минут - да.
детальную статистику - нет.
причина - у нас нет централлизованого учета траффика на 1 шлюзе в инет, учет идет на шлюзах пользователей, и в базу заносятся только значения траффика на протяжении последних N минут.
поверьте, я о провайдере, у которого работаю, знаю больше, чем вы

[Donat]

Немного пооффтоплю

статистику по траффику с интервалом в несколько минут - да.
детальную статистику - нет.
причина - у нас нет централлизованого учета траффика на 1 шлюзе в инет, учет идет на шлюзах пользователей, и в базу заносятся только значения траффика на протяжении последних N минут.

Очень интересно, как решаются тогда спорные моменты "я этого не качал" или просто исследовать атаку.
В вашем примере хорошо подходит схема нескольких сенсоров, сливающих в центральную базу.
Пожалуйста, назовите кол-о пользователей Вашего провайдера - это все определит.

поверьте, я о провайдере, у которого работаю, знаю больше, чем вы

Просто Вы говорите о разных масштабах.
Вот сейчас я решаю проблему перевода учета сети на netflow (вернее, что-то типа гибрида, насколько понял) потому что радиус-сервера мне не хватает - нет информации по направлениям тарификации.

По поводу объемов информации о трафике - буду осваивать общение с ораклом для гигабайтных архивов этого добра.

логи прокси-сервера с 10 пользователями на нем - текстовики в районе 20-50 мб в день. представьте себе такое для 1000 человек...

Они никого не интересуют, если только не изучать контекст посещений, скажем...
Серьезного провайдера интересует агрегация потоков к клиенту и от него. Агрегация такой инфы, по моим представлениям, занимает значительно меньше бесполезных логов сервера (бесполезных с точки зрения серьезного учета).

[Xirss]

Очень интересно, как решаются тогда спорные моменты "я этого не качал" или просто исследовать атаку.

анализом траффика администратором в реальном времени (в случае троянца/кулхацкера) либо демонстрацией клиенту траффика по минимальным интервалам (неск минут).

В вашем примере хорошо подходит схема нескольких сенсоров, сливающих в центральную базу.

так и есть - только учитывается суммарный поток, а не детальная статистика. причина - шлюзы имеют очень ограниченные ресурсы (кое-где - проц на уровне 800 мгц и 64мб памяти), на них запущен линукс, причем все демоны/приложения распаковываются на рамдиск (реально - очень напоминает тонкий клиент, только грузится не по сети а с рид-онли флэш).

Пожалуйста, назовите кол-о пользователей Вашего провайдера - это все определит.

больше 1000

Они никого не интересуют, если только не изучать контекст посещений, скажем...
Серьезного провайдера интересует агрегация потоков к клиенту и от него. Агрегация такой инфы, по моим представлениям, занимает значительно меньше бесполезных логов сервера (бесполезных с точки зрения серьезного учета).

я привел пример того, что получается у меня. не спорю, большое кол-во информации в логах - избыточно.
не спорю, можно было бы сделать на роутерах и детальный учет - но это нужно было бы писать программу (навряд что-то готовое есть), + оно бы прилично сказалось на производительности...
возможно, когда-то это и будет реализовано - пока что провайдер еще довольно молодой...

[Donat]

я привел пример того, что получается у меня. не спорю, большое кол-во информации в логах - избыточно.
не спорю, можно было бы сделать на роутерах и детальный учет - но это нужно было бы писать программу (навряд что-то готовое есть), + оно бы прилично сказалось на производительности...
возможно, когда-то это и будет реализовано - пока что провайдер еще довольно молодой...

Очень странно
Нет, я правда не представлял, что так можно построить общение со сравнительно большим кол-м народа.
Насчет роутеров - никакого изврата не надо - ставится демон, который отсылает раз в n мин. на центральную базу агрегированный траффик (можно назвать сенсором). Половина сбора делается (может делаться) через ядро, поэтому вопрос тока в оперативке и скоростях потока.
Обычно любой сертифицированный биллинг кушает этот вид данных и делает любые вменяемые отчеты.

Насчет ната на клиентах - хорошо, пока никому не надо долбиться извне, пока нет проблем с игрушками и пр. Политика известного мне прова будет как минимум предлагать реальный ip как услугу.

з.ы.
В России до NAT у любого провайдера, который рискнул полностью лицензироваться, все равно должна сидеть волшебная коробочка СОРМ с приблизительной стоимостью от 15 килобаксов - в нее должна как минимум сливаться информация по сессиям с присязкой к физ. лицу. Или же пользоваться реальными ip и СОРМ вышестоящего провайдера

[test]

так и есть - только учитывается суммарный поток, а не детальная статистика. причина - шлюзы имеют очень ограниченные ресурсы (кое-где - проц на уровне 800 мгц и 64мб памяти), на них запущен линукс, причем все демоны/приложения распаковываются на рамдиск (реально - очень напоминает тонкий клиент, только грузится не по сети а с рид-онли флэш).

Рано или поздно сталкнетесь с проблемой: кто-нить вирусяку подхватит, активно "общающейся" с внешним миром без ведома хозяина - и пойдут претензии (если у вас траффик лимитированный).

А что мешает на linux'ах поставить простенькие считалки (я использую ipcad -статистика: кто,откуда,сколько) + сверху скриптики: e.g. 1 раз в сутки переименование лога в date-log... Такие считалки весьма умеренные в аппетитах... Зато потом можно разруливать траблы + вирусы отслеживать, если нездоровая активность у когой-то...

[Павел_17]

Перенес вопросы обсуждения трафика и его контроля сюда. Здесь это уместнее будет, чем в обсуждении может ли христианин пользоваться "пиратским" ПО.