You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-11-12 - 10:40
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Nov 12, 2024 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
65802313276,25sleep10-21swapper/11
66822279241,25sleep20-21swapper/22
686299277271,4cyclictest11400-21sendmail0
66322234197,24sleep30-21swapper/33
64312231193,25sleep00-21swapper/00
687099199193,4cyclictest11397-21perf2
687599173168,3cyclictest11379-21munin-run3
59992460,2sleep30-21swapper/33
59992460,2sleep30-21swapper/33
261132430,1sleep00-21swapper/00
6870994115,10cyclictest29924-21sed2
6870994115,10cyclictest29924-21sed2
6870994015,9cyclictest24521-21sed2
6870993914,9cyclictest6014-21sed2
6870993913,8cyclictest20164-21grep2
687099378,15cyclictest0-21swapper/22
6870993717,17cyclictest11555-21munin-run2
6870993711,9cyclictest23576-21chrt2
6870993711,9cyclictest13354-21chrt2
6870993711,10cyclictest2946-21chrt2
6870993710,9cyclictest17215-21chrt2
6870993710,10cyclictest1011-21chrt2
6870993610,9cyclictest4980-21taskset2
6870993610,9cyclictest3093-21chrt2
6870993610,9cyclictest21110-21chrt2
6870993610,8cyclictest27286-21chrt2
6870993610,10cyclictest7116-21chrt2
6870993515,17cyclictest19262-21sendmail-msp2
6870993512,9cyclictest6696-21awk2
6870993512,9cyclictest6696-21awk2
6870993511,9cyclictest25490-21chrt2
6870993511,9cyclictest19304-21chrt2
6870993510,9cyclictest131192sleep22
6870993510,8cyclictest13299-21chrt2
6870993510,11cyclictest3699-21cat2
687099349,9cyclictest29461-21chrt2
687099349,11cyclictest9219-21chrt2
6870993411,9cyclictest29297-21chrt2
6870993411,8cyclictest10476-21grep2
687599333,7cyclictest35-21ksoftirqd/33
687099338,9cyclictest170802sleep22
687099338,9cyclictest150152sleep22
6870993314,16cyclictest9174-21munin-run2
6870993310,9cyclictest9474-21chrt2
686799330,31cyclictest32275-21kworker/1:31
687099329,9cyclictest19298-21chrt2
687099329,8cyclictest0-21swapper/22
687099328,9cyclictest0-21swapper/22
687099327,9cyclictest0-21swapper/22
687099327,9cyclictest0-21swapper/22
6870993211,8cyclictest11483-21chrt2
6870993210,8cyclictest23414-21taskset2
687099319,9cyclictest11192-21taskset2
687099318,9cyclictest0-21swapper/22
687099318,8cyclictest0-21swapper/22
6875993011,10cyclictest35-21ksoftirqd/33
687099308,9cyclictest0-21swapper/22
687099307,8cyclictest0-21swapper/22
687099307,8cyclictest0-21swapper/22
6870993010,8cyclictest31733-21runrttasks2
687099297,9cyclictest0-21swapper/22
687099297,6cyclictest15847-21apt-get2
687599281,7cyclictest35-21ksoftirqd/33
687099288,7cyclictest0-21swapper/22
687099287,19cyclictest0-21swapper/22
6870992819,5cyclictest23419-21sendmail2
6870992810,15cyclictest32605-21tr2
687599278,9cyclictest35-21ksoftirqd/33
687599277,9cyclictest35-21ksoftirqd/33
687599275,3cyclictest111rcu_preempt3
6870992713,11cyclictest21726-21chrt2
6870992712,12cyclictest27720-21sed2
687599266,9cyclictest35-21ksoftirqd/33
687099268,6cyclictest7774-21apt-get2
687099261,18cyclictest0-21swapper/22
6870992517,5cyclictest505-21dbus-daemon2
6870992517,5cyclictest4721-21ntpq2
6870992516,6cyclictest8786-21munin-plugin-st2
6870992515,7cyclictest27735-21apt2
6870992511,12cyclictest31597-21taskset2
686799251,6cyclictest0-21swapper/11
686799251,6cyclictest0-21swapper/11
263592250,4sleep1686799cyclictest1
687599242,6cyclictest35-21ksoftirqd/33
6870992416,5cyclictest3761-21grep2
6870992416,5cyclictest24102-21sort2
6870992415,6cyclictest22734-21ntp_states2
6870992415,6cyclictest16841-21ls2
132072240,2sleep30-21swapper/33
687599235,9cyclictest35-21ksoftirqd/33
687599234,10cyclictest35-21ksoftirqd/33
687599233,6cyclictest35-21ksoftirqd/33
687599232,7cyclictest35-21ksoftirqd/33
6875992319,3cyclictest341rcuc/33
6875992319,2cyclictest341rcuc/33
6875992310,3cyclictest35-21ksoftirqd/33
6870992315,5cyclictest23920-21cut2
6870992314,6cyclictest19259-21grep2
687599224,5cyclictest0-21swapper/33
687599223,5cyclictest0-21swapper/33
687599222,7cyclictest35-21ksoftirqd/33
687599221,7cyclictest35-21ksoftirqd/33
687599221,6cyclictest35-21ksoftirqd/33
6870992211,7cyclictest0-21swapper/22
6867992211,6cyclictest13653-21apt-get1
6867992211,6cyclictest13653-21apt-get1
687599218,2cyclictest111rcu_preempt3
687599215,7cyclictest35-21ksoftirqd/33
687599215,4cyclictest35-21ksoftirqd/33
687599212,5cyclictest0-21swapper/33
6875992117,2cyclictest341rcuc/33
687599211,6cyclictest35-21ksoftirqd/33
687599211,6cyclictest35-21ksoftirqd/33
687599211,6cyclictest0-21swapper/33
6875992116,3cyclictest35-21ksoftirqd/33
6875992115,4cyclictest2039-21if_err_enp3s03
6875992114,4cyclictest21629-21basename3
687599210,7cyclictest35-21ksoftirqd/33
687599210,6cyclictest35-21ksoftirqd/33
687599210,6cyclictest35-21ksoftirqd/33
686799219,10cyclictest505-21dbus-daemon1
686799218,8cyclictest3461-21apt-get1
6867992116,3cyclictest21-21ksoftirqd/11
6867992114,4cyclictest8332-21awk1
6867992113,5cyclictest7231-21cron1
6867992113,5cyclictest505-21dbus-daemon1
6867992113,5cyclictest10333-21gdbus1
6867992110,6cyclictest28588-21seq1
6867992110,6cyclictest28588-21seq1
686299218,5cyclictest2082-21systemd-journal0
6862992116,3cyclictest7520-21seq0
6862992116,3cyclictest31839-21acpi0
6862992116,3cyclictest2376-21cut0
6862992116,3cyclictest16075-21expr0
6862992113,5cyclictest30791-21cut0
296482210,1sleep10-21swapper/11
6875992017,2cyclictest341rcuc/33
6875992015,3cyclictest8850-21gzip3
6875992015,3cyclictest20007-21aten2_r9power_p3
6875992015,3cyclictest16995-21seq3
6875992014,4cyclictest35-21ksoftirqd/33
6875992014,4cyclictest30298-21expr3
6875992014,4cyclictest27854-21find3
6875992014,4cyclictest24766-21ntpq3
6875992014,3cyclictest2082-21systemd-journal3
6875992013,5cyclictest27615-40mandb3
6867992017,2cyclictest0-21swapper/11
6867992014,4cyclictest559-21sed1
6867992014,4cyclictest2169-21expr1
6867992013,5cyclictest19586-21grep1
6867992013,4cyclictest19605-21idleruntime-cro1
6867992013,4cyclictest10333-21gdbus1
6867992011,5cyclictest505-21dbus-daemon1
686799200,4cyclictest0-21swapper/11
686799200,4cyclictest0-21swapper/11
6862992016,3cyclictest29857-21apt0
6862992016,2cyclictest31912-21/usr/sbin/munin0
6862992015,3cyclictest9-21ksoftirqd/00
6862992015,3cyclictest4366-21open_inodes0
6862992015,3cyclictest3498-21apt-get0
6862992015,3cyclictest20737-21sh0
6862992015,3cyclictest17452-21/usr/sbin/munin0
6862992015,3cyclictest1451-21aten2_r9power_e0
6862992014,4cyclictest505-21dbus-daemon0
686299200,17cyclictest5992-21grep0
686299200,17cyclictest25725-21cat0
60772200,2sleep0101rcuc/00
60772200,2sleep0101rcuc/00
226502200,1sleep00-21swapper/00
18042200,3sleep31896-21diskstats3
687599194,7cyclictest111rcu_preempt3
6875991914,3cyclictest35-21ksoftirqd/33
6875991914,3cyclictest27983-21acpi3
6875991914,3cyclictest27983-21acpi3
6875991914,3cyclictest24408-21ls3
6875991914,3cyclictest19405-21latency_hist3
6875991914,3cyclictest12196-21ls3
6875991913,4cyclictest26339-21cat3
6875991913,4cyclictest26339-21cat3
687599191,2cyclictest35-21ksoftirqd/33
6875991912,4cyclictest31757-21cat3
686799193,9cyclictest1433-21apt-get1
686799192,12cyclictest0-21swapper/11
6867991916,2cyclictest0-21swapper/11
6867991916,2cyclictest0-21swapper/11
6867991916,2cyclictest0-21swapper/11
6867991916,1cyclictest0-21swapper/11
6867991914,3cyclictest8378-21grep1
6867991914,3cyclictest5468-21/usr/sbin/munin1
6867991914,3cyclictest14210-21cat1
6867991914,3cyclictest13877-21/usr/sbin/munin1
6867991913,4cyclictest9858-21cut1
6867991913,4cyclictest8596-21cat1
6867991913,4cyclictest543-21sed1
6867991913,4cyclictest28102-21cat1
6867991913,3cyclictest16960-21xargs1
6867991912,4cyclictest7897-21aten2.4-expect1
6867991912,4cyclictest665-21runrttasks1
6867991912,4cyclictest505-21dbus-daemon1
6867991912,4cyclictest3206-21latency_hist1
6867991912,4cyclictest11842-21expr1
6867991911,5cyclictest505-21dbus-daemon1
6862991915,2cyclictest32028-21cpu0
6862991915,2cyclictest21938-21aten2_r9power_p0
6862991914,3cyclictest9857-21/usr/sbin/munin0
6862991914,3cyclictest9789-21acpi0
6862991914,3cyclictest8497-21if_err_enp3s00
6862991914,3cyclictest27487-21seq0
6862991914,3cyclictest27074-21cat0
6862991914,3cyclictest27074-21cat0
6862991914,3cyclictest22707-21ntpq0
6862991914,3cyclictest1683-21cpuspeed0
6862991914,3cyclictest13634-21/usr/sbin/munin0
6862991914,3cyclictest13634-21/usr/sbin/munin0
6862991914,3cyclictest12219-21cat0
6862991914,3cyclictest11693-21ls0
6862991913,4cyclictest8931-21ls0
6862991913,4cyclictest505-21dbus-daemon0
6862991913,4cyclictest31031-21find0
6862991913,4cyclictest25665-21wc0
6862991913,4cyclictest20537-21cut0
6862991913,4cyclictest19605-21idleruntime-cro0
6862991913,4cyclictest19369-21seq0
6862991913,4cyclictest12243-21cat0
6862991913,4cyclictest12016-21expr0
6862991912,4cyclictest2082-21systemd-journal0
687599181,5cyclictest0-21swapper/33
6875991814,2cyclictest17820-21/usr/sbin/munin3
6875991813,3cyclictest8876-21cat3
6875991812,4cyclictest9803-21date3
6875991812,4cyclictest14725-21cat3
6875991812,4cyclictest14725-21cat3
6875991812,3cyclictest15651-21acpi3
687599180,9cyclictest35-21ksoftirqd/33
687599180,6cyclictest0-21swapper/33
687599180,5cyclictest0-21swapper/33
686799183,9cyclictest5450-21apt-get1
686799183,9cyclictest23847-21apt-get1
686799183,9cyclictest15668-21apt-get1
6867991816,1cyclictest0-21swapper/11
6867991816,1cyclictest0-21swapper/11
6867991815,2cyclictest0-21swapper/11
6867991814,2cyclictest11821-21/usr/sbin/munin1
6867991813,3cyclictest665-21runrttasks1
6867991813,3cyclictest665-21runrttasks1
6867991813,3cyclictest4490-21sed1
6867991813,3cyclictest31838-21/usr/sbin/munin1
6867991813,3cyclictest23719-21date1
6867991813,3cyclictest21246-21sed1
6867991813,3cyclictest19676-21/usr/sbin/munin1
6867991813,3cyclictest17888-21/usr/sbin/munin1
6867991813,3cyclictest13281-21seq1
6867991812,3cyclictest19655-21apt-key1
686799180,16cyclictest13441-21/usr/sbin/munin1
6862991813,3cyclictest7348-21cpuspeed_turbos0
6862991813,3cyclictest7253-21cut0
6862991813,3cyclictest665-21runrttasks0
6862991813,3cyclictest29868-21/usr/sbin/munin0
6862991813,3cyclictest29700-21latency_hist0
6862991813,3cyclictest28262-21expr0
6862991813,3cyclictest23124-21timerwakeupswit0
6862991813,3cyclictest20564-21kernelversion0
6862991813,3cyclictest16667-21cat0
6862991813,3cyclictest16243-21wc0
6862991813,3cyclictest13882-21seq0
6862991812,4cyclictest32684-21cat0
6862991812,4cyclictest27359-21seq0
6862991812,3cyclictest9463-21sh0
686799178,5cyclictest25852-21apt-get1
686799173,8cyclictest1472-21apt-get1
6867991715,1cyclictest0-21swapper/11
6867991712,3cyclictest22002-21cstates1
6867991712,2cyclictest13639-21latency_hist1
686299173,8cyclictest27871-21apt-get0
6862991713,2cyclictest7678-21cpuspeed_turbos0
6862991713,2cyclictest7581-21apt-config0
6862991713,2cyclictest19676-21/usr/sbin/munin0
6862991713,2cyclictest1413-21/usr/sbin/munin0
6862991712,3cyclictest16618-21wc0
6862991712,3cyclictest14260-21needreboot0
686799168,4cyclictest505-21dbus-daemon1
686299169,5cyclictest0-21swapper/00
686299169,5cyclictest0-21swapper/00
6862991611,3cyclictest24552-21if_enp2s00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional