You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-02-11 - 02:24
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Mon Feb 10, 2025 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
157982310272,25sleep10-21swapper/11
156682306269,24sleep00-21swapper/00
156462255188,54sleep30-21swapper/33
157052254185,55sleep20-21swapper/22
1611699172167,3cyclictest29050-21munin-run0
1613099161155,3cyclictest29099-21idleruntime-cro3
1612199148143,3cyclictest29074-21idleruntime-cro1
1612599118112,3cyclictest29097-21sendmail-msp2
66992340,12sleep121-21ksoftirqd/11
1611699340,32cyclictest18477-21kworker/0:20
1612599271,23cyclictest20850-1kworker/2:2H2
126312260,2sleep10-21swapper/11
1612199250,23cyclictest1989-21kworker/1:21
318352240,3sleep0101rcuc/00
16121992418,4cyclictest28623-21awk1
16130992313,5cyclictest15219-21apt-get3
16121992318,3cyclictest2552-21seq1
16121992317,3cyclictest1935-21idleruntime-cro1
304922220,5sleep21612599cyclictest2
1612599223,17cyclictest9264-21cat2
1612599223,17cyclictest27611-21cat2
1612599221,4cyclictest10333-21gdbus2
1612599221,4cyclictest10333-21gdbus2
1612599221,18cyclictest20850-1kworker/2:2H2
1612599221,18cyclictest13514-21apt-config2
1612599220,10cyclictest189982ls2
1612599220,10cyclictest189982ls2
16116992216,3cyclictest14492-21tail0
16116992215,4cyclictest779-21sendmail-mta0
16116992215,4cyclictest28065-21df0
16116992212,6cyclictest18168-21sendmail0
16130992116,3cyclictest8002-21threads3
16130992115,4cyclictest26601-21sed3
16130992114,4cyclictest29729-21sh3
16130992114,4cyclictest2525-21sed3
16130992114,4cyclictest16138-21sh3
16130992113,5cyclictest14861-21tail3
1612599214,16cyclictest4879-21awk2
1612599213,16cyclictest18453-21cat2
1612599212,17cyclictest8385-21cat2
1612599212,17cyclictest27724-21latency_hist2
1612599212,17cyclictest23411-21sendmail-mta2
1612599212,17cyclictest22729-21cat2
16125992116,3cyclictest31367-21aten2_r9power_e2
16125992116,3cyclictest16558-21unixbench_singl2
16125992115,3cyclictest16484-21cpuspeed2
1612599211,4cyclictest20127-1kworker/2:0H2
1612599211,3cyclictest27077-1kworker/2:1H2
1612599211,18cyclictest26658-21apt2
1612599210,4cyclictest6513-21dump-pmu-power2
1612599210,18cyclictest6497-1kworker/2:2H2
16121992115,4cyclictest20479-21idleruntime-cro1
16121992115,4cyclictest20421-21seq1
1611699219,7cyclictest7749-21apt-get0
16116992115,4cyclictest6737-21/usr/sbin/munin0
16116992113,5cyclictest24982-21cron0
16116992111,6cyclictest505-21dbus-daemon0
1611699210,17cyclictest21051-21apt-get0
82182200,1sleep00-21swapper/00
1613099202,16cyclictest12970-21readlink3
1613099201,9cyclictest0-21swapper/33
16130992015,3cyclictest2858-21/usr/sbin/munin3
16130992014,4cyclictest30293-21cut3
16130992014,4cyclictest30263-21apt-get3
16130992014,4cyclictest22101-21ntp_kernel_err3
16130992013,4cyclictest23332-21diskstats3
16130992013,4cyclictest20055-21sed3
1613099200,1cyclictest0-21swapper/33
1613099200,17cyclictest0-21swapper/33
1612599207,11cyclictest0-21swapper/22
1612599202,16cyclictest0-21swapper/22
16125992015,3cyclictest2478-21apt2
16125992015,3cyclictest13213-21acpi2
1612599201,4cyclictest20181-21munin-run2
16125992014,4cyclictest5466-21expr2
16125992014,4cyclictest15768-21awk2
1612599201,17cyclictest29187-21cat2
1612599201,17cyclictest11489-21cat2
1612599201,16cyclictest6314-1kworker/2:1H2
1612599200,18cyclictest0-21swapper/22
1612599200,17cyclictest533-21cron2
16121992015,3cyclictest7130-21irqstats1
16121992015,3cyclictest31837-21gltestperf1
16121992015,3cyclictest31242-21/usr/sbin/munin1
16121992015,3cyclictest28706-21seq1
16121992015,3cyclictest19481-21ls1
16121992015,3cyclictest17250-21apt-get1
16121992015,3cyclictest17250-21apt-get1
16121992015,3cyclictest15639-21sh1
16121992014,4cyclictest8611-21seq1
16121992014,4cyclictest4015-21seq1
16121992014,4cyclictest32619-21cat1
16121992014,4cyclictest31469-21seq1
16121992014,4cyclictest22207-21seq1
16121992014,3cyclictest2422-21sed1
16121992013,4cyclictest21332-21sh1
16121992013,4cyclictest17090-21cat1
16121992013,4cyclictest12301-21sh1
1612199200,19cyclictest0-21swapper/11
16116992018,1cyclictest0-21swapper/00
16116992018,1cyclictest0-21swapper/00
16116992014,4cyclictest6374-21seq0
16116992014,4cyclictest25691-21tr0
16116992013,4cyclictest9154-21cron0
16116992013,4cyclictest3430-21grep0
16116992012,5cyclictest23372-21cron0
16116992010,6cyclictest4224-21sendmail-mta0
145102200,4sleep121-21ksoftirqd/11
16130991914,3cyclictest7729-21sed3
16130991914,3cyclictest4747-21cat3
16130991914,3cyclictest31948-21sed3
16130991914,3cyclictest2022-21sed3
16130991914,3cyclictest14494-21memory3
16130991914,3cyclictest10263-21ntp_kernel_pll_3
16130991913,4cyclictest23391-21turbostat3
16130991913,4cyclictest14639-21sshd3
16130991913,4cyclictest10264-21cut3
16130991913,3cyclictest28791-21sed3
16130991912,5cyclictest505-21dbus-daemon3
16130991912,4cyclictest505-21dbus-daemon3
16130991911,5cyclictest505-21dbus-daemon3
16125991914,3cyclictest7265-21cat2
16125991914,3cyclictest31394-21sed2
16125991914,3cyclictest30387-21switchtime2
16125991914,3cyclictest25648-21expr2
16125991914,3cyclictest2046-21sed2
16125991914,3cyclictest20309-21seq2
16125991913,4cyclictest8180-21diskstats2
16125991913,4cyclictest6368-21date2
16125991913,4cyclictest6368-21date2
16125991913,4cyclictest24983-21cron2
16125991913,4cyclictest23814-21pluginstate2
16125991913,4cyclictest2381-21basename2
16125991913,3cyclictest863-21sshd2
16125991913,3cyclictest31908-21kernelversion2
16125991912,4cyclictest9837-21df_inode2
1612599191,16cyclictest10597-1kworker/2:0H2
1612599190,17cyclictest14123-21cat2
1612199198,6cyclictest3118-21apt-get1
16121991915,2cyclictest9399-21/usr/sbin/munin1
16121991915,2cyclictest23236-21/usr/sbin/munin1
16121991914,3cyclictest7196-21fw_packets1
16121991914,3cyclictest5315-21ntpq1
16121991914,3cyclictest5315-21ntpq1
16121991914,3cyclictest5127-21/usr/sbin/munin1
16121991914,3cyclictest29634-21seq1
16121991914,3cyclictest2844-21seq1
16121991914,3cyclictest26307-21seq1
16121991914,3cyclictest24470-21seq1
16121991914,3cyclictest2077-21cpuspeed_turbos1
16121991914,3cyclictest19765-21sh1
16121991914,3cyclictest10155-21which1
16121991913,4cyclictest11390-21seq1
16121991913,3cyclictest30245-21/usr/sbin/munin1
1612199190,17cyclictest21311-21cut1
1611699195,4cyclictest0-21swapper/00
16116991916,2cyclictest0-21swapper/00
16116991916,2cyclictest0-21swapper/00
16116991914,3cyclictest29067-21switchtime0
16116991914,3cyclictest2082-21systemd-journal0
16116991914,3cyclictest18127-21ntp_states0
16116991914,3cyclictest18127-21ntp_states0
16116991914,3cyclictest11896-21sed0
16116991913,3cyclictest4172-21grep0
16116991913,3cyclictest2082-21systemd-journal0
16116991912,4cyclictest58150irq/130-enp2s00
1611699191,16cyclictest31815-21latency_hist0
16116991911,4cyclictest505-21dbus-daemon0
1611699190,16cyclictest31260-21apt-get0
1611699190,16cyclictest2082-21systemd-journal0
1613099184,8cyclictest23254-21apt-get3
1613099182,8cyclictest8251-21apt-get3
16130991814,2cyclictest31126-21sed3
16130991813,3cyclictest30133-21sed3
16130991813,3cyclictest26391-21cat3
16130991813,3cyclictest21535-21if_err_enp3s03
16130991813,3cyclictest20706-21/usr/sbin/munin3
16130991812,4cyclictest32498-21sed3
16130991812,4cyclictest1405-21wc3
16130991811,4cyclictest9497-21cron3
1613099181,14cyclictest505-21dbus-daemon3
16130991811,4cyclictest20179-21latency_hist3
16130991810,5cyclictest13161-21cron3
16125991814,2cyclictest20999-21aten2_r9power_p2
16125991814,2cyclictest20807-21latency_hist2
16125991813,3cyclictest6825-21aten2_r9power_p2
16125991813,3cyclictest3247-21cat2
16125991813,3cyclictest25374-21apt-get2
16125991813,3cyclictest23744-21latency2
16125991813,3cyclictest23620-21/usr/sbin/munin2
1612599180,16cyclictest0-21swapper/22
16121991814,2cyclictest29322-21/usr/sbin/munin1
16121991814,2cyclictest21050-21apt1
16121991813,3cyclictest8902-21seq1
16121991813,3cyclictest29630-21expr1
16121991813,3cyclictest28017-21expr1
16121991813,3cyclictest25964-21cat1
16121991813,3cyclictest25797-21idleruntime1
16121991813,3cyclictest17874-21seq1
16121991813,2cyclictest665-21runrttasks1
16121991812,4cyclictest757-21cat1
16121991812,4cyclictest5638-21sh1
16121991812,4cyclictest14110-21sh1
1612199181,16cyclictest0-21swapper/11
16121991811,5cyclictest8688-21grep1
16121991810,5cyclictest1-21systemd1
1611699189,7cyclictest983-21aten2_r9power_p0
1611699182,1cyclictest0-21swapper/00
16116991816,1cyclictest0-21swapper/00
16116991816,1cyclictest0-21swapper/00
16116991813,3cyclictest9757-21expr0
16116991813,3cyclictest9137-21sed0
16116991813,3cyclictest27719-21cron0
16116991813,3cyclictest20179-21latency_hist0
16116991812,4cyclictest665-21runrttasks0
16116991812,4cyclictest665-21runrttasks0
16116991812,4cyclictest1723-21sed0
16116991812,4cyclictest16472-21cat0
16116991812,3cyclictest24440-21needreboot0
16116991812,3cyclictest1826-21acpi0
1611699181,15cyclictest30273-21pmu-power0
16116991811,4cyclictest5665-21missed_timers0
16116991811,4cyclictest505-21dbus-daemon0
16116991811,4cyclictest23033-21aten2.4-expect0
16116991811,4cyclictest0-21swapper/00
1611699180,15cyclictest19426-21sort0
16130991715,1cyclictest0-21swapper/33
16130991714,2cyclictest0-21swapper/33
16130991713,2cyclictest17232-21/usr/sbin/munin3
16130991713,2cyclictest17232-21/usr/sbin/munin3
16130991712,3cyclictest665-21runrttasks3
16130991712,3cyclictest665-21runrttasks3
16130991712,3cyclictest32529-21unixbench_multi3
16130991712,3cyclictest16630-21cpuspeed3
16130991711,4cyclictest19588-21open_files3
16130991711,3cyclictest665-21runrttasks3
1613099170,16cyclictest0-21swapper/33
1613099170,15cyclictest0-21swapper/33
1613099170,15cyclictest0-21swapper/33
1613099170,15cyclictest0-21swapper/33
1612599173,9cyclictest21051-21apt-get2
16125991715,1cyclictest0-21swapper/22
16125991712,3cyclictest23001-21sh2
1612599170,16cyclictest0-21swapper/22
1612599170,15cyclictest4194-21latency_hist2
1612199179,3cyclictest7480-21cron1
16121991713,2cyclictest18493-21aten2_r9power_e1
16121991712,3cyclictest23674-21sh1
16121991712,3cyclictest23478-21cat1
16121991711,4cyclictest17792-21seq1
16121991711,4cyclictest13805-21seq1
16116991713,2cyclictest29243-21/usr/sbin/munin0
16116991713,2cyclictest23029-21/usr/sbin/munin0
16116991712,3cyclictest665-21runrttasks0
16116991712,3cyclictest653-21sed0
16116991712,3cyclictest21509-21cat0
16116991712,3cyclictest18212-21munin-node0
16116991711,4cyclictest8121-21cat0
16116991710,4cyclictest2082-21systemd-journal0
1613099163,7cyclictest23639-21apt-get3
16130991614,1cyclictest0-21swapper/33
16130991612,2cyclictest665-21runrttasks3
16130991611,3cyclictest7176-21df_inode3
16130991611,3cyclictest665-21runrttasks3
16130991611,3cyclictest6272-21vmstat3
16130991610,4cyclictest12885-21cat3
1613099160,1cyclictest0-21swapper/33
1612599160,1cyclictest0-21swapper/22
16116991612,2cyclictest665-21runrttasks0
16116991611,3cyclictest665-21runrttasks0
16116991611,3cyclictest665-21runrttasks0
1611699160,1cyclictest0-21swapper/00
16130991510,3cyclictest20225-21processes3
16130991510,3cyclictest1855-21cat3
1612199159,4cyclictest16235-21date1
16121991510,3cyclictest507-21cron1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional