You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-20 - 13:05

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #c, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackcslot4s.osadl.org (updated Sat Apr 20, 2024 00:44:19)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2457499341,12cyclictest3009-21apt-get19:40:163
2455899281,16cyclictest0-21swapper/021:00:260
24570992718,5cyclictest24399-21latency_hist22:25:012
2455899263,6cyclictest0-21swapper/023:20:160
2455899262,8cyclictest17190-21watchprog-snmpd23:42:250
2455899262,18cyclictest28127-21apt-get00:10:100
2455899261,8cyclictest0-21swapper/022:20:000
24558992614,9cyclictest20999-21latency_hist23:50:000
24558992614,5cyclictest2290-21apt-get19:40:120
2455899260,15cyclictest0-21swapper/020:30:120
2455899260,10cyclictest0-21swapper/019:45:130
2457499251,20cyclictest25094-21apt-get22:25:133
2457499251,20cyclictest2353-21python319:40:013
24574992510,13cyclictest26302-21basename00:05:013
2457499250,22cyclictest11270-40apt-check23:20:063
24570992515,8cyclictest27299-21cat19:15:172
2455899251,9cyclictest24605-21/usr/sbin/munin19:10:190
2455899251,6cyclictest1441-21apt-get21:15:090
24558992516,3cyclictest32006-21lsb_release21:10:000
24558992515,5cyclictest10778-21munin-run23:20:000
24558992413,4cyclictest23006-21apt-get22:20:080
24574992313,8cyclictest26998-21cat00:05:153
24574992313,8cyclictest26998-21cat00:05:153
2457499230,6cyclictest31354-21latency_hist22:44:593
2456299230,7cyclictest22772-21munin-run22:20:001
2455899231,5cyclictest7856-21apt-get19:55:180
24558992314,6cyclictest11290-21systemd-cgroups21:45:010
24558992313,7cyclictest27888-21cron00:10:010
24558992313,7cyclictest27888-21cron00:10:010
24558992313,5cyclictest5771-21python323:05:010
2455899230,8cyclictest0-21swapper/019:15:150
2457499221,18cyclictest22793-21lsb_release22:20:003
2457499221,18cyclictest10990-21python321:45:003
2456299223,4cyclictest19-21ksoftirqd/123:10:171
24562992213,7cyclictest31087-21cat21:05:181
2456299220,8cyclictest19-21ksoftirqd/122:25:141
2456299220,7cyclictest1990-21sshd00:29:511
2455899229,8cyclictest7683-21date19:55:010
2455899226,12cyclictest4876-21wc00:35:300
2455899222,6cyclictest9-21ksoftirqd/020:20:170
2455899221,8cyclictest0-21swapper/000:27:550
24558992217,3cyclictest5370-21needreboot21:25:150
24558992215,4cyclictest14494-21idleruntime-cro23:29:590
24558992211,7cyclictest2552-21dpkg19:40:000
24558992211,6cyclictest22455-21apt-get20:40:110
2455899220,7cyclictest9-21ksoftirqd/020:39:490
2457499213,16cyclictest3825-21latency_hist23:00:013
2457499212,6cyclictest767-21apt-get22:50:113
24574992116,3cyclictest9260-21turbostat20:00:003
24574992114,5cyclictest30247-21df19:25:123
24574992114,5cyclictest2885-21sed00:30:163
24574992114,5cyclictest16426-21expr23:35:133
24574992113,6cyclictest16340-21sed22:00:013
2457499210,3cyclictest31159-21lsb_release00:20:003
2457499210,18cyclictest24426-21python322:25:013
2457099212,14cyclictest11464-21apt-get23:20:172
24570992114,5cyclictest20201-21snmp_o5powerctl20:30:252
24570992113,5cyclictest3648-21lsb_release00:35:002
2457099210,19cyclictest4936-21wc00:35:302
24562992116,3cyclictest22571-21dump-pmu-power23:55:011
24562992114,5cyclictest31535-21ls00:20:111
24562992114,5cyclictest18991-21basename20:30:001
24562992113,6cyclictest31066-21users00:15:321
24562992113,6cyclictest19620-21cut22:10:011
2455899219,9cyclictest16089-21apt23:34:590
2455899212,13cyclictest7573-21latency_hist23:10:010
24558992111,7cyclictest302-21systemd-journal21:00:000
2455899211,16cyclictest17969-21cut20:25:180
24558992111,3cyclictest24115-21apt-get20:45:120
24558992111,3cyclictest22800-21apt-get23:55:080
2455899210,7cyclictest9-21ksoftirqd/021:30:210
2457499209,9cyclictest29720-21idleruntime-cro22:39:593
2457499202,13cyclictest15971-21apt-get20:20:103
24574992016,2cyclictest18662-21threads20:25:283
24574992014,4cyclictest26797-21sed20:50:293
24574992013,6cyclictest7710-21munin-plugin-st21:35:003
24574992013,5cyclictest32510-21awk19:30:233
24574992013,5cyclictest31994-21sed22:45:213
24574992013,5cyclictest31523-21expr00:20:123
24574992013,5cyclictest28488-21grep00:10:143
24574992013,5cyclictest23229-21ls23:55:133
24574992013,5cyclictest22753-21sed23:55:003
24574992013,5cyclictest19854-21cat22:10:113
24574992013,5cyclictest13549-21awk23:25:173
2457499201,2cyclictest16090-21munin-run23:35:003
24574992012,6cyclictest22608-21expr20:40:133
2457499201,17cyclictest19063-21expr22:05:233
2457499200,18cyclictest20648-21cat20:35:003
2457499200,18cyclictest15737-21latency_hist20:20:013
2457099202,12cyclictest13262-21apt-get21:50:102
24570992014,3cyclictest15741-21munin-plugin-st20:20:002
24570992013,5cyclictest5547-21cat23:05:002
24570992013,5cyclictest27742-21sed22:30:262
24570992013,5cyclictest10289-21awk21:40:182
24570992012,6cyclictest25911-21expr20:50:182
24570992012,6cyclictest25115-21snmp_o5powerctl20:45:262
2457099201,13cyclictest18134-21apt-get22:05:102
2457099201,13cyclictest17589-21apt-get20:25:142
2456299202,5cyclictest19-21ksoftirqd/120:20:161
24562992015,3cyclictest9554-21sh23:15:171
24562992015,3cyclictest5631-21apt-key23:05:001
24562992015,3cyclictest23487-21if_err_enp2s022:20:151
24562992013,5cyclictest3771-21sed00:35:011
24562992013,5cyclictest29077-21ntpq22:35:181
24562992013,5cyclictest27432-21ntp_kernel_err22:30:191
24562992012,6cyclictest27649-21perl20:55:141
24562992011,6cyclictest17506-21sensors_temp22:00:221
2456299200,7cyclictest19-21ksoftirqd/121:45:131
2456299200,18cyclictest25247-21cat20:45:281
2455899209,8cyclictest16309-21touch22:00:010
2455899201,7cyclictest0-21swapper/022:48:500
2455899201,7cyclictest0-21swapper/022:37:520
2455899201,6cyclictest9-21ksoftirqd/020:50:250
24558992011,3cyclictest29746-21apt-get00:15:120
24558992011,3cyclictest26709-21apt-get22:30:100
24558992011,3cyclictest11103-21apt-get20:05:090
24558992010,7cyclictest9174-21latency_hist23:15:010
24558992010,7cyclictest17699-21cron23:40:000
24558992010,6cyclictest643-21munin-run19:34:590
24558992010,4cyclictest24907-40apt-check22:25:060
2455899200,7cyclictest9-21ksoftirqd/022:40:200
2455899200,6cyclictest9-21ksoftirqd/000:22:550
2457499192,15cyclictest30377-21latency_hist21:05:013
24574991914,3cyclictest10750-21apt-get23:20:003
24574991912,5cyclictest6994-21ntpq19:50:233
24574991912,5cyclictest4986-21cat00:35:303
24574991912,5cyclictest1568-21expr21:15:113
24574991912,5cyclictest13814-21sed21:50:163
24574991911,6cyclictest24716-21sed20:45:203
24574991911,5cyclictest19754-21df23:45:123
2457499191,14cyclictest4625-21apt-get19:45:113
2457499191,13cyclictest4065-21apt-get23:00:123
2457499191,13cyclictest20820-21apt-get20:35:113
2457499191,12cyclictest30605-21apt-get21:05:143
2457499191,12cyclictest26810-21apt-get19:15:123
2457499190,2cyclictest19355-21perf23:44:593
2457499190,2cyclictest14120-21perf20:15:013
24570991914,3cyclictest7293-21timerwakeupswit23:05:242
24570991914,3cyclictest29810-21cpuspeed_turbos00:15:152
24570991914,3cyclictest17232-21sendmail_mailqu23:35:232
24570991913,4cyclictest3610-21cut21:20:202
24570991912,5cyclictest8416-21sed19:55:242
24570991912,5cyclictest7166-21which19:50:262
24570991912,5cyclictest6963-21cat21:30:182
24570991912,5cyclictest4027-21grep19:40:292
24570991912,5cyclictest32045-21awk22:45:222
24570991912,5cyclictest29349-21unixbench_multi00:10:252
24570991912,5cyclictest18277-21fw_packets23:40:132
24570991911,5cyclictest20495-21expr23:45:232
2457099191,13cyclictest9364-21apt-get23:15:162
2457099191,13cyclictest24384-21cron22:25:132
2457099191,13cyclictest14879-21apt-get21:55:132
2457099191,12cyclictest31676-21apt-get19:30:142
2457099191,12cyclictest28446-21apt-get19:20:092
2457099190,6cyclictest104050lldpd19:37:572
2456299193,4cyclictest19-21ksoftirqd/119:10:181
2456299192,5cyclictest0-21swapper/121:50:241
24562991915,2cyclictest8774-21sendmail_mailqu19:55:291
24562991915,2cyclictest6641-21gltestperf21:30:141
24562991915,2cyclictest29855-21processes21:00:221
24562991915,2cyclictest20254-21kernelversion22:10:161
24562991914,3cyclictest24374-21latency_hist00:00:001
24562991912,5cyclictest984-21diskstats22:50:131
24562991912,5cyclictest6142-21cat19:50:001
24562991912,5cyclictest4622-21date21:25:001
24562991912,5cyclictest4282-21grep00:35:171
24562991912,5cyclictest32086-21expr19:30:171
24562991912,5cyclictest31732-21expr22:45:161
24562991912,5cyclictest18407-21if_enp2s023:40:151
24562991912,5cyclictest16166-21cut23:34:591
24562991911,6cyclictest2025-21cat19:35:261
24562991911,5cyclictest11301-21diskstats20:05:191
2456299190,7cyclictest19-21ksoftirqd/121:40:201
2456299190,3cyclictest19-21ksoftirqd/123:45:271
2455899198,8cyclictest4502-21basename21:25:000
2455899198,8cyclictest20105-21gltestperf22:10:140
2455899197,9cyclictest2035-21grep22:50:250
2455899192,13cyclictest29724-21head19:20:240
2455899192,12cyclictest9490-21apt-get20:00:100
24558991913,4cyclictest32260-21cpu21:10:110
2455899191,13cyclictest7933-21apt-get21:35:110
2455899191,13cyclictest7933-21apt-get21:35:110
2455899191,13cyclictest2236-21apt-get00:30:100
24558991910,5cyclictest10955-21perf21:45:000
24574991814,2cyclictest9158-21unixbench_multi21:35:253
24574991814,2cyclictest9158-21unixbench_multi21:35:253
24574991814,2cyclictest2068-21cat00:30:003
24574991813,3cyclictest29844-21turbostat19:24:593
24574991813,3cyclictest17905-21turbostat22:05:013
24574991811,5cyclictest24600-21cut19:10:013
24574991811,5cyclictest10865-21cron20:05:003
2457499181,13cyclictest24608-21apt-get19:10:153
2457499181,11cyclictest11652-21apt-get21:45:133
2457499180,8cyclictest28347-21snmp_o5powerctl20:55:223
2457499180,6cyclictest6010-21apt-config23:05:013
2457499180,16cyclictest28098-21latency_hist22:35:003
2457099185,2cyclictest111rcu_preempt20:35:142
24570991814,2cyclictest30060-21/usr/sbin/munin19:25:162
24570991812,4cyclictest18061-21ls22:05:012
24570991811,5cyclictest22902-21cat23:55:112
24570991811,5cyclictest16026-21wc20:20:112
24570991811,5cyclictest13241-21expr23:25:132
24570991811,5cyclictest12635-21grep21:45:282
2457099181,13cyclictest8739-21snmp_o5powerctl23:10:212
2457099181,13cyclictest5618-21snmp_o5powerctl19:45:232
2457099181,13cyclictest30961-21snmp_o5powerctl22:40:272
2457099181,12cyclictest573-21apt-get00:25:112
2457099181,12cyclictest4704-21apt-get21:25:112
2457099181,12cyclictest31388-21apt-get00:20:102
2457099181,12cyclictest2428-21apt-get22:55:112
2457099181,12cyclictest21187-21apt-get23:50:112
2457099181,12cyclictest19751-21apt-get22:10:112
24562991814,2cyclictest5631-21sendmail_mailst21:25:211
24562991814,2cyclictest30667-21missed_timers19:25:181
24562991814,2cyclictest27739-21sendmail_mailst19:15:241
24562991812,4cyclictest2716-21unixbench_singl21:15:261
24562991812,4cyclictest19399-21df20:30:131
24562991812,4cyclictest13936-21proc_pri23:25:211
24562991811,5cyclictest6429-21grep23:05:141
24562991811,5cyclictest3030-21memory22:55:151
24562991811,5cyclictest30289-21grep22:40:161
24562991811,5cyclictest26334-21load20:50:211
24562991811,5cyclictest15319-21sensors_temp20:15:221
24562991811,5cyclictest15306-21grep21:55:181
24562991811,5cyclictest12189-21ntp_kernel_err23:20:231
24562991811,4cyclictest9048-21sed21:35:251
24562991811,4cyclictest9048-21sed21:35:251
24562991810,6cyclictest933-21sed21:10:261
2455899189,6cyclictest21443-21tune2fs23:50:140
2455899188,7cyclictest25135-21sort00:00:150
2455899187,8cyclictest3821-21ls23:00:000
2455899187,8cyclictest16864-21gltestperf22:00:160
24558991811,5cyclictest13379-21sed20:10:150
24558991810,5cyclictest19538-21idleruntime-cro22:10:010
2457499171,12cyclictest5697-21snmp_o5powerctl21:25:213
2457499171,12cyclictest32214-21apt-get21:10:113
2457499170,16cyclictest0-21swapper/320:10:003
2457099178,7cyclictest9976-21cat20:00:152
2457099178,6cyclictest27188-21grep00:05:182
2457099178,6cyclictest27188-21grep00:05:182
24570991713,2cyclictest31989-21latency_hist21:10:012
24570991713,2cyclictest24892-21/usr/sbin/munin00:00:222
24570991712,3cyclictest14694-21/usr/sbin/munin23:30:262
24570991711,4cyclictest8366-21basename21:35:142
24570991711,4cyclictest8366-21basename21:35:142
24570991711,4cyclictest23817-21sshd20:41:512
2457099171,12cyclictest12096-21snmp_o5powerctl20:05:282
2457099171,11cyclictest12719-21apt-get20:10:092
24570991710,5cyclictest28467-21expr22:35:112
2457099170,6cyclictest28746-21sendmail21:00:002
2456299172,6cyclictest0-21swapper/100:01:051
24562991713,2cyclictest16376-21cpuspeed_turbos23:35:131
24562991713,2cyclictest0-21swapper/119:40:161
24562991711,4cyclictest22741-21cut20:40:131
24562991711,4cyclictest21735-21sendmail_mailqu20:35:211
2456299171,12cyclictest13714-21snmp_o5powerctl20:10:201
24562991710,5cyclictest28549-21sed00:10:151
24562991710,5cyclictest26996-21cat00:05:151
24562991710,5cyclictest26996-21cat00:05:151
2455899179,5cyclictest31438-21cron19:29:590
2455899178,6cyclictest13542-21tune2fs21:50:120
2455899175,9cyclictest0-21swapper/019:10:000
24558991710,5cyclictest15391-21cat20:15:250
2457499163,7cyclictest7748-21apt-get23:10:083
24574991612,2cyclictest3879-21/usr/sbin/munin21:20:243
2457099169,5cyclictest22014-21cat22:15:202
24570991614,1cyclictest0-21swapper/219:10:102
2457099161,12cyclictest791-21snmp_o5powerctl21:10:242
2457099161,12cyclictest29982-21snmp_o5powerctl21:00:232
24570991610,4cyclictest941-21expr22:50:122
24570991610,4cyclictest1596-21expr21:15:112
24562991611,3cyclictest28655-21forks19:20:121
2456299157,6cyclictest9693-21cat20:00:131
24562991511,2cyclictest6537-21fschecks_time19:50:191
2457099133,7cyclictest24551-21cyclictest19:10:012
2456299137,4cyclictest24579-21cut19:10:001
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional