You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-24 - 17:42

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Wed Jun 24, 2026 12:43:26)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
563877996456,5cyclictest1-21systemd11:25:010
563878995848,6cyclictest3953742-21cups-browsed11:17:271
563878995641,11cyclictest3953742-21cups-browsed08:20:011
563877995444,7cyclictest3953742-21cups-browsed11:25:420
563878994941,5cyclictest596888-21systemd-run09:00:021
563878994840,5cyclictest667748-21ssh11:00:021
563878994840,5cyclictest667748-21ssh11:00:021
56387799452,36cyclictest625708-21ssh09:50:320
563879994435,6cyclictest1-21systemd10:45:012
563879994335,5cyclictest726248-21ssh12:35:022
563879994234,5cyclictest610767-21unixbench_multi09:25:412
563879994234,5cyclictest595343-21cron08:55:012
563877994235,5cyclictest1-21systemd12:25:010
563879994135,3cyclictest0-21swapper/208:30:322
563877994134,4cyclictest716976-21ssh12:20:010
563878994031,6cyclictest3953742-21cups-browsed10:40:341
563877994032,5cyclictest724798-21head12:30:420
563877994030,7cyclictest618444-21ssh09:40:010
563877994030,7cyclictest618444-21ssh09:40:010
563877994029,8cyclictest589376-21systemd-run08:35:010
563878993931,5cyclictest574090-21timerandwakeup07:40:501
563877993930,6cyclictest655443-21kworker/u8:4-xprtiod12:10:330
56387799392,32cyclictest647247-21ssh10:25:310
56387799391,33cyclictest668782-21ssh11:00:310
56387799391,33cyclictest668782-21ssh11:00:310
563879993830,5cyclictest584896-21systemd-run08:20:012
563879993830,5cyclictest3953742-21cups-browsed11:03:202
563879993830,5cyclictest3953742-21cups-browsed11:03:202
563879993827,8cyclictest680085-21ssh11:20:012
563878993828,6cyclictest420-21avahi-daemon09:48:361
563877993830,5cyclictest421-21dbus-daemon09:20:020
563879993732,2cyclictest0-21swapper/212:00:012
563879993731,3cyclictest0-21swapper/207:20:012
563879993728,6cyclictest3953742-21cups-browsed09:21:362
563878993729,5cyclictest652328-21ssh10:35:011
563877993732,3cyclictest621555-21cron09:45:000
563877993730,4cyclictest572893-21kworker/u8:17+xprtiod07:40:010
563877993730,4cyclictest572893-21kworker/u8:17+xprtiod07:40:010
563877993728,6cyclictest656201-21kernelversion10:40:250
563879993628,5cyclictest599860-21diskmemload09:30:362
563879993627,6cyclictest587882-21systemd-run08:30:012
563878993628,5cyclictest3953742-21cups-browsed08:45:371
563878993625,8cyclictest717860-21latency12:20:261
563877993628,5cyclictest265-21systemd-journal07:15:010
563877993627,6cyclictest729296-21grep12:40:010
563877993621,7cyclictest12650irq/32-eth012:00:320
563877993620,14cyclictest151ktimers/010:50:360
563879993530,2cyclictest0-21swapper/211:25:012
563879993528,4cyclictest690603-21sendmail_mailtr11:35:432
563879993528,3cyclictest0-21swapper/211:35:022
563879993527,5cyclictest618489-21systemd-run09:40:022
563879993527,5cyclictest618489-21systemd-run09:40:022
563879993527,5cyclictest572860-21grep07:40:012
563879993527,5cyclictest572860-21grep07:40:012
563879993525,7cyclictest580375-21/usr/sbin/munin08:05:022
563879993525,7cyclictest420-21avahi-daemon09:46:122
563878993528,4cyclictest572849-21cron07:40:001
563878993528,4cyclictest572849-21cron07:40:001
563878993527,5cyclictest587748-21unixbench_multi08:25:431
563878993526,6cyclictest599860-21diskmemload10:25:421
563877993525,7cyclictest566852-21cron07:20:010
563877993512,16cyclictest151ktimers/008:55:280
563879993429,2cyclictest0-21swapper/210:20:012
563879993428,3cyclictest0-21swapper/212:30:022
563879993428,2cyclictest0-21swapper/212:20:332
563879993427,4cyclictest632389-21unixbench_multi10:00:432
563879993426,5cyclictest716991-21munin-plugin-st12:20:002
563879993423,8cyclictest711968-21sh12:10:352
563879993423,7cyclictest421-21dbus-daemon09:40:202
563878993428,3cyclictest0-21swapper/109:20:011
563878993428,3cyclictest0-21swapper/109:15:011
563878993424,8cyclictest668475-21sh11:00:261
563878993424,8cyclictest668475-21sh11:00:261
563877993428,4cyclictest678486-21timerwakeupswit11:15:420
56387999334,25cyclictest665724-21ssh10:55:312
56387999334,25cyclictest665724-21ssh10:55:312
56387999333,26cyclictest647344-21ssh10:25:352
563879993325,5cyclictest0-21swapper/211:05:402
563879993325,5cyclictest0-21swapper/211:05:402
563879993324,6cyclictest600915-21ntp_kernel_pll_09:10:312
56387999332,28cyclictest674971-21ssh11:10:322
56387899335,24cyclictest3953742-21cups-browsed07:15:381
563878993326,4cyclictest591170-21aten_r2power_en08:40:191
563878993326,3cyclictest0-21swapper/110:10:411
563878993325,5cyclictest726242-21unin-run12:35:011
563878993325,5cyclictest655444-21sh10:40:011
563878993325,5cyclictest621561-21cron09:45:001
563878993324,6cyclictest439-21systemd-logind10:05:011
563877993323,7cyclictest673907-21grep11:10:000
563877993323,7cyclictest673907-21grep11:10:000
563877993320,9cyclictest0-21swapper/010:00:250
563879993225,4cyclictest578861-21systemctl08:00:012
563879993224,3cyclictest0-21swapper/211:25:322
563879993223,5cyclictest599860-21diskmemload10:23:242
563879993221,8cyclictest629075-21switchtime09:55:412
563879993221,8cyclictest629075-21switchtime09:55:412
563879993221,8cyclictest599862-21munin-plugin-st09:10:022
563878993226,4cyclictest563876-21cyclictest11:05:221
563878993226,4cyclictest563876-21cyclictest11:05:221
563878993225,4cyclictest711270-21aten2.4-expect12:10:201
563878993224,4cyclictest635405-21timerwakeupswit10:05:431
563878993224,4cyclictest635405-21timerwakeupswit10:05:431
563878993223,6cyclictest586368-21cron08:25:011
563878993222,7cyclictest579738-21ntp_kernel_pll_08:00:311
56387799329,15cyclictest151ktimers/009:55:360
56387799329,15cyclictest151ktimers/009:55:360
563877993226,4cyclictest1003-21mta-sts-daemon10:23:570
56387799321,26cyclictest696652-21ssh11:45:370
56387799321,25cyclictest699575-21ssh11:50:310
563879993125,3cyclictest0-21swapper/210:45:212
563879993125,3cyclictest0-21swapper/210:30:322
563879993125,3cyclictest0-21swapper/210:10:452
563879993125,3cyclictest0-21swapper/207:55:012
563879993123,5cyclictest596849-21munin-plugin-st09:00:012
563879993123,5cyclictest568894-21uniq07:25:222
563879993123,5cyclictest568894-21uniq07:25:222
56387999312,24cyclictest604024-21sh09:15:322
56387999312,23cyclictest653490-21sh10:35:372
56387899316,4cyclictest171rcu_preempt09:25:391
563878993125,3cyclictest0-21swapper/110:15:301
563878993124,4cyclictest717048-21latency_hist12:20:021
563878993124,4cyclictest703011-21threads11:55:421
563878993124,4cyclictest1003-21mta-sts-daemon09:23:251
563878993123,5cyclictest698719-21latency_hist11:50:031
563878993121,8cyclictest1-21systemd11:50:501
563877993125,4cyclictest721586-21timerwakeupswit12:25:420
563877993125,3cyclictest0-21swapper/012:00:010
563877993123,5cyclictest265-21systemd-journal09:10:030
56387999303,21cyclictest699538-21ssh11:50:292
563879993024,4cyclictest713928-21kworker/u8:13-nfsiod12:40:012
563879993023,4cyclictest592384-21systemd-run08:45:012
563879993023,4cyclictest575887-21kworker/u8:0-xprtiod08:15:012
563879993022,5cyclictest710833-21latency_hist12:10:002
563879993022,5cyclictest710833-21latency_hist12:10:002
563879993022,5cyclictest574372-21munin-plugin-st07:45:002
563879993022,5cyclictest3953742-21cups-browsed12:02:352
563879993022,5cyclictest0-21swapper/210:05:332
563879993022,5cyclictest0-21swapper/210:05:332
563878993024,3cyclictest0-21swapper/110:20:411
563878993024,3cyclictest0-21swapper/109:10:011
563878993023,4cyclictest1002-21mta-sts-daemon07:10:251
563878993023,4cyclictest1001-21mta-sts-daemon11:41:571
563878993022,5cyclictest420-21avahi-daemon11:26:041
563878993022,5cyclictest3953742-21cups-browsed08:11:181
563878993022,5cyclictest1003-21mta-sts-daemon10:53:271
563878993021,7cyclictest690441-21sh11:35:391
563878993019,8cyclictest674809-21missed_timers11:10:271
563877993025,3cyclictest634358-21head10:05:210
563877993025,3cyclictest634358-21head10:05:210
563877993025,3cyclictest606724-21fschecks_count09:20:250
563877993025,2cyclictest0-21swapper/010:20:010
563877993024,4cyclictest692368-21munin-run11:40:010
563877993024,4cyclictest610082-21missed_timers09:25:260
563877993024,4cyclictest579383-21fschecks_count08:00:230
563877993024,3cyclictest0-21swapper/011:40:330
563877993023,4cyclictest665118-21aten2.4-expect10:55:190
563877993023,4cyclictest665118-21aten2.4-expect10:55:190
56387999293,21cyclictest625685-21ssh09:50:312
563879992916,9cyclictest567-21gdbus10:50:172
563878992922,4cyclictest708237-21aten_r2power_po12:05:221
563878992922,4cyclictest708237-21aten_r2power_po12:05:221
563878992920,7cyclictest727161-21needreboot12:35:271
563877992922,4cyclictest638602-21head10:10:450
563877992922,3cyclictest0-21swapper/009:30:400
563877992921,6cyclictest0-21swapper/010:45:420
56387799291,24cyclictest622630-21ntpq09:45:320
563879992822,3cyclictest0-21swapper/208:50:012
563879992821,4cyclictest1000-21mta-sts-daemon07:32:322
563879992821,3cyclictest0-21swapper/211:40:342
563879992820,5cyclictest590766-21unixbench_singl08:35:432
563879992820,5cyclictest590766-21unixbench_singl08:35:432
563879992820,5cyclictest568368-21cron07:25:012
563878992822,3cyclictest0-21swapper/109:50:241
563878992821,4cyclictest689308-21munin-plugin-st11:35:011
563878992821,4cyclictest681635-21unixbench-2d11:20:421
563878992821,4cyclictest563876-21cyclictest09:35:461
563878992821,4cyclictest563876-21cyclictest09:35:461
56387899282,13cyclictest659522-21ssh10:45:301
563878992820,5cyclictest577875-21fschecks_count07:55:211
563877992821,5cyclictest585394-21grep08:20:230
563877992819,7cyclictest592896-21fschecks_time08:45:250
56387999275,16cyclictest428-21mta-sts-daemon11:45:292
563879992721,4cyclictest1000-21mta-sts-daemon08:20:292
563879992718,6cyclictest694-21cron07:15:012
56387999271,5cyclictest171rcu_preempt09:00:372
563878992720,3cyclictest0-21swapper/109:55:291
563878992720,3cyclictest0-21swapper/109:55:291
563877992721,4cyclictest3953742-21cups-browsed11:32:510
563877992721,3cyclictest0-21swapper/010:30:240
563877992720,3cyclictest0-21swapper/011:10:310
563877992719,6cyclictest578944-21latency_hist08:00:020
563878992621,2cyclictest0-21swapper/107:30:011
563878992621,2cyclictest0-21swapper/107:30:011
563878992620,4cyclictest3953739-21cupsd09:32:031
563878992619,4cyclictest571308-21unixbench_singl07:30:411
563877992618,6cyclictest655394-21cron10:40:010
563877992618,6cyclictest594911-21sendmail_mailqu08:50:380
563877992617,7cyclictest592385-21true08:45:010
563877992616,6cyclictest151ktimers/008:25:300
563877992615,9cyclictest0-21swapper/007:25:250
563877992615,9cyclictest0-21swapper/007:25:250
56388099251,7cyclictest0-21swapper/311:00:343
56388099251,7cyclictest0-21swapper/311:00:343
563878992519,3cyclictest0-21swapper/108:40:011
563878992519,3cyclictest0-21swapper/108:40:011
563878992518,4cyclictest721440-21switchtime12:25:411
563878992518,4cyclictest595349-21idleruntime-cro08:55:011
563878992517,5cyclictest563888-21systemd-run07:10:011
563878992517,5cyclictest0-21swapper/107:55:011
563878992515,7cyclictest705012-21/usr/sbin/munin12:00:251
563877992519,3cyclictest0-21swapper/007:30:310
563877992518,4cyclictest584502-21switchtime08:15:400
563877992517,5cyclictest590730-21unixbench_multi08:35:430
563877992517,5cyclictest590730-21unixbench_multi08:35:430
56388099243,6cyclictest0-21swapper/307:40:013
56388099243,6cyclictest0-21swapper/307:40:013
56387899242,17cyclictest581321-21ntp_states08:05:361
563878992419,3cyclictest0-21swapper/108:35:011
563878992415,5cyclictest1001-21mta-sts-daemon09:00:321
563877992419,3cyclictest0-21swapper/007:55:010
563877992412,8cyclictest12650irq/32-eth007:40:450
56388099232,7cyclictest0-21swapper/311:20:363
56388099232,5cyclictest0-21swapper/311:40:333
56388099231,6cyclictest0-21swapper/310:15:323
56388099231,5cyclictest0-21swapper/310:25:023
56387999234,11cyclictest428-21mta-sts-daemon08:05:322
563877992318,3cyclictest555743-21kworker/u8:1+rpciod07:20:350
563877992316,4cyclictest0-21swapper/009:05:380
56387799231,19cyclictest575257-21ntpq07:45:300
56388099222,6cyclictest0-21swapper/310:45:223
56388099222,6cyclictest0-21swapper/309:35:393
56388099222,6cyclictest0-21swapper/309:35:393
56388099222,5cyclictest0-21swapper/309:35:033
56388099221,7cyclictest0-21swapper/309:45:373
56388099221,6cyclictest0-21swapper/309:45:013
56388099221,6cyclictest0-21swapper/309:10:363
56388099221,6cyclictest0-21swapper/308:20:013
563878992215,4cyclictest574773-21aten2.4-expect07:45:201
56387799221,18cyclictest582803-21ntpq08:10:330
56387799221,16cyclictest708792-21ntpq12:05:310
56387799221,16cyclictest708792-21ntpq12:05:310
56388099212,4cyclictest0-21swapper/307:10:253
56388099211,6cyclictest0-21swapper/309:55:253
56388099211,6cyclictest0-21swapper/309:55:253
56388099211,5cyclictest0-21swapper/307:30:313
56388099210,7cyclictest0-21swapper/311:10:333
56387999211,15cyclictest575331-21ntpq07:45:342
563878992111,7cyclictest567939-21sendmail_mailqu07:20:371
563877992116,2cyclictest0-21swapper/008:05:370
56387799211,17cyclictest597788-21ntpq09:00:340
56388099203,8cyclictest0-21swapper/308:25:333
56388099203,5cyclictest0-21swapper/310:00:323
56388099202,5cyclictest0-21swapper/311:55:283
56388099202,5cyclictest0-21swapper/311:30:393
56388099202,5cyclictest0-21swapper/310:35:353
56388099202,5cyclictest0-21swapper/310:35:023
56388099202,5cyclictest0-21swapper/308:55:213
56388099202,5cyclictest0-21swapper/308:50:023
56388099202,10cyclictest0-21swapper/310:50:423
56388099201,7cyclictest0-21swapper/310:55:263
56388099201,7cyclictest0-21swapper/310:55:263
56388099201,7cyclictest0-21swapper/308:50:343
56388099201,6cyclictest0-21swapper/312:25:333
56388099201,6cyclictest0-21swapper/311:53:513
56388099201,6cyclictest0-21swapper/309:25:283
56388099201,6cyclictest0-21swapper/309:10:013
56388099201,5cyclictest0-21swapper/312:20:303
56388099201,5cyclictest0-21swapper/310:40:323
56388099201,4cyclictest0-21swapper/311:15:293
563879992011,6cyclictest563895-21latency_hist07:10:022
56388099192,7cyclictest0-21swapper/312:15:233
56388099191,6cyclictest0-21swapper/311:35:373
56388099191,6cyclictest0-21swapper/310:25:353
56388099191,6cyclictest0-21swapper/309:50:373
56388099191,6cyclictest0-21swapper/309:20:223
56388099191,5cyclictest0-21swapper/312:30:373
56388099191,5cyclictest0-21swapper/311:45:343
56388099191,4cyclictest0-21swapper/311:05:333
56388099191,4cyclictest0-21swapper/311:05:333
56388099191,4cyclictest0-21swapper/310:10:323
56387799197,10cyclictest12650irq/32-eth007:10:020
56388099182,7cyclictest0-21swapper/308:40:303
56388099181,6cyclictest0-21swapper/312:35:233
56388099181,5cyclictest0-21swapper/312:10:063
56388099181,5cyclictest0-21swapper/312:00:333
56388099162,8cyclictest0-21swapper/307:40:373
56388099161,5cyclictest0-21swapper/309:17:233
56388099142,8cyclictest0-21swapper/312:05:213
56388099142,8cyclictest0-21swapper/312:05:213
56388099141,7cyclictest0-21swapper/308:05:343
56388099124,6cyclictest0-21swapper/307:50:013
56388099122,6cyclictest0-21swapper/310:05:213
56388099122,6cyclictest0-21swapper/310:05:213
56388099104,4cyclictest0-21swapper/307:15:313
56388099102,6cyclictest0-21swapper/308:35:303
56388099102,6cyclictest0-21swapper/308:35:303
56388099101,7cyclictest0-21swapper/308:35:013
56388099101,6cyclictest0-21swapper/311:25:313
56388099101,5cyclictest0-21swapper/307:20:353
5638809992,5cyclictest0-21swapper/309:00:303
5638809992,5cyclictest0-21swapper/308:25:013
5638809992,5cyclictest0-21swapper/307:30:013
5638809992,5cyclictest0-21swapper/307:30:013
5638809992,4cyclictest0-21swapper/307:50:343
5638809991,7cyclictest0-21swapper/308:00:353
5638809991,6cyclictest0-21swapper/307:55:323
5638809991,4cyclictest0-21swapper/308:10:293
5638809971,3cyclictest0-21swapper/307:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional