You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-06-16 - 20:20

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack7slot4s.osadl.org (updated Mon Jun 16, 2025 12:45:12)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2228799574,36cyclictest28709-21ssh11:15:150
2228799574,36cyclictest28709-21ssh11:15:140
2229899552,47cyclictest1906-21ssh12:20:131
22322995136,9cyclictest32466irq/58-eth011:50:203
22298994840,5cyclictest8079-21diskmemload09:55:141
22322994712,24cyclictest32466irq/58-eth009:10:183
2229899472,24cyclictest18113-21ssh11:50:211
2229899432,34cyclictest28837-21ssh10:30:151
22298994221,14cyclictest0-21swapper/110:45:141
2232299402,26cyclictest32466irq/58-eth010:05:143
2229899403,9cyclictest11149-21ssh11:25:161
22298993919,8cyclictest21-21ksoftirqd/111:20:171
22298993919,8cyclictest21-21ksoftirqd/111:20:171
2229899391,30cyclictest25731-21ssh12:15:171
2231199381,17cyclictest28714-21ssh11:15:162
2231199381,17cyclictest28714-21ssh11:15:162
2229899383,30cyclictest26227-21ssh10:50:161
2228799382,26cyclictest12462-21ssh09:35:140
2232299373,21cyclictest32466irq/58-eth011:55:163
2232299373,18cyclictest32466irq/58-eth012:35:163
2229899371,9cyclictest28512-21ssh12:35:171
2229899371,26cyclictest2216-21sh09:50:151
22298993712,21cyclictest21-21ksoftirqd/109:45:131
22322993626,4cyclictest32466irq/58-eth012:05:163
2229899361,14cyclictest3920-21ssh10:35:201
22287993612,15cyclictest12-21ksoftirqd/012:05:160
2232299354,19cyclictest32466irq/58-eth009:15:163
2232299351,18cyclictest32466irq/58-eth010:40:133
22311993512,14cyclictest0-21swapper/211:45:182
2229899352,13cyclictest9863-21ssh11:45:181
22322993411,14cyclictest32466irq/58-eth009:40:143
2232299332,21cyclictest32466irq/58-eth009:45:123
2231199338,16cyclictest27-21ksoftirqd/210:20:132
2231199331,22cyclictest0-21swapper/207:20:132
2231199330,26cyclictest18576-21ssh11:30:152
2232299321,16cyclictest32466irq/58-eth009:25:153
2229899325,22cyclictest2104-21ssh12:00:161
2228799321,25cyclictest0-21swapper/007:50:150
22311993122,4cyclictest1803-21ssh11:40:182
2231199311,19cyclictest23346irq/40-dwc2_hso12:05:152
2229899311,11cyclictest18673-21ssh11:30:181
2231199305,19cyclictest27-21ksoftirqd/211:54:352
2229899303,16cyclictest5121-21ssh09:30:181
2229899301,24cyclictest10809-21ssh12:25:161
2229899301,21cyclictest0-21swapper/107:15:141
2231199298,5cyclictest131rcu_preempt10:59:282
2229899299,3cyclictest0-21swapper/109:15:151
2229899292,19cyclictest24502-21ssh12:30:361
2229899292,19cyclictest11296-21ssh10:40:131
22298992916,9cyclictest1690-21cron12:00:011
2229899291,12cyclictest12456-21apt-get09:35:151
22298992910,5cyclictest14645-21ssh11:04:451
2232299283,18cyclictest0-21swapper/312:30:363
22311992813,4cyclictest27-21ksoftirqd/210:40:022
22311992811,13cyclictest6966-21df10:15:162
2228799283,17cyclictest8454-21ssh09:10:150
2228799280,6cyclictest12-21ksoftirqd/011:30:190
2232299273,12cyclictest32466irq/58-eth011:10:183
2232299272,16cyclictest32466irq/58-eth008:00:133
2231199273,15cyclictest23346irq/40-dwc2_hso08:50:172
2231199272,19cyclictest0-21swapper/209:45:142
2231199272,19cyclictest0-21swapper/209:40:142
2231199272,15cyclictest23346irq/40-dwc2_hso08:55:172
2231199271,21cyclictest28853-21ssh10:30:172
2231199271,16cyclictest22110-21apt-get11:10:182
2229899273,17cyclictest8474-21ssh09:10:181
2229899273,15cyclictest201rcuc/109:40:141
22298992710,12cyclictest0-21swapper/110:00:141
2228799275,3cyclictest131rcu_preempt11:58:570
2228799272,19cyclictest19676-21ssh12:30:180
22287992715,7cyclictest8079-21diskmemload10:40:140
2231199269,7cyclictest27-21ksoftirqd/212:39:292
2231199263,7cyclictest0-21swapper/212:30:352
2231199262,19cyclictest0-21swapper/212:18:362
2229899261,11cyclictest31733-21ssh10:10:151
22287992618,4cyclictest24198-21apt-get10:05:130
2228799261,7cyclictest12-21ksoftirqd/012:20:470
2228799261,20cyclictest21491-21ssh10:25:160
2232299253,14cyclictest32566irq/59-eth011:25:173
2232299253,13cyclictest32466irq/58-eth010:50:163
2231199258,11cyclictest0-21swapper/211:26:232
2231199256,13cyclictest27-21ksoftirqd/212:02:162
2231199256,12cyclictest27-21ksoftirqd/210:12:142
2231199254,4cyclictest27-21ksoftirqd/208:35:252
2231199253,17cyclictest0-21swapper/207:35:052
2231199253,13cyclictest23346irq/40-dwc2_hso07:50:142
2231199251,9cyclictest0-21swapper/207:15:192
22311992513,5cyclictest31405-21ssh11:36:102
2231199251,16cyclictest12473-21ssh09:35:162
22311992511,6cyclictest0-21swapper/207:30:192
22311992511,11cyclictest0-21swapper/208:15:272
22311992511,11cyclictest0-21swapper/208:05:252
2229899254,14cyclictest22988-21kworker/u8:212:10:181
2229899252,16cyclictest628-21Async09:12:571
22298992516,6cyclictest6872-21ssh10:15:151
2228799256,6cyclictest12-21ksoftirqd/012:16:520
2228799255,3cyclictest131rcu_preempt07:20:010
2228799254,5cyclictest12-21ksoftirqd/009:43:070
2228799253,8cyclictest9660-21ssh11:00:220
2228799252,3cyclictest131rcu_preempt11:10:010
2228799251,18cyclictest10825-21ssh12:25:170
2228799251,17cyclictest0-21swapper/010:30:150
2232299242,13cyclictest0-21swapper/312:20:133
22322992412,8cyclictest32466irq/58-eth009:50:163
2231199249,4cyclictest27-21ksoftirqd/212:20:532
2231199245,12cyclictest27-21ksoftirqd/210:04:232
2231199244,13cyclictest27-21ksoftirqd/209:50:322
22311992412,4cyclictest0-21swapper/207:10:162
2229899245,14cyclictest21-21ksoftirqd/109:25:151
22298992417,4cyclictest15104-21/usr/sbin/munin11:05:271
22298992412,9cyclictest26694-21ssh11:35:191
22298992411,10cyclictest13801-21cron07:35:001
2228799245,5cyclictest12-21ksoftirqd/008:30:240
2228799243,7cyclictest12-21ksoftirqd/011:46:130
2228799243,5cyclictest12-21ksoftirqd/009:24:420
2228799243,4cyclictest12-21ksoftirqd/010:35:310
2228799241,7cyclictest12-21ksoftirqd/011:11:580
22287992412,4cyclictest0-21swapper/007:20:150
2232299232,17cyclictest0-21swapper/312:26:373
2232299232,10cyclictest0-21swapper/312:01:363
2232299231,15cyclictest32466irq/58-eth009:30:193
2231199239,4cyclictest27-21ksoftirqd/210:08:582
2231199236,4cyclictest27-21ksoftirqd/208:20:162
2231199235,11cyclictest27-21ksoftirqd/210:46:052
2231199232,6cyclictest0-21swapper/212:25:372
2231199232,16cyclictest0-21swapper/211:55:362
2231199231,5cyclictest0-21swapper/209:30:192
22311992313,4cyclictest0-21swapper/209:00:062
22311992311,9cyclictest23011-21ssh09:20:192
2231199231,14cyclictest9546-21diskmemload09:55:142
2231199230,6cyclictest7827-21kworker/2:211:00:312
2229899231,19cyclictest28792-21ls11:15:161
2229899231,19cyclictest28792-21ls11:15:161
2228799234,4cyclictest12-21ksoftirqd/009:25:230
2228799232,4cyclictest12-21ksoftirqd/011:50:290
22287992317,4cyclictest151rcuc/009:33:300
2228799231,6cyclictest12-21ksoftirqd/010:45:280
2228799231,5cyclictest12-21ksoftirqd/008:00:180
22287992312,8cyclictest26220-21apt-get10:50:140
22287992310,8cyclictest12-21ksoftirqd/012:00:170
22322992210,9cyclictest0-21swapper/310:35:323
2231199228,4cyclictest27-21ksoftirqd/211:06:482
2231199225,4cyclictest27-21ksoftirqd/210:52:302
2231199222,16cyclictest0-21swapper/212:11:222
22311992211,8cyclictest0-21swapper/210:35:332
22311992211,8cyclictest0-21swapper/209:25:292
2231199221,17cyclictest23346irq/40-dwc2_hso10:25:172
2231199221,14cyclictest23754-21/usr/sbin/munin07:45:162
2229899221,16cyclictest21487-21apt-get10:25:161
2229899221,13cyclictest11956-21cut08:40:181
2228799224,5cyclictest12-21ksoftirqd/012:35:200
2228799224,14cyclictest20179-21apt-get08:15:120
2228799223,6cyclictest12-21ksoftirqd/010:55:150
2228799222,5cyclictest12-21ksoftirqd/010:15:330
2228799222,4cyclictest151rcuc/009:52:470
2228799221,5cyclictest12-21ksoftirqd/011:35:270
2228799221,5cyclictest12-21ksoftirqd/011:20:540
2228799221,5cyclictest12-21ksoftirqd/011:20:530
22287992214,5cyclictest151rcuc/007:55:120
22287992214,5cyclictest151rcuc/007:55:110
22287992213,3cyclictest1786-21apt-get11:40:190
22287992212,7cyclictest26020-21cron08:55:010
2228799220,16cyclictest9536-21apt-get09:55:120
2232299216,11cyclictest32466irq/58-eth011:15:163
2232299216,11cyclictest32466irq/58-eth011:15:153
2232299216,11cyclictest0-21swapper/311:40:253
22322992111,7cyclictest0-21swapper/310:00:353
2232299211,15cyclictest0-21swapper/309:35:153
2232299211,10cyclictest0-21swapper/307:10:133
2231199217,9cyclictest131rcu_preempt09:10:412
2231199216,4cyclictest27-21ksoftirqd/208:30:272
2231199213,3cyclictest27-21ksoftirqd/211:20:142
2231199213,3cyclictest27-21ksoftirqd/211:20:142
22311992112,7cyclictest0-21swapper/209:05:202
22311992112,7cyclictest0-21swapper/209:05:202
2231199211,11cyclictest13250-21kthreadcore08:40:212
2229899215,9cyclictest0-21swapper/108:05:141
22298992112,7cyclictest6836-21cron08:35:011
2229899211,17cyclictest4542-21cut07:25:161
2228799218,6cyclictest0-21swapper/011:25:590
2228799216,6cyclictest12-21ksoftirqd/008:30:010
2228799214,5cyclictest12-21ksoftirqd/009:05:360
2228799214,5cyclictest12-21ksoftirqd/009:05:350
2228799213,5cyclictest12-21ksoftirqd/010:10:260
2228799213,5cyclictest12-21ksoftirqd/007:25:200
2228799213,4cyclictest12-21ksoftirqd/010:00:220
2228799211,9cyclictest18284-21ps12:10:220
22287992115,4cyclictest151rcuc/010:20:030
22287992115,4cyclictest151rcuc/009:15:540
2228799211,13cyclictest9350-21cut07:30:170
22322992011,6cyclictest0-21swapper/310:30:263
2232299201,13cyclictest0-21swapper/310:30:023
2231199207,3cyclictest131rcu_preempt08:12:012
2231199202,12cyclictest131rcu_preempt08:00:412
2231199201,8cyclictest18537-21cut09:15:262
22311992011,7cyclictest0-21swapper/207:25:022
2231199201,11cyclictest22388-21ls07:10:022
22298992012,6cyclictest20420-21sshd10:23:361
22298992011,6cyclictest29717-21sshd09:24:361
22298992011,6cyclictest0-21swapper/107:55:281
22298992011,6cyclictest0-21swapper/107:55:271
2229899201,15cyclictest24760-21apt-get08:20:001
2229899201,14cyclictest28581-21apt-get07:50:131
2229899200,17cyclictest28446-21ls08:20:251
2228799206,5cyclictest12-21ksoftirqd/007:45:270
2228799204,2cyclictest131rcu_preempt08:40:210
2228799203,8cyclictest12-21ksoftirqd/009:45:270
2228799203,5cyclictest12-21ksoftirqd/008:10:300
2228799203,5cyclictest12-21ksoftirqd/007:40:230
2228799203,4cyclictest12-21ksoftirqd/008:05:160
2228799202,3cyclictest12-21ksoftirqd/007:10:120
2228799200,6cyclictest12-21ksoftirqd/009:00:270
2232299199,6cyclictest32466irq/58-eth011:20:183
2232299199,6cyclictest32466irq/58-eth011:20:183
2232299197,8cyclictest0-21swapper/311:35:333
2232299195,10cyclictest32466irq/58-eth010:20:143
2232299193,11cyclictest0-21swapper/312:17:363
2232299192,11cyclictest0-21swapper/311:00:163
2232299192,10cyclictest0-21swapper/307:45:153
2232299191,13cyclictest0-21swapper/310:15:323
2231199199,3cyclictest131rcu_preempt07:40:242
2231199191,9cyclictest1474-21tr07:55:182
2231199191,9cyclictest1474-21tr07:55:182
2231199191,10cyclictest32551-21kthreadcore08:25:222
2229899196,8cyclictest628-21Async09:12:571
2229899195,8cyclictest0-21swapper/108:00:131
2229899192,11cyclictest890-21ssh10:55:041
2229899191,6cyclictest30486-21cat08:55:331
22298991911,5cyclictest0-21swapper/111:40:291
2229899191,13cyclictest22127-21ssh11:10:191
2228799191,5cyclictest12-21ksoftirqd/008:20:170
2228799191,4cyclictest12-21ksoftirqd/008:35:260
2232299189,6cyclictest32466irq/58-eth009:20:173
2232299188,6cyclictest32466irq/58-eth009:55:343
2232299183,10cyclictest0-21swapper/312:11:243
2232299182,10cyclictest0-21swapper/309:00:063
2232299182,10cyclictest0-21swapper/308:10:173
2232299182,10cyclictest0-21swapper/308:05:163
2232299181,9cyclictest0-21swapper/307:55:123
2232299181,9cyclictest0-21swapper/307:55:123
2232299181,14cyclictest32466irq/58-eth011:30:163
2232299181,13cyclictest32466irq/58-eth011:05:153
2232299181,13cyclictest0-21swapper/308:15:173
2232299181,11cyclictest0-21swapper/307:35:223
2231199186,10cyclictest131rcu_preempt08:45:172
2229899189,7cyclictest16859-21fw_packets08:45:211
2229899189,6cyclictest1-21systemd07:20:171
2229899185,10cyclictest14873-21kthreadcore07:35:191
2229899181,7cyclictest27782-21/usr/sbin/munin10:05:271
22298991811,5cyclictest17308-21ssh12:09:411
2228799185,3cyclictest131rcu_preempt07:35:050
22287991812,4cyclictest151rcuc/008:55:350
2232299179,6cyclictest0-21swapper/311:46:023
2232299179,6cyclictest0-21swapper/310:45:183
2232299172,10cyclictest0-21swapper/310:55:053
2232299172,10cyclictest0-21swapper/307:15:153
2232299171,12cyclictest0-21swapper/307:30:023
2229899173,11cyclictest22576-21kthreadcore08:50:241
2229899172,10cyclictest0-21swapper/108:25:141
2229899171,4cyclictest0-21swapper/107:40:291
22298991710,5cyclictest8065-21sshd09:06:361
22298991710,5cyclictest8065-21sshd09:06:361
2228799171,13cyclictest16654-21apt-get08:45:170
2232299168,6cyclictest0-21swapper/308:55:513
2232299163,6cyclictest32466irq/58-eth010:10:153
2232299162,11cyclictest0-21swapper/308:20:043
2232299162,10cyclictest0-21swapper/308:50:183
2232299161,9cyclictest0-21swapper/308:30:293
2229899162,9cyclictest0-21swapper/107:45:151
2229899161,12cyclictest10895-21unixbench_singl08:35:311
2232299152,10cyclictest0-21swapper/307:40:143
2229899152,7cyclictest0-21swapper/107:10:131
2228799151,11cyclictest22385-21latency_hist07:10:020
2232299141,6cyclictest0-21swapper/308:45:163
2229899142,9cyclictest22300-21latency_hist07:10:011
2232299133,8cyclictest0-21swapper/307:30:143
2232299132,8cyclictest0-21swapper/309:10:013
2232299132,8cyclictest0-21swapper/309:10:003
2232299132,8cyclictest0-21swapper/308:40:173
2232299131,9cyclictest0-21swapper/308:40:013
2232299131,9cyclictest0-21swapper/308:25:163
2232299131,8cyclictest0-21swapper/307:50:273
2232299131,7cyclictest0-21swapper/307:20:163
223229991,5cyclictest0-21swapper/307:10:023
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional